جرقه آپاچی به منظور بهبود سرعت پردازش برای برنامه های تجزیه و تحلیل داده ها و دستکاری طراحی شده است.
به در جاوا و اسکالا نوشته شده بود و ویژگی های در سیستم های دیگر یافت نمی شود را فراهم می کند، به واسطه آنها جریان اصلی و نه که مفید برای پردازش برنامه های کاربردی غیر داده نیست.
در جرقه برای اولین بار در دانشگاه برکلی AMP آزمایشگاه ایجاد شد و بعد از آن به بنیاد نرم افزار آپاچی اهدا
چه در این نسخه جدید است:
مدیریت حافظه یکپارچه - حافظه داخلی برای اجرا و ذخیره به جای تقسیم منحصر به فرد از مناطق.
عملکرد پارکت - بهبود عملکرد پارکت اسکن در هنگام استفاده از طرحواره تخت می باشد.
بهبود برنامه ریز پرس و جو برای نمایش داده شد داشتن واحدهای مجزا - برنامه پرس و جو واحدهای مجزا قوی تر هستند که ستون مجزا داشته کاردینالیتی بالا.
اجرای پرس و جو تطبیقی - حمایت اولیه برای به طور خودکار انتخاب تعدادی از ردسرس برای پیوندد و واحدهای.
اجتناب از فیلتر دو برابر در API منبع داده - هنگام اجرای یک منبع داده با پشتهای فیلتر، توسعه دهندگان هم اکنون می توانید جرقه SQL را به جلوگیری از دو ارزیابی یک فیلتر تحت فشار قرار دادند به پایین.
سریع تهی امن می پیوندد - می پیوندد با استفاده از برابری تهی امن (& # x3c؛ = & # x3e؛) در حال حاضر اجرا خواهد شد با استفاده از SortMergeJoin به جای محاسبه محصول cartisian.
در حافظه ستون کش عملکرد - ویژه (تا 14X) سرعت بخشیدن به هنگام ذخیره داده هایی را که شامل انواع پیچیده در DataFrames و یا SQL.
اجرای SQL با استفاده از خارج از هیپ حافظه - پشتیبانی از پیکربندی اجرای پرس و جو به رخ می دهند با استفاده از حافظه خارج از پشته برای جلوگیری از سربار GC
چه در نسخه 1.5.2 جدید است:
API هسته در حال حاضر پشتیبانی درختان تجمع چند سطح برای کمک به سرعت بخشیدن به عملیات کاهش گران است.
گزارش خطا بهبود یافته است برای انجام عملیات مارپیچ خاص اضافه شده است.
وابستگی اسکله جرقه در حال حاضر سایه برای کمک به جلوگیری از درگیری با برنامه های کاربر.
جرقه در حال حاضر پشتیبانی از رمزنگاری SSL برای برخی از نقاط پایانی ارتباط است.
بیدرنگ معیارهای GC و تعداد رکورد به UI اضافه شده است.
چه در نسخه 1.4.0 جدید است:
API هسته در حال حاضر پشتیبانی درختان تجمع چند سطح برای کمک به سرعت بخشیدن به عملیات کاهش گران است.
گزارش خطا بهبود یافته است برای انجام عملیات مارپیچ خاص اضافه شده است.
وابستگی اسکله جرقه در حال حاضر سایه برای کمک به جلوگیری از درگیری با برنامه های کاربر.
جرقه در حال حاضر پشتیبانی از رمزنگاری SSL برای برخی از نقاط پایانی ارتباط است.
بیدرنگ معیارهای GC و تعداد رکورد به UI اضافه شده است.
چه در نسخه 1.2.0 جدید است:
اپراتور مرتب سازی بر PySpark در حال حاضر از ریختن خارجی برای مجموعه داده های بزرگ.
PySpark حال حاضر پشتیبانی از متغیرهای پخش بزرگتر از 2GB و انجام ریختن خارجی در طول انواع.
جرقه می افزاید: یک صفحه در سطح کار پیشرفت در UI جرقه، یک API پایدار برای گزارش پیشرفت، و به روز رسانی پویا از معیارهای خروجی به عنوان شغل کامل است.
جرقه در حال حاضر پشتیبانی برای خواندن فایل های باینری برای تصاویر و دیگر فرمت های باینری است.
چه در نسخه 1.0.0 جدید است:
این نسخه گسترش کتابخانه های استاندارد جرقه، معرفی یک بسته SQL جدید (جرقه SQL) که به کاربران اجازه ادغام نمایش داده شد SQL به گردش جرقه موجود است.
MLlib، کتابخانه های یادگیری ماشین جرقه است، با پشتیبانی بردار پراکنده و چند الگوریتم های جدید گسترش یافته است.
چه در نسخه 0.9.1 جدید است:
ثابت هش اشکال برخورد در ریختن خارجی
جنگ ثابت با log4j جرقه را برای کاربران با تکیه بر دیگر پایانه (Backend) ورود به سیستم
ثابت Graphx از دست رفته از شیشه مونتاژ جرقه در MAVEN ایجاد
شکست ثابت سکوت با توجه به نقشه وضعیت خروجی بیش از عکا اندازه قاب
وابستگی مستقیم غیر ضروری جرقه حذف در ASM
حذف معیارهای گانگلیون از پیش فرض ساخت به دلیل درگیری مجوز LGPL
اشکال ثابت در فایل با فرمت tar توزیع حاوی جرقه شیشه مونتاژ نیست
چه در نسخه 0.8.0 جدید است:
توسعه است به بنیاد Sowftware آپاچی به عنوان یک پروژه انکوباتور منتقل شده است.
چه در نسخه 0.7.3 جدید است:
عملکرد پایتون: مکانیسم جرقه برای تخم ریزی پایتون ماشین های مجازی است بهبود یافته است به انجام این کار سریع تر زمانی که در JVM یک اندازه پشته بزرگ، بالا بردن سرعت از API پایتون.
Mesos به رفع: قوطی اضافه شده به کار خود را در حال حاضر در CLASSPATH که deserializing نتایج کار در Mesos به باشد.
گزارش خطا: گزارش خطا بهتر برای استثنا غیر serializable و نتایج کار بیش از حد بزرگ است.
مثال: اضافه شده یک نمونه از پردازش جریان stateful به با updateStateByKey.
ساخت: جرقه جریان دیگر در مخزن Twitter4J، که باید اجازه می دهد از آن برای ساخت در چین بستگی دارد.
رفع اشکال در foldByKey، جریان شمارش، روش آمار، اسناد و مدارک، و UI وب است.
چه در نسخه 0.7.2 جدید است:
نسخه اسکالا به 2.9.3 به روز شد.
چند بهبود به نان شیرینی حلقوی، از جمله رفع عملکرد و سطح ذخیره سازی قابل تنظیم است.
روش های جدید API: subtractByKey، foldByKey، mapWith، filterWith، foreachPartition، و دیگران.
معیارهای جدید گزارش رابط، SparkListener، به جمع آوری اطلاعات در مورد هر مرحله محاسبه: طول کار، بایت حوصلگی، و غیره
چند نمونه جدید با استفاده از API جاوا، از جمله K-means و PI محاسبات.
چه در نسخه 0.7.0 جدید است:
جرقه 0.7 می افزاید: یک API پایتون به نام PySpark.
شغل جرقه در حال حاضر یک داشبورد وب برای نظارت بر استفاده از حافظه هر مجموعه داده های توزیع شده (RDD) در برنامه راه اندازی.
جرقه هم اکنون می توانید با استفاده از Maven را در علاوه بر این به SBT ساخته شده است.
چه در نسخه 0.6.1 جدید است:
ثابت پیام بیش از حد تهاجمی وقفه که می تواند باعث کارگران به قطع اتصال از خوشه.
رفع اشکال در حالت استقرار مستقل که اسامی گره به زمانبندی قرار ندهید، موثر بر HDFS محل.
استفاده مجدد از اتصال بهبود یافته در زدن، که تا حد زیادی می تواند سرعت shuffles را کوچک است.
ثابت برخی از بن بست بالقوه در بدهید بلوک.
رفع اشکال گرفتن شناسه میزبان شکست خورده از Mesos.
چند بهبود اسکریپت EC2، مانند دست زدن بهتر از موارد نقطه.
ساخته شده است که آدرس IP محلی که جرقه متصل به قابل تنظیم است.
پشتیبانی از هادوپ 2 توزیع.
پشتیبانی برای محل اسکالا در توزیعهای دبیان.
چه در نسخه 0.6.0 جدید است:
استقرار ساده تر است.
اسناد و مدارک جرقه شده است با یک راهنمای جدید شروع به کار سریع، دستورالعمل استقرار اضافی، راهنمای پیکربندی، راهنمای تنظیم، و بهبود مستندات Scaladoc API گسترش یافته است.
مدیر ارتباطات جدید با استفاده از آسنکرون جاوا NIO اجازه می دهد تا عملیات زدن سریع تر اجرا شود، به خصوص در هنگام ارسال مقادیر زیادی از داده و یا زمانی که شغل دارند بسیاری از وظایف.
مدیر جدید ذخیره سازی پشتیبانی از تنظیمات سطح در هر مجموعه داده های ذخیره سازی (به عنوان مثال آیا برای حفظ مجموعه داده در حافظه، deserialized، بر روی دیسک، و غیره، و یا حتی در سراسر گره تکرار).
اشکال زدایی افزایش یافته است.
نظر یافت نشد