جرقه برای بهبود سرعت پردازش برای تجزیه و تحلیل داده ها و برنامه دستکاری طراحی شده است.
این در جاوا و اسکالا نوشته شده بود و فراهم می کند ویژگی در سیستم های دیگر یافت نمی شود، به واسطه آنها جریان اصلی و نه که مفید برای پردازش برنامه های کاربردی غیر داده نیستید
در چه در این نسخه جدید است.
API هسته در حال حاضر پشتیبانی درختان تجمع چند سطح برای کمک به سرعت بخشیدن به کاهش هزینه عملیات.
گزارش خطا بهبود یافته است برای انجام عملیات خاص مارپیچ اضافه شده است.
وابستگی به اسکله جرقه در حال حاضر سایه دار برای کمک به جلوگیری از درگیری با برنامه های کاربر.
جرقه در حال حاضر پشتیبانی از رمزنگاری SSL برای برخی از نقاط پایانی ارتباط است.
بیدرنگ معیارهای GC و شمارش رکورد به UI اضافه شده است.
به چه جدید در نسخه 1.3.0 است:
API هسته در حال حاضر پشتیبانی درختان تجمع چند سطح برای کمک به سرعت بخشیدن به عملیات گران را کاهش دهد.
گزارش خطا بهبود یافته است برای انجام عملیات خاص مارپیچ اضافه شده است.
وابستگی به اسکله جرقه در حال حاضر سایه دار برای کمک به جلوگیری از درگیری با برنامه های کاربر.
جرقه در حال حاضر پشتیبانی از رمزنگاری SSL برای برخی از نقاط پایانی ارتباط است.
بیدرنگ معیارهای GC و شمارش رکورد به UI اضافه شده است.
به چه جدید در نسخه 1.2.1 است:
اپراتور مرتب کردن بر اساس PySpark در حال حاضر سرایت خارجی برای مجموعه داده های بزرگ پشتیبانی می کند.
PySpark در حال حاضر پشتیبانی متغیرهای پخش بزرگتر از 2GB و انجام سرایت خارجی در طول انواع.
جرقه می افزاید: سطح صفحه کار پیشرفت در UI جرقه، یک API پایدار برای گزارش پیشرفت، و به روز رسانی پویا از معیارهای خروجی به عنوان شغل کامل است.
جرقه در حال حاضر پشتیبانی برای خواندن فایل های باینری برای تصاویر و فرمت های باینری دیگر.
به چه جدید در نسخه 1.0.0 است:
در این نسخه گسترش کتابخانه های استاندارد جرقه است، معرفی یک بسته SQL جدید (شمع SQL) که اجازه می دهد کاربران نمایش داده شد ادغام SQL به گردش جرقه موجود است.
MLlib، کتابخانه یادگیری ماشین جرقه است، با پشتیبانی بردار پراکنده و چند الگوریتم های جدید گسترش یافته است.
در نسخه 0.9.1 چه جدید است:
ثابت هش اشکال برخورد در ریخته خارجی
درگیری ثابت با log4j جرقه را برای کاربران با تکیه بر دیگر پایانه (Backend) ورود به سیستم
ثابت Graphx از دست رفته از شیشه مونتاژ جرقه در ایجاد سخنگوی
شکست سکوت ثابت با توجه به نقشه وضعیت خروجی بیش از عکا اندازه قاب
وابستگی مستقیم و غیر ضروری جرقه حذف در ASM
حذف معیارهای-عقده از پیش فرض ساخت با توجه به درگیری مجوز LGPL
اشکال ثابت در بسته توزیع شامل جرقه شیشه مونتاژ نمی
به چه جدید در نسخه 0.8.0 است:
به توسعه است به بنیاد Sowftware آپاچی به عنوان یک پروژه انکوباتور منتقل شد.
به چه جدید در نسخه 0.7.3 است:
در عملکرد پایتون: مکانیسم جرقه را برای تخم ریزی پایتون VM ها است بهبود یافته است به انجام این کار سریع تر زمانی که JVM تا به اندازه پشته بزرگ، بالا بردن سرعت API پایتون.
Mesos رفع: شیشه اضافه شده به کار شما در حال حاضر بر روی CLASSPATH زمانی که deserializing نتایج کار در Mesos باشد.
گزارش خطا: گزارش خطا بهتر است برای استثنا غیر serializable و نتایج کار بیش از حد بزرگ است.
مثال: اضافه شده نمونه ای از پردازش جریان stateful با updateStateByKey.
ساخت: جرقه جریان دیگر در مخزن Twitter4J، که باید اجازه آن را به ساخت در چین بستگی دارد.
رفع اشکال در foldByKey، جریان شمارش، روش آمار، اسناد و مدارک، و UI وب است.
به چه جدید در نسخه 0.7.2 است:
در نسخه اسکالا به روز شده برای 2.9.3.
چند بهبود نان شیرینی حلقوی، از جمله رفع عملکرد و سطح ذخیره سازی تنظیم.
روش های جدید API: subtractByKey، foldByKey، mapWith، filterWith، foreachPartition، و دیگران.
معیارهای جدید گزارش رابط، SparkListener، برای جمع آوری اطلاعات در مورد هر مرحله محاسبه: طول کار، بایت حوصلگی، و غیره
چند نمونه جدید با استفاده از API های جاوا، از جمله K-ابزار و محاسبات PI.
به چه جدید در نسخه 0.7.0 است:
به جرقه 0.7 می افزاید: API پایتون به نام PySpark.
شغل جرقه در حال حاضر یک داشبورد وب برای نظارت بر استفاده از حافظه هر مجموعه داده های توزیع شده (RDD) در برنامه راه اندازی.
هم اکنون می توانید با استفاده از جرقه سخنگوی علاوه بر SBT ساخته شده است.
به چه جدید در نسخه 0.6.1 است:
ثابت پیام بیش از حد تهاجمی وقفه است که می تواند باعث کارگران به قطع اتصال از خوشه.
رفع اشکال در حالت اعزام مستقل بود که اسامی گره به زمانبندی قرار ندهید، مؤثر محل HDFS.
استفاده مجدد از اتصال بهبود در زدن، که تا حد زیادی می تواند سرعت shuffles کوچک است.
ثابت برخی از بن بست بالقوه در مدیریت بلوک.
رفع اشکال گرفتن شناسه های میزبان نتوانست از Mesos.
پیشرفت های مختلف اسکریپت EC2، مانند دست زدن به بهتر از نمونه های نقطه.
نویسنده آدرس IP محلی که جرقه برای تنظیم متصل می شود.
پشتیبانی از Hadoop 2 توزیع.
پشتیبانی از محل اسکالا در توزیع دبیان.
به چه جدید در نسخه 0.6.0 است:
به استقرار ساده تر است.
اسناد و مدارک جرقه شده است با جدید راهنمای سریع شروع، دستورالعمل استقرار اضافی، راهنمای پیکربندی، راهنمای تنظیم، و بهبود مستندات Scaladoc API گسترش یافته است.
مدیر ارتباطات جدید با استفاده از ناهمزمان جاوا NIO اجازه می دهد تا عملیات زدن سریع تر اجرا شود، به خصوص در هنگام ارسال مقادیر زیادی از داده ها و یا زمانی که شغل بسیاری از وظایف.
یک مدیر ذخیره سازی جدید پشتیبانی از تنظیمات سطح هر مجموعه از دادهها ذخیره سازی (به عنوان مثال آیا برای حفظ مجموعه داده در حافظه، deserialized، بر روی دیسک، و غیره، و یا حتی در سراسر گره تکرار).
اشکال زدایی افزایش یافته است.
نظر یافت نشد