آپاچی Hadoop ابتدا توسط یاهو توسعه داده شد و این پروژه ترکیبی بین آپاچی Hadoop هسته و آپاچی Hadoop مخازن مشترک قبلی است.
در این پروژه از Hadoop بسیاری از لطف بد نامی به نتایج بسیار خوبی در اجرای چند سرور سیستم توزیع محاسبات برای دست زدن به مقدار بسیار عظیمی از داده ها به دست آورده است.
در پروژه خود است که در واقع از چهار بخش ساخته شده است. یکی از Hadoop مشترک، هسته به اصطلاح که اجازه می دهد تا تمام ماژول های دیگر به کار، دوم فایل سیستم خود را بسیار خود است - HDFS (از Hadoop توزیع فایل سیستم)، سوم چارچوب برنامه ریزی نخ از Hadoop است، و در نهایت است که سیستم از Hadoop نگاشتکاهش وجود دارد برای حمایت از محاسبات موازی.
با استفاده از این سیستم شکستن زمین، آپاچی توانسته است به ایجاد بسیاری از پروژه های دیگر، مانند:
در - آپاچی Ambari
در - آپاچی آورو
در - آپاچی کاساندرا
در - اچبیس
در - آپاچی کندو
در - آپاچی فیلبان
در - آپاچی خوک
در - آپاچی جرقه
در - آپاچی از Tez
در - آپاچی باغ وحش
در همه این تکیه بر موتور قدرتمند پردازش داده ها از Hadoop یا ویژگی های محاسبات توزیع آن، یکپارچه سازی یکی از ماژول های خود را در هسته خود یک راه یا دیگری.
چه در این نسخه جدید است
پشتیبانی از گنجه ذخیره سازی
اطلاعات شفاف در رمزگذاری بقیه (بتا)
عامل DataNode امن و بدون نیاز به دسترسی ریشه
درایو تعویض در حالت روشن: پشتیبانی اضافه کردن / حذف حجم گره داده بدون شروع مجدد گره داده (بتا)
پشتیبانی AES برای رمزگذاری سیم سریع تر
پشتیبانی از خدمات طولانی در حال اجرا در نخ
برچسب گره پشتیبانی در طول برنامه ریزی
پشتیبانی از مبتنی بر زمان رزرو منابع در زمانبند ظرفیت (بتا)
جهانی، کش مشترک برای مصنوعات نرم افزار (بتا)
پشتیبانی در حال اجرا از برنامه های کاربردی بومی در کانتینرهای Docker (آلفا)
چه در نسخه 2.7.1 جدید است:
پشتیبانی از گنجه ذخیره سازی
اطلاعات شفاف در رمزگذاری بقیه (بتا)
عامل DataNode امن و بدون نیاز به دسترسی ریشه
درایو تعویض در حالت روشن: پشتیبانی اضافه کردن / حذف حجم گره داده بدون شروع مجدد گره داده (بتا)
پشتیبانی AES برای رمزگذاری سیم سریع تر
پشتیبانی از خدمات طولانی در حال اجرا در نخ
برچسب گره پشتیبانی در طول برنامه ریزی
پشتیبانی از مبتنی بر زمان رزرو منابع در زمانبند ظرفیت (بتا)
جهانی، کش مشترک برای مصنوعات نرم افزار (بتا)
پشتیبانی در حال اجرا از برنامه های کاربردی بومی در کانتینرهای Docker (آلفا)
چه در نسخه 2.7.0 جدید است:
پشتیبانی از گنجه ذخیره سازی
اطلاعات شفاف در رمزگذاری بقیه (بتا)
عامل DataNode امن و بدون نیاز به دسترسی ریشه
درایو تعویض در حالت روشن: پشتیبانی اضافه کردن / حذف حجم گره داده بدون شروع مجدد گره داده (بتا)
پشتیبانی AES برای رمزگذاری سیم سریع تر
پشتیبانی از خدمات طولانی در حال اجرا در نخ
برچسب گره پشتیبانی در طول برنامه ریزی
پشتیبانی از مبتنی بر زمان رزرو منابع در زمانبند ظرفیت (بتا)
جهانی، کش مشترک برای مصنوعات نرم افزار (بتا)
پشتیبانی در حال اجرا از برنامه های کاربردی بومی در کانتینرهای Docker (آلفا)
چه در نسخه 2.6.0 جدید است:
پشتیبانی از گنجه ذخیره سازی
اطلاعات شفاف در رمزگذاری بقیه (بتا)
عامل DataNode امن و بدون نیاز به دسترسی ریشه
درایو تعویض در حالت روشن: پشتیبانی اضافه کردن / حذف حجم گره داده بدون شروع مجدد گره داده (بتا)
پشتیبانی AES برای رمزگذاری سیم سریع تر
پشتیبانی از خدمات طولانی در حال اجرا در نخ
برچسب گره پشتیبانی در طول برنامه ریزی
پشتیبانی از مبتنی بر زمان رزرو منابع در زمانبند ظرفیت (بتا)
جهانی، کش مشترک برای مصنوعات نرم افزار (بتا)
پشتیبانی در حال اجرا از برنامه های کاربردی بومی در کانتینرهای Docker (آلفا)
چه در نسخه 2.5.0 جدید است:
بهبود احراز هویت در هنگام استفاده از پروکسی سرور HTTP.
یک سینک هادوپ معیارهای جدید که اجازه می دهد نوشتن به طور مستقیم به گرافیت.
خصوصیات برای هادوپ تلاش و تعمیر فایل سیستم سازگار.
پشتیبانی از POSIX سبک سیستم فایل ویژگی های توسعه یافته.
OfflineImageViewer به فهرست fsimage از طریق API WebHDFS.
بهبود پشتیبانی بوده و رفع اشکال به دروازه NFS.
وب مدرن UI ها (HTML5 و جاوا اسکریپت) برای ارواح HDFS.
پشتیبانی REST API های نخ از ارسال و کشتن برنامه های کاربردی.
ادغام از Kerberos برای فروشگاه جدول زمانی نخ است.
چه در نسخه 2.4.0 جدید است:
پشتیبانی از لیست های کنترل دسترسی در HDFS
پشتیبانی بومی برای ارتقا نورد در HDFS
استفاده از پروتکل بافر برای HDFS FSImage برای ارتقاء عملیاتی صاف
پشتیبانی از HTTPS کامل در HDFS
پشتیبانی از failover خودکار از نخ ResourceManager
پشتیبانی پیشرفته برای برنامه های جدید در نخ با برنامه تاریخ سرور و برنامه گاهشمار سرور
پشتیبانی از SLA ها قوی در نخ CapacityScheduler از طریق پیش دستی
چه در نسخه 2.3.0 جدید است:
پشتیبانی از سلسله مراتب ناهمگن ذخیره سازی در HDFS.
در حافظه کش برای داده HDFS با دولت متمرکز و مدیریت.
توزیع باینری نگاشتکاهش ساده شده از طریق HDFS در نخ توزیع کش.
چه در نسخه 2.2.0 جدید است:
نخ - کلی سیستم مدیریت منابع برای هادوپ به اجازه نگاشتکاهش و دیگر دیگر چارچوب های پردازش داده ها و خدمات
بالا در دسترس برای HDFS
فدراسیون HDFS
HDFS گزارشهای ویژه
دسترسی به داده ها در NFSv3 HDFS
چه در نسخه 2.1.0 بتا جدید است:
HDFS گزارشهای ویژه
پشتیبانی از در حال اجرا از Hadoop بر روی ویندوز
تثبیت کننده API نخ
چه در نسخه 2.0.3 آلفا جدید است:
QJM برای HDFS HA برای NameNode
برنامه ریزی چند منبع (پردازنده و حافظه) برای نخ
نخ ResourceManager راه اندازی مجدد
ثبات قابل توجهی در مقیاس برای نخ (بیش از 30،000 گره ها و برنامه های کاربردی 14 میلیون تا کنون، در زمان انتشار)
امنیت
بهتر:
چه در نسخه 1.0.0 جدید است.
HBase (اضافه / hsynch / hflush و امنیت).
webhdfs (با پشتیبانی کامل برای امنیت).
عملکرد دسترسی به فایلهای محلی برای HBase افزایش یافته است.
دیگر کارآیی، رفع اشکال، و ویژگی های.
چه در نسخه 0.20.2 جدید است: بافر ارسال
RPC سرور حفظ اندازه بزرگترین پاسخ تا کنون ارسال.
کتابخانه C ++ بر دبیان لنی بسازد.
برخی C ++ اسکریپت ها قبل از اعدام مورچه chmodded است.
جریان: روند ارائه پیام های وضعیت رونویسی هستند هر 10 seoncds.
IllegalArgumentException که CombineFileInputFormat به عنوان InputFormat کار استفاده می شود.
اشکالات متعدد W / آرشیو هادوپ.
اجازه ذخیره نمونه فایل سیستم را به صورت در هر نمونه غیر فعال باشد.
گمشده همگام سازی برای defaultResources در Configuration.addResource.
GzipCodec باید BuiltInZlibInflater عنوان decompressorType نشان نمی دهد.
HttpServer NameNode می InetSocketAddress نمونه نیست: IllegalArgumentException پرتاب شده است.
HttpServer خواب با مقادیر منفی.
Namenode اجرا می شود از حافظه به دلیل نشت حافظه در IPC سرور.
IPC اشکال مشتری ممکن است باعث شود RPC پاسخ آویزان می شود.
آزمون عدم جلوگیری از بقیه اهداف تست از اعدام.
آزمون contrib را در حال شکست ساخت Clover'ed.
آزمایش هایی در 0.20 واحد اجرا کنید.
TestStreamingStatus شکست خورده است در 0.20 شعبه.
نظر یافت نشد