داده های بزرگ یک اصطلاح بازاریابی است که کل ایده داده های استخراج شده از منابع مانند موتورهای جستجو، الگوهای خرید فروشگاه های مواد غذایی را از طریق کارت امتیازات و غیره شامل می شود. در دنیای مدرن، اینترنت منابع زیادی از داده ها دارد، که اغلب بدون مقیاس آن را غیر قابل استفاده کنید بدون پردازش و پردازش می شود مقدار باور نکردنی از زمان توسط هر یک از سرور. Apache Hadoop را وارد کنید
زمان کمتری برای پردازش داده هابا استفاده از معماری Hadoop برای توزیع وظایف پردازش در چندین ماشین در یک شبکه، زمان پردازش به صورت نجومی کاهش می یابد و پاسخ ها را می توان در مقدار معقول زمان تعیین کرد. Apache Hadoop به دو قسمت مختلف تقسیم می شود: یک جزء ذخیره سازی و یک جزء پردازش. در ساده ترین حالت Hapood یک سرور مجازی را از چندین ماشین فیزیکی بیرون می آورد. در حقیقت، Hadoop ارتباط بین دستگاه های چندگانه را مدیریت می کند به طوری که آنها با هم به اندازه کافی نزدیک می شوند تا به نظر برسد که تنها یک ماشین بر روی محاسبات وجود دارد. داده ها در میان ماشین های متعدد توزیع می شود تا ذخیره شوند و وظایف پردازشی توسط معماری Hadoop اختصاص داده شده و هماهنگ می شوند
. این نوع سیستم مورد نیاز برای تبدیل داده های خام به اطلاعات مفید در مقیاس ورودی های بزرگ داده است. مقدار داده هایی را که توسط Google هر ثانیه از کاربرانی که درخواست های جستجو را دریافت می کنند، در نظر بگیرید. به عنوان یک مجموع داده از اطلاعات، شما نمی دانید که در آن برای شروع، اما Hadoop به طور خودکار مجموعه داده ها را به مجموعه های کوچکتر و مجموعه های داده شده سازماندهی کند و این زیر مجموعه های قابل کنترل را به منابع خاص اختصاص دهد. سپس تمام نتایج پس از آن گزارش می شوند و به اطلاعات قابل استفاده می پردازند.
سرور آسان برای تنظیم
اگر چه سیستم پیچیده است، اکثر قطعات متحرک پشت انتزاع خالی است. راه اندازی سرور Hadoop نسبتا ساده است، فقط اجزای سرور را بر روی سخت افزار نصب کنید که به سیستم مورد نیاز است. بخش سخت تر برنامه ریزی شبکه کامپیوتری است که سرور Hadoop برای توزیع ذخیره سازی و پردازش نقش ها استفاده می کند. این می تواند شامل ایجاد یک شبکه محلی یا اتصال چندین شبکه در سراسر اینترنت باشد. شما همچنین می توانید از خدمات ابر موجود استفاده کنید و برای خوشه Hadoop در سیستم های محبوب ابر مانند مایکروسافت لاورو و آمازون EC2 هزینه کنید. این ها حتی ساده تر از پیکربندی می شوند، زیرا شما می توانید آنها را به طور مجزا چرخانده و سپس خوشه ها را لغو کنید، زمانی که دیگر نیازی به آنها ندارید. این نوع خوشه ایده آل برای آزمایش است زیرا شما فقط برای زمان خوشه Hadoop فعال است.
داده هایتان را پردازش کنید تا اطلاعات مورد نیازتان را دریافت کنید
داده های بزرگ یک منبع بسیار قدرتمند هستند، اما داده ها بی فایده اند، مگر اینکه به درستی طبقه بندی شوند و به اطلاعات تبدیل شوند. در حال حاضر، خوشه های Hadoop یک روش بسیار مقرون به صرفه برای پردازش این مجموعه داده ها را به اطلاعات ارائه می دهند.
نظر یافت نشد