این مقاله انگلیسی در 6 صفحه در سال 2014 منتشر شده و ترجمه آن 13 صفحه بوده و آماده دانلود رایگان می باشد.
| دانلود رایگان مقاله انگلیسی (pdf) و ترجمه فارسی (pdf + word) | |
| عنوان فارسی مقاله: |
مقدمه ای بر YARN و بررسی هادوپ |
| عنوان انگلیسی مقاله: |
Survey on Hadoop and Introduction to YARN |
| دانلود رایگان مقاله انگلیسی: | مقاله انگلیسی |
| دانلود رایگان ترجمه با فرمت pdf: | ترجمه pdf |
| دانلود رایگان ترجمه با فرمت ورد: | ترجمه ورد |
| مشخصات مقاله انگلیسی و ترجمه فارسی | |
| فرمت مقاله انگلیسی | |
| سال انتشار | 2014 |
| تعداد صفحات مقاله انگلیسی | 6 صفحه با فرمت pdf |
| نوع ارائه مقاله | ژورنال |
| رشته های مرتبط با این مقاله | مهندسی کامپیوتر – مهندسی صنایع |
| گرایش های مرتبط با این مقاله | داده کاوی – مهندسی الگوریتم ها و محاسبات – برنامه نویسی کامپیوتر |
| کلمات کلیدی | هادوپ – HDFS – نگاشت کاهش – زمانبندی – YARN |
| کلمات کلیدی انگلیسی | Hadoop – HDFS – MapReduce – Schedulers – YARN |
| ارائه شده از دانشگاه | |
| رفرنس | دارای رفرنس در داخل متن و انتهای مقاله ✓ |
| تعداد صفحات ترجمه تایپ شده با فرمت ورد با قابلیت ویرایش | 13 صفحه با فونت 14 B Nazanin |
| فرمت ترجمه مقاله | pdf و ورد تایپ شده با قابلیت ویرایش |
| وضعیت ترجمه | انجام شده و آماده دانلود رایگان |
| کیفیت ترجمه |
مبتدی (مناسب برای درک مفهوم کلی مطلب) |
| کد محصول |
F1912 |
| بخشی از ترجمه |
| . همچنین اکوسیستم هادوپ شامل پروژه های مختلفی است که در ]7[ ]8[ مورد بحث قرار گرفته اند: • آپاچی Hbase: ستون شی گرا، ذخیره داده های کلیدی توزیع شده غیرربطی روی سیستم عامل HDFS اجرا می شوند. مقیاس بیرونی به طور افقی در خوشه محاسباتی توزیع شده طراحی می شود. • آپاچی Hive: یک انبار داده، زیرساختی روی هادوپ به منظور ارائه کردن خلاصه ای از داده ها و کوئری، و تجزیه و تحلیل مجموعه ای از داده ها که روی فایل های سیستمی ذخیره شده اند را می سازند. این انبار داده ای کوئری بی درنگ را طراحی نمی کند، بلکه می تواند فایل های متنی، و فایل های دنباله دار را پشتیبانی کند. • آپاچی Pig: این آپاچی مکانیسم موازی با سطوح بالا را برای برنامه نویسی کارهای نگاشت کاهش به منظور اجرای خوشه های هادوپ ارائه می دهد. زبان اسکریپت به عنوان Pig لاتین استفاده می شود، و زبان جریان داده ای داده ها را به صورت روش موازی پردازش می کند. • آپاچی Zookeeper: واسط یک برنامه کاربردی است (API) که این امکان را فراهم می کند که پردازش داده های توزیع شده در سیستم های بزرگ به منظور همگام سازی هر یک از روش ها است و داده های سازگار با درخواست های کلاینت را ارائه می دهد. • آپاچی Sqoop: یک ابزار که به طور موثر انتقال داده های حجیم بین هادوپ و ذخیره داده های ساخت یافته مانند پایگاه داده های ارتباطی طراحی می کند. • آپاچی فلوم: یک سرویس توزیع شده که میزان داده های ورودی را فراهم، جمع آوری، و انتقال می دهد. 3. برنامه های کاربردی هادوپ برنامه های کاربردی هادوپ به صورت زیر ارائه شده اند که عبارتند از ]9[ ]10[ ]11[: • تجزیه و تحلیل انواع مختلف جریان کلیک/و یا ورودی • تحلیل بازاریابی • پیشگزینی سفر آنلاین • کشف و ذخیره های انرژی • زیرساخت مدیریت • بازیابی خطا • توجه به سلامتی • انواع مسیرهای مختلف داده شامل موقعیت جغرافیاییی داده، داده های حسگر و دستگاه، داده های رسانه اجتماعی است. 4. زمانبندی کار زمانبندی هادوپ از انواع مختلف زمانبندی الگوریتم ها استفاده می کند. انواع مختلف هادوپ به طور پیش فرض برای زمانبندی FIFO مورد استفاده قرار می گیرد. سپس فیس بوک و یاهو پس از در نظر گرفتن سعی می کند در این منطقه به ترتیب ظرفیت زمانبندی و خطای زمانبندی را بیاورد. سپس آنها انواع مختلف هادوپ را بعدا اضافه می کنند. A. زمانبندی پیش فرض هادوپ نسخه های هادوپ به طور سرراست رویکردهایی را به همراه وظایف کاربران مورد استفاده قرار می دهد. آنها به طور مرتب اجراها را زمانبندی می کنند و به اصول FIFO ارسال می کنند (به ترتیب ورودی) ]12[. در بعضی از زمان ها، اولویت تخصیص وظایف به منظور فراهم کردن وظایف جدید انسانی است. اولویت زمانبندی کار با انتخاب وظیفه بعدی که بالاترین اولویت را دارد است. این انتخاب به طور پیش فرض روشن نمی شود بلکه می تواند در صورت نیاز استفاده کند. اما با زمانبندی پیشگزینی FIFO در طول اولویت پشتیبانی نمی شود. بنابراین به طور تصادفی یک اجرا وجود دارد که در آن اولویت با آخرین بلوک بندی با زمانبندی بالا است. اولویت ها در کوئری FIFO اصلاح کار است که به طور مطمئن کار را انجام می دهند، با این حال دارای نیازمندی های مونیتورینگ و مدیریت کار نیز هست. اولویت مسئله با زمانبندی FIFO است و در آن هادوپ خوشه های ورودی برای هر برنامه اجرا شده ای تخصیص داده می شوند. هادوپ دو وظیفه اضافی زمانبندی را که شامل رویکرد مختلف و اشتراک خوشه بین چندین وظیفه به صورت یکجا است را ارائه می-دهد. ظرفیت و شایستگی زمانبندی یک راه پیچیده را برای مدیریت منابع خوشه از میان چندین وظیفه به طور همزمان ارائه می دهند. این زمانبندی ها در بخش زیر مورد بحث قرار می گیرند. B. شایستگی زمانبندی شایستگی زمانبندی ]13[ یک روش تخصیص منابع کاری است که تمام وظایف موجود در آن به طور یکسان میانگین اشتراک را به دست می آورند. شایستگی زمانبندی به ارائه اشتراک ظرفیت خوشه بسیار اهمیت می-دهد. اگر فقط یک وظیفه در حال اجرا باشد، در اینصورت یک مزیت برای دستیابی به تمام ظرفیت خوشه وجود دارد. کاربران وظایف بیشتر را ارسال می کنند، و شیارهایی را در میان هر کاربر که شایستگی زمانبندی خوشه را ارائه می دهد به اشتراک می گذارند. زمانبندی شایستگی دارای شایستگی کافی به همراه وظایف کوتاه و بلند در روش است و این امکان را می دهد که وظایف کوچکتر در زمان مناسب به پایان برسند در حالی که وظایف بزرگ تر دچار گرسنگی می شوند. کاربران این امکان را فراهم می کنند که خوشه ها بتوانند به راحتی به اشتراک گذاشته شوند. همچنین اشتراک شایستگی می تواند با وظایف اولویت ها را تخصیص دهد. شایستگی زمانبندی وظایف و منابع را به طور عادلانه تخصیص می دهند. هر کاربر به طور پیش فرض دارای استخر است و این امکان را می دهد که هر خوشه به اشتراک گذاشته شود. در داخل هر استخر FIFO یا زمابندی به صورت عادلانه مورد استفاده قرار می گیرد. در هر یک از استخرها، مدل ها به صورت پیش فرض تمام وظایف را به استخر ارسال می کنند. بنابراین، اگر خوشه با استخر شود، دو کاربر A و B می گویند که به هر کدام سه وظیفه اختصاص دهید تا خوشه ها تمام 6 وظیفه را به طور موازی اجرا کنند. فرض کنید که یک استخر سهم خود را به صورت یک دوره زمانی دریافت نکرده است، زمانبندی به طور اختیاری از وظایف در سایر استخرها پشتیبانی می کند. زمانبندی مجاز خواهد بود استخرهایی که در حال اجرا هستند از بین ببرد بنابراین شیارها می توانند به استخرهایی که در حال اجرا هستند ارائه شوند. به منظور تضمین وظایفی که به تولید گرسنگی نرسیده اند، پیشگزینی می تواند مورد استفاده قرار گیرد در حالی که با اجازه، خوشه هادوپ می تواند از تحقیقات و وظایف آزمایشی استفاده کند. C. زمانبندی ظرفیت زمانبندی ظرفیت ]14[ ]15[ به طور خاص برای محیط هایی طراحی شده است که نیاز به اشتراک منابع محاسباتی میان تعدادی از کاربران در آن وجود دارد. این یک رویکرد نسبتا متفاوتی برای زمانبندی چند کاربره است. یک خوشه از چندین صف تشکیل شده و ممکن است سلسله مراتب متفاوتی داشته باشد و هر صف دارای ظرفیت تخصیص یافته است. در هر صف وظایف با زمانبندی FIFO اولویت بندی شده اند. در واقع، زمانبندی ظرفیت به کاربران یا سازمان ها این امکان را می دهد که بتوانند یک خوشه نگاشت کاهش را به صورت جداگانه با زمانبندی FIFO برای هر کاربر یا سازمانی شبیه سازی کنند. D. ارتقاء زمانبندی براساس اشکال اجرایی وظایف گاهی اوقات ممکن است اتفاق بیفتد که چندین وظیفه در مجموعه ای از وظایف ادامه و زمان اجرای آنها به آهستگی ادامه پیدا کند. با توجه به وظایف در حال انجام یک وظیفه می تواند تمام کارها را انجام دهد و می-تواند وقت بیشتری را صرف اتمام کند و فقط در یک زمان کوتاهی به پایان می رسد. ممکن است دلایل مختلفی مانند بارگذاری بالا یک گره در CPU، آهسته شدن فرآیندهای پس زمینه، پیکربندی نرم افزار یا تخریب سخت افزار را داشته باشد. هادوپ تلاش می کند تا یک نسخه پشتیبان از یک کار را که زمان کندتری دارد اجرا کند. این به عنوان یک اجرای وظیفه نظری نامگذاری می شود. اگر وظایف اصلی قبل از کار به پایان برسند، سپس وظیفه ی نظری از بین می رود، اگر وظایف نظری به پایان برسند، وظایف اصلی نیز از بین خواهند رفت. اجرای نظری ]16[ قابلیت اطمینان شغلی را تضمین نمی کند. اگر اشکال ها دارای دو وظیفه اصلی نیز باشند گاهی اوقات کار را متوقف می کنند سپس اشکالات مشابه در کارهای احتمالی ظاهر خواهند شد. بنابراین این نوع وضعیت برای کارهای احتمالی غیرممکن خواهد بود. بنابراین یک نیاز برای تعمیر اشکال-ها وجود دارد طوری که نحوه عملکرد وظایف کند نشود. 1) زمانبندی LATE: طولانی ترین زمان تقریبی تا پایان (LATE) بهبود قابل توجهی را نسبت به اعداد به طور پیش فرض در نظر می گیرند. پیاده سازی زمانبندی احتمالی LATE به طور ضمنی روی فرض های خاص متمرکز است: a) پیشرفت یکنواخت وظایف در گره b) محاسبات یکنواخت در تمام گره ها. اما این فرضیات به راحتی در خوشه های ناهمگن متوقف می شوند |