دانلود رایگان ترجمه مقاله نگاشت کاهش (ساینس دایرکت – الزویر 2015)

نگاشت کاهش: تجزیه و تحلیل ساده شده کلان داده

MapReduce: Simplified Data Analysis of Big Data

مبتدی (مناسب برای درک مفهوم کلی مطلب)

F1913

1 مدل برنامه نویسی نگاشت کاهش
نگاشت کاهش طوری طراحی شده است که برنامه نویسان بتوانند از آن به جای کاربران تجاری استفاده کنند. این یک مدل برنامه نویسی است، نه یک زبان برنامه نویسی. این مدل برنامه نویسی برای راحتی، عملکرد و کنترل کلان داده ها طراحی شده است. مراحل مربوط به کار نگاشت کاهش را می توان به صورت زیر نشان داد:

شکل : مراحل نگاشت کاهش به منظور پردازش پایگاه داده
برنامه های کاربردی که شامل نمایه سازی و جستجو، تجزیه و تحلیل نمودار، و متن، یادگیری ماشین، تبدیل داده ها است با استفاده از SQL استاندارد DBMSهایی که آسان نیستند را ایجاد می کند. در چنین مناطقی ماهیت رویه نگاشت کاهش به راحتی برای برنامه نویسان ماهر قابل درک است. همچنین این مزیت را هم دارد که توسعه دهندگان مجبور نیستند از اجرای محاسبات موازی استفاده کنند-و به صورت شفاف در سیستم بکار گرفته می شوند. اگرچه نگاشت کاهش برای برنامه نویسان طراحی شده است، با این حال برنامه های غیربرنامه-نویسی می توانند از برنامه های نگاشت کاهش از پیش ساخته شده و توابع کتابخانه ای بهره ببرند [3] برنامه های نگاشت کاهش معمولا در جاوا نوشته می شوند. آنها همچنین می توانند به زبان های دیگر مانند C++، پایتون، روبی و غیره کدگذاری شوند. این برنامه ها ممکن است داده های ذخیره شده در فایل ها و سیستم های پایگاه داده را پردازش کنند. به عنوان مثال در گوگل، نگاشت کاهش در بالای سیستم فایل گوگل (GFS) اجرا می شود.
4. تنظیم مسائل
هادوپ: یاهو! اولین عامل اصلی در سال 2006 شده است

آپاچی هادوپ شامل چندین مولفه است. مواردی که در یک پایگاه داده و پردازش تحلیلی مورد توجه هستند عبارتند از [23]:
سیستم فایل توزیع شده هادوپ (HDFS)، نگاشت کاهش، Pig، Hive، Hbase، اسکوپ

HDFS می تواند یک منبع یا سیستم فایل برای برنامه های نگاشت کاهش باشد. این بهترین درخواست برای فایل های بسیار بزرگ می باشد. استفاده از داده های تکراری برای دسترسی به داده ها در HDFS امکان پذیر است. اما این باعث افزایش ذخیره سازی مورد نیاز برای مقابله با داده ها می شود. چارچوب نگاشت کاهش هادوپ به توزیع نگاشت فرآیند کمک می کند بنابراین داده های HDFS به برنامه محلی نیاز پیدا می کنند. برای پردازش، تمام فایل های خروجی ایجاد می شوند و توسط فرآیند نگاشت و برنامه کاهش بیشتر حرکات و دسترسی به داده های گره داخلی را انجام می شوند. در زمان اجرا، هر دو برنامه نگاشت و کاهش ، داده های انجام شده را به سیستم فایل محلی ارسال می کنند تا بتوانند از سربارگذاری تکرار HDFS جلوگیری کنند. HDFS از خوانندگان متعدد و یک نویسنده (MROW) پشتیبانی می کند. مکانیسم شاخص در HDFS قابل دسترس نیست، از این رو، برای خواندن برنامه ها به منظور اسکن محتوای کامل یک فایل مناسب و بهتر است. در HDFS، محل واقعی داده ها برای برنامه ها و نرم افزار خارجی شفاف است.
معماری HDFS
معماری HDFS شامل گره های ارباب/برده است و گره ارباب گره نام و گره برده گره داده نام دارد. HDFS فقط شامل تک گره نام ارباب و تعداد زیادی گره داده (برده) در میان خوشه و معمولا در هر گره است. HDFS یک فضای نامی (شبیه بسته ای در جاوا) را برای ذخیره داده های کاربران اختصاص می دهد. یک فایل ممکن است به یک یا چند بلوک داده تقسیم شود و این بلوک های داده ممکن است در مجموعه ای از گره های داده نگهداری شوند. گره نام اطلاعات ضروری فراداده را که در مورد نحوه اتصال بلوک ها به یکدیگر است و نحوه ذخیره بلوک ها در گره نام را نشان می دهد. نیازهایی که توسط کلاینت برای خواندن و نوشتن سیستم فایل ساخته شده بودند به صورت مستقیم توسط گره داده پردازش شده بودند، در حالی که عملیات فضای نام مانند باز کردن، بستن و تغییر نام دایرکتوری ها توسط گره های نام انجام می شود. مسئولیت های گره نام و گره-های داده باید مربوط به فعالیت های خاصی مانند ایجاد بلوک داده، تکرار و حذف باشد [20]. معماری HDFS (سیستم فایل توزیع شده هادوپ) در زیر نشان داده شده است [23]:

نمونه ای از HDFS که دارای یک ماشین اختصاصی است فقط گره نام را اجرا می کند. معمولا هر یک از ماشین ها در خوشه یک نمونه از نرم افزار گره داده را اجرا می کنند، و این معماری به شما اجازه می دهد که چندین گره داده را در یک ماشین اجرا کنید. گره نام مربوط به محل ذخیره سازی فراداده و کنترل است، در صورتی که گره نام مربوط به موارد ذکر شده نباشد اطلاعات کاربر هرگز مدیریت نمی شود. گره نام از یک نوع خاص ورود به سیستم، به نام EditLog، و برای پایداری فراداده استفاده می کند.
توسعه هادوپ
اگرچه هادوپ یک پیاده سازی خالص در جاوا است، با این حال ما می توانیم از آن به دو روش مختلف استفاده کنیم. ما می توانیم از یک جریان موجود در API یا از لوله های هادوپ استفاده کنیم. گزینه دوم این امکان را فراهم می کند تا برنامه های هادوپ با استفاده از C++ ایجاد شوند. از این رو، ما روی سوابق تمرکز خواهیم کرد. هدف اصلی طراحی هادوپ فراهم کردن ذخیره سازی و ارتباطات موجود در بسیاری از ماشین های همگن است. برنامه نویسان لینوکس را به عنوان سیستم عامل اولیه خود برای توسعه و آزمایش انتخاب کردند؛ از این رو، اگر علاقمند به کار با هادوپ در ویندوز باشید، لازم است نرم افزار جداگانه ای را برای تقلید محیط پوسته نصب کنید.
هادوپ می تواند به سه روش مختلف بستگی به نحوه توزیع فرآیندها اجرا شود [24]:
• حالت مستقل: این حالت به صورت پیش فرض با هادوپ ارائه می شود. همه این موارد در یک فایل جاوا اجرا می شوند.
• حالت شبه کد توزیع شده: در اینجا، هادوپ برای اجرای بر روی یک ماشین واحد، با انواع دمون های هادوپ به عنوان فرآیندهای مختلف جاوا پیکربندی می شود.
• حالت خوشه ای یا توزیع شده: در اینجا، یک دستگاه در خوشه به عنوان گره نام نامگذاری می شود و دستگاه دیگری به عنوان Job Tracker تعیین می شود. فقط یک گره نام در هر خوشه قرار می گیرد و فضای نام، فایل سیستمی فراداده و کنترل دسترسی را مدیریت می کند. دومین گره نام نیز می تواند به قابلیت تحمل-پذیری خطا دستیابی پیدا کند. بقیه دستگاه های موجود در خوشه هر دو به عنوان گره نام و Task Tracker عمل می کنند. گره داده، داده های سیستم را نگه می دارد؛ و هر گره داده حافظه محلی را ذخیره می کند یا هارددیسک محلی آن را مدیریت می کند. Task Tracker عملیات نگاشت و کاهش را انجام می-دهد.
5. آزمایشات
نوشتن برنامه کاربردی نگاشت کاهش هادوپ
بهترین راه برای درک و کار کردن با هادوپ این است که از طریق فرآیند نوشتن برنامه، نگاشت کاهش هادوپ پیاده سازی شود. ما با یک برنامه ساده نگاشت کاهش کار می کنیم و این برنامه می تواند بسیاری از رشته ها را معکوس کند. مثالی که در زیر ارائه شده است از طریق تعدادی از مراحل ابتدا تمام داده ها را به گره های مختلف تقسیم می کند، عملیات را انجام می دهد تا داده ها معکوس شوند و نتیجه رشته ها را باهم مرتبط می-سازد و سپس نتایج را تولید می کند. این نرم افزار فرصتی را برای بررسی تمام مفاهیم اصلی هادوپ فراهم می کند. ابتدا، ما در مراحل زیر نگاهی به اعلان و وارد کردن بسته می اندازیم. بسته در کلاس رشته ای com.javaworld.mapreduce قرار دارد. این را می توان در دو مجموعه به صورت زیر نشان داد:

اولین مجموعه اعلان ها برای کلاس های استاندارد جاوا است و دومین مجموعه برای پیاده سازی نگاشت کاهش است. بازخوانی کلاس با توسعه org.apache.hadoop.conf.Configured و اجرای رابط org.apache.hadoop.until.Tool آغاز می شود.
نگاشت و کاهش
حالا شما می توانید به پیاده سازی نگاشت کاهش واقعی پرش پیدا کنید. دو کلاس داخلی عبارتند از: نگاشت: شامل عملکردی برای پردازش جفت های کلیدی ورودی به منظور تولید جفت خروجی کلیدی است.

مشارکت ما به تازگی، در برخی از آزمایشات کشف شده است که برنامه های کاربردی ای که از هادوپ استفاده می کرده اند در مقایسه با برنامه های مشابه که از پایگاه داده های موازی استفاده می کرده اند کارایی کمتری دارند. هدف اصلی ما این است که بهینه سازی HDFS و به طور قابل توجهی عملکرد کلی چارچوب نگاشت کاهش را که باعث افزایش کارایی کل برنامه های نگاشت کاهش در هادوپ می شود را فراهم کنیم. ممکن است نتیجه نهایی نگاشت کاهش در مقابل پایگاه داده موازی هیچ تغییری نداشته باشد، با این حال رویکرد جدید هادوپ و نگاشت کاهش مطمئنا امکان مقایسه دقیق تر مدل های برنامه نویسی را فراهم خواهد کرد. اگرچه هادوپ قابلیت-های داخلی را برای نمایش نگاشت و کاهش فراهم می کند، با این حال هیچ ابزار ساخته شده ای برای تنظیم چارچوب، که بتواند موانع عملکرد را بدون انعطاف نگه دارد وجود ندارد. این مقاله تعاملات بین هادوپ و ذخیره سازی را بازیابی می کند. در اینجا، ما بسیاری از موانع عملکرد را که به طور مستقیم به کد برنامه مربوط نمی شود (یا سبک برنامه نویسی نگاشت کاهش)، بلکه به واسط زمانبندی کار و سیستم های توزیع شده تمام برنامه های هادوپ مربوط می شود را توضیح دادیم. HDFS همزمان می تواند به طور قابل توجهی با استفاده از برنامه ورودی/خروجی زمانبندی شود و می تواند حفظ قابلیت حمل و نقل را بهبود ببخشد. بهبودهای بیشتر می توانند با کاهش پراکندگی و حافظه نهان و کاهش هزینه قابل حمل انجام شوند. هادوپ از قابلیت انتقال برای پشتیبانی کاربران و کاهش پیچیدگی نصب و راه اندازی استفاده می کند. این نتایج نمونه ای گسترده از محاسبات موازی است.