دانلود رایگان ترجمه مقاله نگاشت کاهش (ساینس دایرکت – الزویر ۲۰۱۵)

 

 

این مقاله انگلیسی ISI در نشریه الزویر در ۹ صفحه در سال ۲۰۱۵ منتشر شده و ترجمه آن ۱۴ صفحه بوده و آماده دانلود رایگان می باشد.

 

دانلود رایگان مقاله انگلیسی (pdf) و ترجمه فارسی (pdf + word)
عنوان فارسی مقاله:

نگاشت کاهش: تجزیه و تحلیل ساده شده کلان داده

عنوان انگلیسی مقاله:

MapReduce: Simplified Data Analysis of Big Data

دانلود رایگان مقاله انگلیسی: مقاله انگلیسی
دانلود رایگان ترجمه با فرمت pdf: ترجمه pdf
دانلود رایگان ترجمه با فرمت ورد: ترجمه ورد

 

مشخصات مقاله انگلیسی و ترجمه فارسی
فرمت مقاله انگلیسی pdf
سال انتشار ۲۰۱۵
تعداد صفحات مقاله انگلیسی ۹ صفحه با فرمت pdf
نوع نگارش مقاله پژوهشی (Research article)
نوع ارائه مقاله ژورنال/کنفرانس
رشته های مرتبط با این مقاله مهندسی کامپیوتر – مهندسی صنایع
گرایش های مرتبط با این مقاله داده کاوی – برنامه نویسی کامپیوتر – معماری سیستم های کامپیوتری – مهندسی نرم افزار – بهینه سازی سیستم ها
چاپ شده در مجله (ژورنال) پروسدیا علوم کامپیوتر
کلمات کلیدی کلان داده – داده کاوی – تکنیک­های موازی کردن – HDFS – نگاشت کاهش – هادوپ
کلمات کلیدی انگلیسی Big Data – Data Mining – parallelization Techniques – HDFS – MapReduce – Hadoop
ارائه شده از دانشگاه علوم کامپیوتر و انگ، موسسه مهندسی و فناوری کریشنا
شناسه دیجیتال – doi https://doi.org/10.1016/j.procs.2015.07.392
رفرنس دارای رفرنس در داخل متن و انتهای مقاله
نشریه الزویر – Elsevier
تعداد صفحات ترجمه تایپ شده با فرمت ورد با قابلیت ویرایش  ۱۴ صفحه با فونت ۱۴ B Nazanin
فرمت ترجمه مقاله pdf و ورد تایپ شده با قابلیت ویرایش
وضعیت ترجمه انجام شده و آماده دانلود رایگان
کیفیت ترجمه

مبتدی (مناسب برای درک مفهوم کلی مطلب)

کد محصول

F1913

 

بخشی از ترجمه

۱ مدل برنامه نویسی نگاشت کاهش
نگاشت کاهش طوری طراحی شده است که برنامه نویسان بتوانند از آن به جای کاربران تجاری استفاده کنند. این یک مدل برنامه نویسی است، نه یک زبان برنامه نویسی. این مدل برنامه نویسی برای راحتی، عملکرد و کنترل کلان داده ها طراحی شده است. مراحل مربوط به کار نگاشت کاهش را می توان به صورت زیر نشان داد:

شکل : مراحل نگاشت کاهش به منظور پردازش پایگاه داده
برنامه های کاربردی که شامل نمایه سازی و جستجو، تجزیه و تحلیل نمودار، و متن، یادگیری ماشین، تبدیل داده ها است با استفاده از SQL استاندارد DBMSهایی که آسان نیستند را ایجاد می کند. در چنین مناطقی ماهیت رویه نگاشت کاهش به راحتی برای برنامه نویسان ماهر قابل درک است. همچنین این مزیت را هم دارد که توسعه دهندگان مجبور نیستند از اجرای محاسبات موازی استفاده کنند-و به صورت شفاف در سیستم بکار گرفته می شوند. اگرچه نگاشت کاهش برای برنامه نویسان طراحی شده است، با این حال برنامه های غیربرنامه-نویسی می توانند از برنامه های نگاشت کاهش از پیش ساخته شده و توابع کتابخانه ای بهره ببرند [۳] برنامه های نگاشت کاهش معمولا در جاوا نوشته می شوند. آنها همچنین می توانند به زبان های دیگر مانند C++، پایتون، روبی و غیره کدگذاری شوند. این برنامه ها ممکن است داده های ذخیره شده در فایل ها و سیستم های پایگاه داده را پردازش کنند. به عنوان مثال در گوگل، نگاشت کاهش در بالای سیستم فایل گوگل (GFS) اجرا می شود.
۴٫ تنظیم مسائل
هادوپ: یاهو! اولین عامل اصلی در سال ۲۰۰۶ شده است

آپاچی هادوپ شامل چندین مولفه است. مواردی که در یک پایگاه داده و پردازش تحلیلی مورد توجه هستند عبارتند از [۲۳]:
سیستم فایل توزیع شده هادوپ (HDFS)، نگاشت کاهش، Pig، Hive، Hbase، اسکوپ

HDFS می تواند یک منبع یا سیستم فایل برای برنامه های نگاشت کاهش باشد. این بهترین درخواست برای فایل های بسیار بزرگ می باشد. استفاده از داده های تکراری برای دسترسی به داده ها در HDFS امکان پذیر است. اما این باعث افزایش ذخیره سازی مورد نیاز برای مقابله با داده ها می شود. چارچوب نگاشت کاهش هادوپ به توزیع نگاشت فرآیند کمک می کند بنابراین داده های HDFS به برنامه محلی نیاز پیدا می کنند. برای پردازش، تمام فایل های خروجی ایجاد می شوند و توسط فرآیند نگاشت و برنامه کاهش بیشتر حرکات و دسترسی به داده های گره داخلی را انجام می شوند. در زمان اجرا، هر دو برنامه نگاشت و کاهش ، داده های انجام شده را به سیستم فایل محلی ارسال می کنند تا بتوانند از سربارگذاری تکرار HDFS جلوگیری کنند. HDFS از خوانندگان متعدد و یک نویسنده (MROW) پشتیبانی می کند. مکانیسم شاخص در HDFS قابل دسترس نیست، از این رو، برای خواندن برنامه ها به منظور اسکن محتوای کامل یک فایل مناسب و بهتر است. در HDFS، محل واقعی داده ها برای برنامه ها و نرم افزار خارجی شفاف است.
معماری HDFS
معماری HDFS شامل گره های ارباب/برده است و گره ارباب گره نام و گره برده گره داده نام دارد. HDFS فقط شامل تک گره نام ارباب و تعداد زیادی گره داده (برده) در میان خوشه و معمولا در هر گره است. HDFS یک فضای نامی (شبیه بسته ای در جاوا) را برای ذخیره داده های کاربران اختصاص می دهد. یک فایل ممکن است به یک یا چند بلوک داده تقسیم شود و این بلوک های داده ممکن است در مجموعه ای از گره های داده نگهداری شوند. گره نام اطلاعات ضروری فراداده را که در مورد نحوه اتصال بلوک ها به یکدیگر است و نحوه ذخیره بلوک ها در گره نام را نشان می دهد. نیازهایی که توسط کلاینت برای خواندن و نوشتن سیستم فایل ساخته شده بودند به صورت مستقیم توسط گره داده پردازش شده بودند، در حالی که عملیات فضای نام مانند باز کردن، بستن و تغییر نام دایرکتوری ها توسط گره های نام انجام می شود. مسئولیت های گره نام و گره-های داده باید مربوط به فعالیت های خاصی مانند ایجاد بلوک داده، تکرار و حذف باشد [۲۰]. معماری HDFS (سیستم فایل توزیع شده هادوپ) در زیر نشان داده شده است [۲۳]:

نمونه ای از HDFS که دارای یک ماشین اختصاصی است فقط گره نام را اجرا می کند. معمولا هر یک از ماشین ها در خوشه یک نمونه از نرم افزار گره داده را اجرا می کنند، و این معماری به شما اجازه می دهد که چندین گره داده را در یک ماشین اجرا کنید. گره نام مربوط به محل ذخیره سازی فراداده و کنترل است، در صورتی که گره نام مربوط به موارد ذکر شده نباشد اطلاعات کاربر هرگز مدیریت نمی شود. گره نام از یک نوع خاص ورود به سیستم، به نام EditLog، و برای پایداری فراداده استفاده می کند.
توسعه هادوپ
اگرچه هادوپ یک پیاده سازی خالص در جاوا است، با این حال ما می توانیم از آن به دو روش مختلف استفاده کنیم. ما می توانیم از یک جریان موجود در API یا از لوله های هادوپ استفاده کنیم. گزینه دوم این امکان را فراهم می کند تا برنامه های هادوپ با استفاده از C++ ایجاد شوند. از این رو، ما روی سوابق تمرکز خواهیم کرد. هدف اصلی طراحی هادوپ فراهم کردن ذخیره سازی و ارتباطات موجود در بسیاری از ماشین های همگن است. برنامه نویسان لینوکس را به عنوان سیستم عامل اولیه خود برای توسعه و آزمایش انتخاب کردند؛ از این رو، اگر علاقمند به کار با هادوپ در ویندوز باشید، لازم است نرم افزار جداگانه ای را برای تقلید محیط پوسته نصب کنید.
هادوپ می تواند به سه روش مختلف بستگی به نحوه توزیع فرآیندها اجرا شود [۲۴]:
• حالت مستقل: این حالت به صورت پیش فرض با هادوپ ارائه می شود. همه این موارد در یک فایل جاوا اجرا می شوند.
• حالت شبه کد توزیع شده: در اینجا، هادوپ برای اجرای بر روی یک ماشین واحد، با انواع دمون های هادوپ به عنوان فرآیندهای مختلف جاوا پیکربندی می شود.
• حالت خوشه ای یا توزیع شده: در اینجا، یک دستگاه در خوشه به عنوان گره نام نامگذاری می شود و دستگاه دیگری به عنوان Job Tracker تعیین می شود. فقط یک گره نام در هر خوشه قرار می گیرد و فضای نام، فایل سیستمی فراداده و کنترل دسترسی را مدیریت می کند. دومین گره نام نیز می تواند به قابلیت تحمل-پذیری خطا دستیابی پیدا کند. بقیه دستگاه های موجود در خوشه هر دو به عنوان گره نام و Task Tracker عمل می کنند. گره داده، داده های سیستم را نگه می دارد؛ و هر گره داده حافظه محلی را ذخیره می کند یا هارددیسک محلی آن را مدیریت می کند. Task Tracker عملیات نگاشت و کاهش را انجام می-دهد.
۵٫ آزمایشات
نوشتن برنامه کاربردی نگاشت کاهش هادوپ
بهترین راه برای درک و کار کردن با هادوپ این است که از طریق فرآیند نوشتن برنامه، نگاشت کاهش هادوپ پیاده سازی شود. ما با یک برنامه ساده نگاشت کاهش کار می کنیم و این برنامه می تواند بسیاری از رشته ها را معکوس کند. مثالی که در زیر ارائه شده است از طریق تعدادی از مراحل ابتدا تمام داده ها را به گره های مختلف تقسیم می کند، عملیات را انجام می دهد تا داده ها معکوس شوند و نتیجه رشته ها را باهم مرتبط می-سازد و سپس نتایج را تولید می کند. این نرم افزار فرصتی را برای بررسی تمام مفاهیم اصلی هادوپ فراهم می کند. ابتدا، ما در مراحل زیر نگاهی به اعلان و وارد کردن بسته می اندازیم. بسته در کلاس رشته ای com.javaworld.mapreduce قرار دارد. این را می توان در دو مجموعه به صورت زیر نشان داد:

اولین مجموعه اعلان ها برای کلاس های استاندارد جاوا است و دومین مجموعه برای پیاده سازی نگاشت کاهش است. بازخوانی کلاس با توسعه org.apache.hadoop.conf.Configured و اجرای رابط org.apache.hadoop.until.Tool آغاز می شود.
نگاشت و کاهش
حالا شما می توانید به پیاده سازی نگاشت کاهش واقعی پرش پیدا کنید. دو کلاس داخلی عبارتند از: نگاشت: شامل عملکردی برای پردازش جفت های کلیدی ورودی به منظور تولید جفت خروجی کلیدی است.

مشارکت ما به تازگی، در برخی از آزمایشات کشف شده است که برنامه های کاربردی ای که از هادوپ استفاده می کرده اند در مقایسه با برنامه های مشابه که از پایگاه داده های موازی استفاده می کرده اند کارایی کمتری دارند. هدف اصلی ما این است که بهینه سازی HDFS و به طور قابل توجهی عملکرد کلی چارچوب نگاشت کاهش را که باعث افزایش کارایی کل برنامه های نگاشت کاهش در هادوپ می شود را فراهم کنیم. ممکن است نتیجه نهایی نگاشت کاهش در مقابل پایگاه داده موازی هیچ تغییری نداشته باشد، با این حال رویکرد جدید هادوپ و نگاشت کاهش مطمئنا امکان مقایسه دقیق تر مدل های برنامه نویسی را فراهم خواهد کرد. اگرچه هادوپ قابلیت-های داخلی را برای نمایش نگاشت و کاهش فراهم می کند، با این حال هیچ ابزار ساخته شده ای برای تنظیم چارچوب، که بتواند موانع عملکرد را بدون انعطاف نگه دارد وجود ندارد. این مقاله تعاملات بین هادوپ و ذخیره سازی را بازیابی می کند. در اینجا، ما بسیاری از موانع عملکرد را که به طور مستقیم به کد برنامه مربوط نمی شود (یا سبک برنامه نویسی نگاشت کاهش)، بلکه به واسط زمانبندی کار و سیستم های توزیع شده تمام برنامه های هادوپ مربوط می شود را توضیح دادیم. HDFS همزمان می تواند به طور قابل توجهی با استفاده از برنامه ورودی/خروجی زمانبندی شود و می تواند حفظ قابلیت حمل و نقل را بهبود ببخشد. بهبودهای بیشتر می توانند با کاهش پراکندگی و حافظه نهان و کاهش هزینه قابل حمل انجام شوند. هادوپ از قابلیت انتقال برای پشتیبانی کاربران و کاهش پیچیدگی نصب و راه اندازی استفاده می کند. این نتایج نمونه ای گسترده از محاسبات موازی است.

 

نوشته های مشابه

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

دکمه بازگشت به بالا