دانلود رایگان ترجمه مقاله تکنیک های تکاملی خوشه و پردازش کلان داده ها (آی تریپل ای ۲۰۱۷)

Handling Big Data Using a Data-Aware HDFS and Evolutionary Clustering Technique

۳۷ صفحه با فونت ۱۴ B Nazanin

مبتدی (مناسب برای درک مفهوم کلی مطلب)

F1911

شکل ۱ مفاهیم و ماژول ها را در یک چارچوب پیشنهادی نشان می دهد و توضیح آن به شرح زیر است: (۱) پس از جمع آوری داده ها یا جمع آوری مجموعه داده های قدیمی، این ماژول داده ها را به نمودارهای شبکه مورد نظر تبدیل می کند؛ (۲) با یافتن الگوها در نمودار، ماژول داده ها را به بلوک های مناسب توزیع می کند؛ (۳) بلوک ها در داخل ماشین سمت راست توزیع می شوند؛ و (۴) HDFS بهینه سازی شده به عنوان یک منبع داده پرس وجوها را اجرا می کند و یک سیستم عامل را برای اعمال الگوریتم های گراف به صورت کارآمد به منظور کاهش منابع مورد استفاده ارائه می کند.
برای خلاصه کردن چارچوب پیشنهادی، HDFS قادر است داده های مدرن را با ایجاد ساختار اطلاع رسانی داده ها، شناسایی، توزیع و مدیریت داده ها در سیستم فایل مقیاس پذیر را بهبود ببخشد. بدین ترتیب، چارچوب نتایج در بهینه سازی و در منابع کارآمد سیستم اکو هادوپ و دیگر ابزارها از HDFS به عنوان یک منبع ذخیره سازی توزیع شده استفاده می شود.
در تحقیقات اخیر راه حل های متقاعد کننده ای در تحلیل بعدی و معماری لامبدا ارائه شده است. سانگ و همکارانش [۱۳] تحقیقات اخیر را در نوع داه ها، مدل های ذخیره سازی، روش های تجزیه و تحلیل کاربرد شبکه کلان داده ها مورد بررسی قرار دادند. آنها همچنین چالش ها و توسعه کلان داده ها را برای پیش بینی روند فعلی و آینده خلاصه کرده اند. سانگ و همکارانش [۱۳] نحوه جریان داده ها در زمان واقعی را با افزایش سرویس های جریان آنلاین نشان دادند، و همچنین نحوه بررسی یک سیستم را که براساس SQL که جریان DB نام دارد به منظور تجزیه و تحلیل اطلاعات پایدار نشان دادند.
بررسی های [۱۵]، [۱۶]، [۱۷] و [۱۸] بر تحلیل زمان واقعی تمرکز دارند، و شامل تلاش های معماری لامبدا هستند، و نویسندگان [۱۸] در آن معماری سیستم های کلان داده های بحرانی را معرفی می کنند. آنها نحوه زیرساخت های موجود در کلان داده ها را که زمانبر هستند نشان دادند و فقط بر روی برنامه های کاربردی تمرکز کردند. باسانتا و همکارانش [۱۸] این مسئله را از دیدگاه جامعه سیستم های زمان واقعی مورد بررسی قرار دادند. آنها معماری تحلیلگر زمانبندی (TC) را به عنوان یک گروه TC در پردازش دستی و جریان پردازش آنلاین TC را در نظر گرفتند. باسانتا و همکارانش [۱۸] به طور کلی تبدیل پشته کلان داده ها را در پشته کلان داده TC به همراه اعمال نیازمندی ها و چالش های برنامه های پشته TC ارائه دادند.
T-Hoarder [19] چارچوبی است که توییت ها را همراه با داده های مربوط به زمان فضا را به دست می آورد؛ همچنین خلاصه ای از اطلاعات و تحلیل مربوط به فعالیت توییتر را به صورت یک رویداد در صفحه وب ارائه می کند. تجزیه و تحلیل بررسی ها و معماری لامبدا همراه با آپاچی کُدو [۲۰] و مجموعه ای از بررسی ها را که عملکرد سریع تری در پردازش OLAP و عملکرد قوی در زمان بارز حجم کاری را دارد نشان می دهد. با این حال، این یک نتیجه است، تا جایگاه برخورد داده های هوشمند، و تکنولوژی ها بتوانند حجم کاری پردازش داده ها را کاهش دهند، و اولین نسخه آزمایشی اینتل را در سفیر ۲۰۱۷ ارائه دادند [۲۲]. اینتل نوع جدید حافظه پایدار را با یک فضای خاص نسبت به DRAM و تاخیر کمتری را نسبت به SSD ارائه می دهد.
۲ محدوده کاری
حجم کاری فعلی که در سیستم در حال اجرا می باشد (در آن ناکارآمدی وجود دارد) منجر به فضای بیشتر نیازمندی در مراکز داده و برخی از پیامدهای محیطی و باعث افزایش انتشار کربن در مصرف انرژی می شود [۱]. این می تواند به دلیل مصرف انرژی اضافی و عملکرد پایین منابع سخت افزاری که شرکت ها را تحت تاثیر قرار می دهد باشد. ما به یک مقیاس کارآمد نیاز داریم.
نظریه گراف یک اصول را به خوبی مورد بررسی قرار می دهد. دکتر روی مارستن در وبلاگش [۲۳] خاطرنشان کرد که نظریه گراف یکی از روش های کلیدی در فهم و درک استفاده از کلان داده ها است. دکتر مارستن رو ی گوگل در طی فرآیند مدرن سازی گراف با استفاده از لینک های بین اسناد و زمینه های وب معنایی، تمرکز دقیقی داشت. در نتیجه، “گوگل یک موتور جستجوی وب را تولید کرد و از رقبای ثابت خود پیشی گرفت” [۲۳]. بسیاری از داده ها را می توان به نمودار تبدیل کرد. برعکس، بسیاری از مسائل را می توان به مسائل گراف تبدیل کرد. با استفاده از نظریه ها و الگوریتم های گراف، بسیاری از این مسائل را می توان به طور موثر حل کرد.
ما کار SHARD روهلوف و همکارانش را در نظر گرفتیم [۵] و آن را همانطور که در بخش معماری نشان داده شده است به عنوان داده های امروزی به منظور تبدیل انواع داده به نمودار چهارگانه ارائه کردیم. همانطور که در بخش های پایگاه داده گرافیکی بحث کردیم روش هایی برای مقیاس داده های گراف با استفاده از سیستم-های اکو توزیع شده مانند هادوپ وجود دارد. علاوه بر این، موفقیت بزرگ هوانگ و همکارانش زمانی اتفاق می-افتد [۱] که بورس تحصیلی روهلوف و همکارانش مورد پذیرش قرار گرفته باشد [۵] و داده های RDF برای غلبه بر محدودیت های مربوط به تکنیک روهلوف و همکارانش بهینه سازی می شوند.
قبلا تلاش هایی برای بهینه سازی گراف ها صورت گرفته است؛ به عنوان مثال SHARD [5]، عمل درهم-سازی داده ها را انجام می دهد. با این حال، عمل درهم سازی منجر به جابه جایی محدودیت ها در گراف های RDF و حرکت داده های شبکه ای نیز می شود. مثال دیگری از هوانگ و همکارانش بدین صورت است [۱] اشیاء متصل به یک موضوع پردازش می شوند تا یک بلوک مشابه برای یک یا دو تقاطع بین موضوع و جسم ایجاد شود (یک یا دو لبه فاصله بین موضوع و اشیاء). با این حال، محدودیت های فضا به علت افزایش اندازه داده ها وجود دارد. همچنین، محدودیت استفاده از چنین الگوریتمی که به یک گراف متصل است نیز وجود دارد. سایر کارهایی مانند سمپالا [۲۴]، یا Hive، PigSPARQL [25] & [26]، MapMerge [27] و MAPSIN [28] تا حدی مقیاس پذیری را برطرف می کنند. با این وجود، چنین کاری از ذخیره سازی های مختلف که سه برابر هستند و از مزایای Hive، MR و Impala استفاده می کند و با استفاده از چارچوب ما می توانیم پارتیشن بندی را بهینه سازی کنیم.
۲٫۱ پایگاه داده های گراف
داده های جاری و برنامه های مدرن به محدودیت های ذخیره و پردازش با استفاده از پایگاه داده های سنتی، بویژه مدل ارتباطی منجر می شوند. دقت پایگاه داده های گراف افزایش پیدا کرده است، و این موضوع تقریبا در اوایل دهه ۹۰ [۲۹] مجددا مورد بررسی قرار گرفت. اهمیت پایگاه های اطلاعاتی معمولا براساس روابط بین داده ها است، و به طور مساوی یا حتی بیشتر از اطلاعات موجودیت ها می باشند [۳۰]. پروژه ها در زمینه های مختلف به پایگاه های زیر دقت ویژه ای دارند (مانند زیست شناسی [۳۱]، وب معنایی [۳۲]، وب کاوی [۳۳] و شیمی [۳۴]).
سیلبرشاتس و همکارانش [۳۵] به طور کلی یک مدل داده (مدل پایگاه داده) را که مجموعه ای از ابزارهای مفهومی است را برای مدل سازی روابط بین شناسه ها مورد استفاده قرار دادند. سه مولفه مدل پایگاه داده عبارتند از [۳۵]: (۱) مجموعه ای از انواع ساختار داده ای، (۲) مجموعه ای از قوانین یکپارچه و (۳) رابط قوانین و عملگرها.