Handling Big Data Using a Data-Aware HDFS and Evolutionary Clustering Technique

37 صفحه با فونت 14 B Nazanin

مبتدی (مناسب برای درک مفهوم کلی مطلب)

F1911

شکل 1 مفاهیم و ماژول ها را در یک چارچوب پیشنهادی نشان می دهد و توضیح آن به شرح زیر است: (1) پس از جمع آوری داده ها یا جمع آوری مجموعه داده های قدیمی، این ماژول داده ها را به نمودارهای شبکه مورد نظر تبدیل می کند؛ (2) با یافتن الگوها در نمودار، ماژول داده ها را به بلوک های مناسب توزیع می کند؛ (3) بلوک ها در داخل ماشین سمت راست توزیع می شوند؛ و (4) HDFS بهینه سازی شده به عنوان یک منبع داده پرس وجوها را اجرا می کند و یک سیستم عامل را برای اعمال الگوریتم های گراف به صورت کارآمد به منظور کاهش منابع مورد استفاده ارائه می کند.
برای خلاصه کردن چارچوب پیشنهادی، HDFS قادر است داده های مدرن را با ایجاد ساختار اطلاع رسانی داده ها، شناسایی، توزیع و مدیریت داده ها در سیستم فایل مقیاس پذیر را بهبود ببخشد. بدین ترتیب، چارچوب نتایج در بهینه سازی و در منابع کارآمد سیستم اکو هادوپ و دیگر ابزارها از HDFS به عنوان یک منبع ذخیره سازی توزیع شده استفاده می شود.
در تحقیقات اخیر راه حل های متقاعد کننده ای در تحلیل بعدی و معماری لامبدا ارائه شده است. سانگ و همکارانش [13] تحقیقات اخیر را در نوع داه ها، مدل های ذخیره سازی، روش های تجزیه و تحلیل کاربرد شبکه کلان داده ها مورد بررسی قرار دادند. آنها همچنین چالش ها و توسعه کلان داده ها را برای پیش بینی روند فعلی و آینده خلاصه کرده اند. سانگ و همکارانش [13] نحوه جریان داده ها در زمان واقعی را با افزایش سرویس های جریان آنلاین نشان دادند، و همچنین نحوه بررسی یک سیستم را که براساس SQL که جریان DB نام دارد به منظور تجزیه و تحلیل اطلاعات پایدار نشان دادند.
بررسی های [15]، [16]، [17] و [18] بر تحلیل زمان واقعی تمرکز دارند، و شامل تلاش های معماری لامبدا هستند، و نویسندگان [18] در آن معماری سیستم های کلان داده های بحرانی را معرفی می کنند. آنها نحوه زیرساخت های موجود در کلان داده ها را که زمانبر هستند نشان دادند و فقط بر روی برنامه های کاربردی تمرکز کردند. باسانتا و همکارانش [18] این مسئله را از دیدگاه جامعه سیستم های زمان واقعی مورد بررسی قرار دادند. آنها معماری تحلیلگر زمانبندی (TC) را به عنوان یک گروه TC در پردازش دستی و جریان پردازش آنلاین TC را در نظر گرفتند. باسانتا و همکارانش [18] به طور کلی تبدیل پشته کلان داده ها را در پشته کلان داده TC به همراه اعمال نیازمندی ها و چالش های برنامه های پشته TC ارائه دادند.
T-Hoarder [19] چارچوبی است که توییت ها را همراه با داده های مربوط به زمان فضا را به دست می آورد؛ همچنین خلاصه ای از اطلاعات و تحلیل مربوط به فعالیت توییتر را به صورت یک رویداد در صفحه وب ارائه می کند. تجزیه و تحلیل بررسی ها و معماری لامبدا همراه با آپاچی کُدو [20] و مجموعه ای از بررسی ها را که عملکرد سریع تری در پردازش OLAP و عملکرد قوی در زمان بارز حجم کاری را دارد نشان می دهد. با این حال، این یک نتیجه است، تا جایگاه برخورد داده های هوشمند، و تکنولوژی ها بتوانند حجم کاری پردازش داده ها را کاهش دهند، و اولین نسخه آزمایشی اینتل را در سفیر 2017 ارائه دادند [22]. اینتل نوع جدید حافظه پایدار را با یک فضای خاص نسبت به DRAM و تاخیر کمتری را نسبت به SSD ارائه می دهد.
2 محدوده کاری
حجم کاری فعلی که در سیستم در حال اجرا می باشد (در آن ناکارآمدی وجود دارد) منجر به فضای بیشتر نیازمندی در مراکز داده و برخی از پیامدهای محیطی و باعث افزایش انتشار کربن در مصرف انرژی می شود [1]. این می تواند به دلیل مصرف انرژی اضافی و عملکرد پایین منابع سخت افزاری که شرکت ها را تحت تاثیر قرار می دهد باشد. ما به یک مقیاس کارآمد نیاز داریم.
نظریه گراف یک اصول را به خوبی مورد بررسی قرار می دهد. دکتر روی مارستن در وبلاگش [23] خاطرنشان کرد که نظریه گراف یکی از روش های کلیدی در فهم و درک استفاده از کلان داده ها است. دکتر مارستن رو ی گوگل در طی فرآیند مدرن سازی گراف با استفاده از لینک های بین اسناد و زمینه های وب معنایی، تمرکز دقیقی داشت. در نتیجه، “گوگل یک موتور جستجوی وب را تولید کرد و از رقبای ثابت خود پیشی گرفت” [23]. بسیاری از داده ها را می توان به نمودار تبدیل کرد. برعکس، بسیاری از مسائل را می توان به مسائل گراف تبدیل کرد. با استفاده از نظریه ها و الگوریتم های گراف، بسیاری از این مسائل را می توان به طور موثر حل کرد.
ما کار SHARD روهلوف و همکارانش را در نظر گرفتیم [5] و آن را همانطور که در بخش معماری نشان داده شده است به عنوان داده های امروزی به منظور تبدیل انواع داده به نمودار چهارگانه ارائه کردیم. همانطور که در بخش های پایگاه داده گرافیکی بحث کردیم روش هایی برای مقیاس داده های گراف با استفاده از سیستم-های اکو توزیع شده مانند هادوپ وجود دارد. علاوه بر این، موفقیت بزرگ هوانگ و همکارانش زمانی اتفاق می-افتد [1] که بورس تحصیلی روهلوف و همکارانش مورد پذیرش قرار گرفته باشد [5] و داده های RDF برای غلبه بر محدودیت های مربوط به تکنیک روهلوف و همکارانش بهینه سازی می شوند.
قبلا تلاش هایی برای بهینه سازی گراف ها صورت گرفته است؛ به عنوان مثال SHARD [5]، عمل درهم-سازی داده ها را انجام می دهد. با این حال، عمل درهم سازی منجر به جابه جایی محدودیت ها در گراف های RDF و حرکت داده های شبکه ای نیز می شود. مثال دیگری از هوانگ و همکارانش بدین صورت است [1] اشیاء متصل به یک موضوع پردازش می شوند تا یک بلوک مشابه برای یک یا دو تقاطع بین موضوع و جسم ایجاد شود (یک یا دو لبه فاصله بین موضوع و اشیاء). با این حال، محدودیت های فضا به علت افزایش اندازه داده ها وجود دارد. همچنین، محدودیت استفاده از چنین الگوریتمی که به یک گراف متصل است نیز وجود دارد. سایر کارهایی مانند سمپالا [24]، یا Hive، PigSPARQL [25] & [26]، MapMerge [27] و MAPSIN [28] تا حدی مقیاس پذیری را برطرف می کنند. با این وجود، چنین کاری از ذخیره سازی های مختلف که سه برابر هستند و از مزایای Hive، MR و Impala استفاده می کند و با استفاده از چارچوب ما می توانیم پارتیشن بندی را بهینه سازی کنیم.
2.1 پایگاه داده های گراف
داده های جاری و برنامه های مدرن به محدودیت های ذخیره و پردازش با استفاده از پایگاه داده های سنتی، بویژه مدل ارتباطی منجر می شوند. دقت پایگاه داده های گراف افزایش پیدا کرده است، و این موضوع تقریبا در اوایل دهه 90 [29] مجددا مورد بررسی قرار گرفت. اهمیت پایگاه های اطلاعاتی معمولا براساس روابط بین داده ها است، و به طور مساوی یا حتی بیشتر از اطلاعات موجودیت ها می باشند [30]. پروژه ها در زمینه های مختلف به پایگاه های زیر دقت ویژه ای دارند (مانند زیست شناسی [31]، وب معنایی [32]، وب کاوی [33] و شیمی [34]).
سیلبرشاتس و همکارانش [35] به طور کلی یک مدل داده (مدل پایگاه داده) را که مجموعه ای از ابزارهای مفهومی است را برای مدل سازی روابط بین شناسه ها مورد استفاده قرار دادند. سه مولفه مدل پایگاه داده عبارتند از [35]: (1) مجموعه ای از انواع ساختار داده ای، (2) مجموعه ای از قوانین یکپارچه و (3) رابط قوانین و عملگرها.

مبتدی (مناسب برای درک مفهوم کلی مطلب) 

ASelect یکی از ساده‌ترین الگوریتم‌ها است. تمامی رئوس (Vs) در زیرگراف را به عنوان مجموعه‌های مستقل در نظر می‌گیرد. سپس، یک عدد تصادفی به شکل را به هر کدام از رئوس زیرگراف تخصیص می‌دهد. سپس برای هر یال در زیرگراف (یال‌ها در Es)، ASelect رئوسی در گراف که دارای مقادیر تصادفی بیشتر باشد را حذف می‌کند.
بر خلاف ASelect، BSelectتمامی رئوس در زیرگراف را به عنوان مجموعه‌ مستقل در یک تکرار در نظر نمی‌گیرد. به جای آن BSelect از یک منغیر تصادفی ( Coin) برای تصمیم‌گیری در مورد اینکه آیا رئوس در زیرگراف باید به مجموعه‌ای مستقل انتخاب شوند یا خیر استفاده می‌کند. مقدار Coin بر اساس توزیع احتمالات با استفاده از درجه توزیع زیرگراف تعریف شده است. به طور دقیق‌تر، اگر d(v) درجه تخصیص‌یافته به یک راس v ∈ V`باشد، آنگاه به احتمال d(v)2/1 خواهیم داشت که: Coin(V)=1. اگر d(v) =0 باشد آنگاه Coin(v) همواره 1 خواهد بود. برای جزئیات بیشتر در مورد الگوریتم B، می‌توانید به لوبی اصلی که در [2] منتشر شده بود مراجعه کنید.

A. الگوریتم لوبی در حافظه توزیع‌شده
الگوریتم‌های لوبی مستقیما در اختیار پیاده‌سازی ‌های حافظه توزیع ‌شده موازی قرار نمی‌گیرند. الگوریتم های لوبی باتمرکز بردستگاه ‌های حافظه مشترک و با استفاده ازمدلPRAMمورد تحلیل قرار می‌گیرند. درمدلPRAMتمام پردازنده‌ ها پس از خواندن از حافظه مشترک و همچنین قبل از نوشتن درحافظه مشترک همگام‌ سازی می‌شوند. یک روش طبیعی برای گسترش یک الگوریتم توزیع حافظه لوبی به حافظه توزیع شده،استفاده از رویکرد موازی همگام‌سازی توده‌ای (BSP) است، در BSP [17]عملیات‌های حافظه مشترک می‌توانند برای مراحل محاسبه،ارتباطات و هماهنگ‌سازی تبدیل شوند. بااین حال،این رویکرد دربسیاری ازمراحل همگام‌سازی مانع ایجاد می‌کند.
یکی دیگر از مشکلات «طرح تکرار شونده کلی» (الگوریتم 1) وابستگی به محاسبات زیرگرافی است. یعنی در هر بار تکرار، الگوریتم یک زیرگراف جدید، با حذف رئوس و یال‌های مجموعه‌ مستقلی که در تکرار فعلی از گراف بودند، ایجاد می‌کند. ساخت یک زیرگراف در هر بار تکرار در حافظه توزیع شده بسیار ناکارآمد است زیرا شامل ارتباطات و همگام‌سازی‌ها است حتی اگر زیرگراف به طور ضمنی از طریق پوشاندن رئوس حفظ و نگهداری شود.
علاوه بر این، الگوریتم Select A نیاز به انتخاب جدیدی از اعداد تصادفی در هر تکرار دارد. محدوده اعداد بستگی به تعداد رئوس باقی‌مانده در زیرگراف دارد. بنابراین، تولید اعداد تصادفی، نیاز به کاهش تعداد رئوس در زیرگراف دارد و این یک مانع در هر تکرار است. علاوه بر این، تولید عدد تصادفی دارای سربار محاسباتی قابل توجهی است.
در بخش بعدی، ما در مورد چگونگی گسترش الگوریتم لوبی به اجرای توزیع‌شده بحت خواهیم کرد و در عین حال از نقایصی که در بالا مطرح شد نیز اجتناب خواهیم کرد. در الگوریتم پیشنهادی، سربار مانع مراحل همگام‌سازی که با همپوشانی محاسباتی و ارتباطی همراه بوده است در اینجا به حداقل رسیده است. محاسبه زیرگراف از طریق فیلترسازی راس بدست خواهد آمد. با این حال فیلترسازی راس، توانایی تکرار در طی ساختار داده گراف به شکل موازی را از کار خواهد انداخت. بنابراین، در پیاده‌سازی ما، ما از یک ساختار داده موازی استفاده کردیم. همچنین نوعی از الگوریتم SelectA را ارائه داده‌ایم که از تولید اعداد تصادفی در هر تکرار جلوگیری می‌کند و از اعداد تصادفی که در آغاز تولید شده بود استفاده می‌کند.

4. الگوریتم‌های حافظه توزیع‌شده موازی لوبی
الگوریتم‌های حافظه توزیع‌شده موازی لوبی از یک توزیع 1 بعدی برای توزیع رئوس گراف در بین رتبه‌های شرکت‌کننده‌ها استفاده می‌کند. هر رتبه یک زیرمجموعه از رئوس و یک زیرمجموعه یال مرتبط با رئوس را دریافت می‌کند. در داخل یک رتبه، یک زیرمجموعه راس و یال‌های تخصیص یافته به آن زیرمجموعه با استفاده از یک نمایه گرافی محلی به شکل زیر نمایش داده می‌شود: . یک راس «متعلق به» یک رتبه است و راس‌ها متعلق به رتبه‌های مختلف ارتباطی هستند که به عبور پیام‌ها می‌پردازند. عبور پیام‌های ارتباطی بین رتبه‌ها بر اساس فرآیند BSP طراحی شده است، اما با همپوشانی ارتباطی و محاسباتی برای بهبود کارآیی طراحی شده‌اند.

طرح تکرارشونده توزیع کلی

طرح تکرار شونده توزیع کلی (الگوریتم2) نیاز به محاسبه زیرگراف دارد. اگر چه محاسبه زیر گرافی صریح ممکن است درمحیط های ترتیبی و حافظه مشترک موازی مفید باشد،امادرحافظه توزیع شده به دلیل ایجاد سربار وتوزیع زیرگرافی جدید درهرتکرار،درحافظه توزیع شده ناکارآمداست. قابلیت محاسبه زیرگراف معادل توزیع شده را میتوان با فیلترکردن ریشه‌ها (به عنوان مثال،اعمال یک فیلتر پیش ‌بینی برای نمایش اینکه آیا یک راس درمحاسبات فعلی درنظر گرفته می‌شود). اگرچه با اعمال فیلتر از بیشتر یال‌ها مجددا باید در هر تکرار عبور کرد، اما افزایش راندمان موازی نسبت به هزینه‌های ناشی از این عبورهای غیرضرروی ارزش دارد.
برای کاهش محاسبات زیرگراف در حافظه توزیع شده،ازدوساختاردادهاستفاده می‌کنیم:
1) یک بافر ضمیمه (append buffer) (Buffer)- برای دسترسی موازی کارآمد و
2)یک ساختار مجموعه (set structure) (حذف مجموعه).
این دو ساختارداده توسط طرح تکراری کلی ایجادشده وبه یکی ازالگوریتمSelect A یا Select B منتقل می‌شود. الگوریتم Select مسئول پرکردن با فرضمیمه است و مجموعه راحذف می‌کند.هنگامی که الگوریتم Selectتصمیم می‌گیردکه یک رأس یک نامزدحضوردرMISباشد،رأس رابه بافر ضمیمه می‌کند. سپس، بعد ازاینکه بافرحاوی مقادیر اولیه رئوس احتمالی MISاست،تمام رأس ‌هایی که یک همسایه بایک مقدار تصادفی کمتراختصاص داده شده دارند،درمجموعه حذف قرارمیگیرند. طرح کلی تکراری به طورموازی بافرضمیمه می‌کند و بررسی می‌کندکه آیا یک رأس درمجموعه حذف شده است یا خیر. اگررأس درمجموعه حذف حضور ندارد،پس رأس بهMISحاصل ضمیمه می‌شود. برای کاهش تردی ددرهنگام استفاده ازمجموعه حذف،مجموعه حذف را به عنوان کلسکسیونی ازمجموعه
‌ها اجر امی‌کنیم،که درآن هر نخ یک مجموعه محلی را به نخ نگه می‌دارد.
افزودن به یک مجموعه حذف، محلی برای فراخوانی نخ است. زمانی که در حال انجام کوئری یک عنصر از یک مجموعه حذف هستیم، ابتدا باید بررسی کنیم که آیا عنصر در مجموعه نخ محلی قرار دارد یا خیر، و سپس باید به دنبال عنصری در مجموعه‌های متعلق به سایر نخ‌ها بپردازیم. در طی مرحله جست‌وجو، مجموعه‌ها تنها خوانده می‌شوند، تا آن‌ها را به شکلی ایمن بتوان بین نخ‌ها به اشتراک گذاشت. طراحی دو مرحله‌ای (بافر و مجموعه حذف) سبب محدودیت‌ مشاجره نخ‌ها بر روی موضوع ورودی سربار کم بر روی بافر ضمیمه می‌شود.
در طی محاسبه،یک رأس می‌تواند دریکی از سه حالت زیر باشد (که دریک نقش هم الکیت ذخیره می‌شود):
1) IN-vertexدرMISاست؛
2) OUT-vertexدرMISنیست؛و
3) NIL-vertexهنوزپردازش نشده است.
درابتداتمامرأس‌هادرحالتNILقراردارند. هنگامی که الگوریتم متوقف می‌شود،تمام حالت‌های رأس بهINیاOUTتغییرمی‌کنند.
اینکه آیا حالت راس باید از NIL به IN یا از NIL به OUT تغییر پیدا کند در داخل طرح تکرارشونده کلی تصمیم‌گیری می‌شود (LubyIterate در الگوریتم2). نخست، طرح‌شونده کلی،الگوریتممناسبSelect، Selectfnراانتخاب می‌کند (SelectA یا SelectB). الگوریتم انتخابی مشخص مسئول آپلود بافر ضمیمه و مجموعه حذف است (خط 5). طرح کلی تکرارشونده ازطریق بافر ضمیمه به صورت موازی بازنگری می‌کند و بررسی می‌کندکه آیا رأسی درمجموعه حذفوجوددارد (خطوط 7-11). اگررأسی درمجموعه حذف وجود نداشته باشد، حالت راس به IN بروزرسانی می‌شود (خط9). هنگامی که حالت یک راس به حالتINتغییرمی‌کند،تمام حالت‌های همسایه ‌های آن به حالتOUTتغییرمی‌کنند(خط 11). عملیات ارسال تعیین می‌کنند که کدام پیام باید براساس رأس مقصدو توزیع گراف قرارگیرد. پیام‌های فرستاده شده ازطریقSend از طریق Reveive (خط 14-15) دریافت می‌شوند. پیمایش بین رأس‌ها دربافرضمیمه صورت می‌گیردوبه‌روز‌رسانی حالت های رأس دریک مرحله فوقالعاده تک (به عنوان مثال،دری کدوره تک) اتفاق می‌افتد.

مبتدی (مناسب برای درک مفهوم کلی مطلب) 

اطمینان: درستی به عدم اطمینان داده‌ها اشاره دارد. درستی مسائل مربوط به کیفیت، قابلیت اطمینان، عدم اطمینان، ناتمام بودن و معنای موجود در داده‌ها را افزایش می‌دهد (به عنوان مثال، تغییرات کلمه، داده‌های آب و هوا، تفسیر داده‌های دست نوشته). با این وجود، در نهایت، درستی باید به صورت خودکار پردازش شود. چالش درست باید باید با راه‌حل‌های صحیح حل شود.
ارزش: اطمینان به ارزش داده‌های بزرگ ممکن است دشوار باشد. اقدامات منطقی بر شناسایی دانش «عملی»؛ محاسبه، در صورت امکان، بازده سرمایه گذاری (ROI)؛ شناسایی روابط مشتریان (تحقیقات زیادی درباره تحلیل معادلات متن و احساسات ارائه شده است)؛ و سایر اقدامات متمرکز هستند. تحلیل مورد نیاز داده‌های بزرگ برای شناسایی ارزش از راه‌های مختلفی انجام می‌شود، از جمله: جست‌و‌جوی سنتی SQL، روش‌های یادگیری ماشین، داده‌کاوی، آمار، بهینه‌سازی، و تحلیل پشتیبانی از تصمیم. نتایج ممکن است در اشکال مختلف، از جمله تولید سند، استاندارد و ارائه گزارش و تجسم ارائه می‌شود. چالش ارزش برای رسیدن به اهداف سخت است، زیرا راه‌حل‌های پیچیده آن باید در درون حوزه کسب و کار یا مسأله آدرس‌دهی شوند. علاوه بر این، دانشمندان می‌توانند داده‌های موجود و واجد شرایط داده‌های بزرگ را با درک صحیح دامنه در نظر گیذند و با استفاده از ابزارهای تحلیلی به راحتی پیدا کنند.
بسط هفت V شامل اعتبار و نوسان است [18]. قابلیت اجرا، Vهای اضافی شامل تجسم، تنوع، آسیب‌پذیری، قابلیت مشاهده، عدم تردید و غیره، همگی باید مدیریت شوند. با این وجود، «درک» و برخورد با معانی داده‌ها همچنان یک چالش بزرگ است [38، 39 و 44].

2.2. زیرساخت مدیریت داده‌های بزرگ
برای تطابق با ابتکارات داده‌های بزرگ، شرکت‌ها زیرساخت‌هایی را برای مدیریت آن ایجاد کرده‌اند، داده‌های بزرگ را به عنوان دارایی ‌شرکت ساخته‌اند. زیرساخت نیاز به ابزار درست دارد و به طور کلی از اجزای زیر تشکیل شده است (کالاکوتا، 2012):
• پشته داده‌ها: شامل اطلاعات ساختار یافته و همچنین بدون ساختار است.
• اکوسیستم داده‌های بزرگ: شامل جست و جو و تجسم، تنظیم داده‌ها و دسترسی به داده‌ها است. خدمات حرفه‌ای برای داده‌های بزرگ عبارتند از شخت افزار، مانند کامپیوتر، ذخیره سازی و شبکه‌ها. خدمات مربوط به پایگاه داده خاص شامل سیستم‌های مبتنی بر SQL، سیستم های NoSQL و Hadoop و اکوسیستم‌های آن است.
• مدیریت اطلاعات سازمانی: بر مسائل مربوط به مدیریت داده‌ها، ادغام داده‌ها، کیفیت داده‌ها، تجسم داده‌ها و مدیریت داده‌های اصلی تمرکز دارد.
• سیستم‌های علمی داده‌ها و ابزار: ابزارهای مختلفی برای استخراج الگو تجسم ارائه شده است. این‌ها عبارتند از: الگوریتم یادگیری ماشین؛ تحلیل پیش‌بینی [12]؛ تکنیک‌های تجویزی (به عنوان مثال، شبیه‌سازی با متغیرهای جایگزین و زیرمجموعه داده‌ها)؛ تکنیک‌های توصیفی (به عنوان مثال، آمار و تکنیک‌های گزارش‌های تاریخچه)؛ و گزارش (به عنوان مثال، ارائه کارت امتیازی یا تابلوهای علامت).

2.3. الگوهای مبتنی بر داده‌ها
الگوهای هدایت‌کننده دارای پیامدهای تحلیل و تصمیم‌گیری هستند. تفاوت‌های مهم میان مدیریت داده‌های سنتی و الگوی جدیدتر به صورت زیر خلاصه می‌شود.
به جای استفاده از کل مجموعه داده‌ها می توان از نمونه‌گیری استفاده کرد. لین و همکاران [19] برای کاهش هزینه جمع‌آوری داده‌ها و تحلیل، آن را به عنوان نمونه برداری با اندازه «N» ارائه دادند و داده‌ها را به اندازه‌ای که ممکن است جمع‌آوری کردند [15].
همان طور که در فیلم مونیبال نشان داده شد، تحلیل داده‌ها به منظور درک صورت می‌گیرد، به عنوان مثال، ورزش بیس‌بال، به شیوه‌ای که قبلاً در نظر گرفته نشده استفاده می‌شود (http://blog.minitab.com/blog/the-statistics-game/money ball-shows-the-power-of-statistics).
سیستم کامپیوتری، دپ بلو [17]، یک قهرمان شطرنج را بر اساس تکنیک های ارائه شده در هوش مصنوعی شکست داد. بررسی آمازون (Amazon.com) که به ساکنین وب کمک می‌کند، ارزش آنها را بیش از توصیه کارشناسان نشان می‌دهد.
شناسایی دلیل همیشه ممکن نیست. سیستم‌های توصیه کننده مانند موارد استفاده شده در آمازون، مواردی را که با هم خرید می‌شوند شناسایی می‌کند. با این وجود، دلیل انجام آن را نشان نمی‌دهد.
این روند بسیاری از جنبه‌های غیرمعمول زندگی اجتماعی را به داده‌های کامپیوتری قابل تحلیل تبدیل می‌کند . ایده اصلی رفتار یا افکار انسان، جامعه و ماشین آلات برای ارائه برنامه‌های دیجیتالی جدید است.
داده‌های زیر به سطح جزئیاتی اشاره می‌کنند که داده‌ها در آن ذخیره می‌شوند (به عنوان مثال، سطح پایین اطلاعات به اطلاعات خلاصه بالاتر). با استفاده از تکنولوژی داده‌های بزرگ، داده‌های ریزتر پتانسیل بیشتری برای استخراج ارزش کسب و کار دارند و امکان استفاده مجدد در برنامه‌های متعدد را افزایش می‌دهند.
اجازه دهید داده ها برای خود صحبت کنند. این نشان دهنده ارزش آیتم فیزیکی مارک‌ها، ایده‌ها و حقوق فکری است.

2.4. رشد و چالش‌ها
پیشرفت در ذخیره‌سازی، شبکه، پردازنده مرکزی، و پهنای باند قابل توجه است. برای مثال هزینه ذخیره‌سازی ($ در هر ترابایت) از 14000000 دلار (1980) به حدود 50 دلار کاهش یافته است. تعداد گره‌های یک شرکت ممکن است از 1 (1969) به 1 ملیارد میزبان افزایش یافته باشد. هزینه هر GFLOPS هزینه مجموعه‌ای از سخت‌افزار است که از لحاظ نظری با 1 میلیارد نقطه شناور در ثانیه کار می‌کند. هزینه‌های پردازنده مرکزی از 1100000000 دلار (1961) به 08/0 دلار کاهش یافته است. پهنای باند ($ در هر مگابایت در ثانیه) که در سال 1998 تقریباً 120 دلار بوده است، در حال حاضر حدود 5 دلار هزینه دارد.
انفجار ناگهانی داده‌ها از ضبط خودکار، سنسورها و سایر منابع که به الگو هدایت داده منتهی می‌شود، برای تصمیم‌گیری در زمان واقعی و سایر فعالیت‌های متمرکز بر داده‌ها در نظر گرفته می‌شود. میزان بازار جهانی داده‌های بزرگ (سخت افزار، نرم‌افزار و خدمات) بیش از 50 میلیارد دلار تخمین زده شده است (ویکیبون، 2015). با توجه به پیشرفت‌های تکنولوژی‌های محاسباتی با قابلیت پردازش سریع‌تر، ارزان‌تر و قدرتمندتر به علت قانون مور و دیگر راه‌های جایگزین برای پیشرفت قابلیت محاسبات، داده‌های بزرگ بدست می‌آیند.
چالش‌های زیادی در رابطه با داده‌های بزرگ وجود دارد [45]، از جمله مشکلات، درک مقیاس آن برای انسان است. حجم بیش از حد بزرگ است و سرعت خیلی سریع است [14]. تنوع و صحت اطلاعات در ارائه راه‌حل‌های نرم‌افزاری چالش برانگیز است. ارزش بسیار جالب است و از طریق فرصت‌های بزرگ داده‌ها، راه‌حل‌های نوآورانه‌ای برای مسائل ارائه می‌دهد. علاوه بر این، تأثیر آن بر جامعه کسب و کار قابل توجه است.

مقالات انگلیسی و ترجمه های فارسی رایگان با فرمت PDF آماده دانلود رایگان میباشند

همچنین ترجمه مقاله با فرمت ورد نیز قابل خریداری و دانلود میباشد

مقاله انگلیسی رایگان (PDF)

ترجمه فارسی رایگان (PDF)

خرید ترجمه با فرمت ورد

فهرست مقاله:

چکیده

1مقدمه

پیش زمینه

مسئله و انگیزه

اهمیت و هدف

2 مرور منابع

2-1 بیشینه سازی اثر جهانی

2-2 بیشینه سازی اثر محلی

2-3 یادگیری استریم اثر

2-4 مسئله ارزیابی اثر انفرادی

جمع بندی

3 موارد مقدکاتی

3-1 شبکه اجتماعی زمینه ای

3-3 مسئله ارزیابی اثر اجتماعی

4 روش ارزیابی اثر مبتنی بر اعتماد

4-1 توصیف الکوریتم

4-2 همگرایی تکرار

4-3 حمله اسپم

4-4 الگوریتم

5 ازمایشات

5-1 شرایط ازمایشی

5-1-1 مجموعه داده ها

5-1-2 واقعیت زمینی

5-1-3 مدل های انتشار

5-1-4 محیط ازمایش

5-2 نتایج ازمایشی و تحلیل

5-2-1 EXP-1، اثر بخشی

5-2-2 EXP-2: اثر بخشی بر اساس مدل های انتشار

5-2-3 exp-3، استواری

5-2-4 XP- کارایی

6 نتیجه گیری و کار های اینده

بخشی از ترجمه فارسی مقاله:

1- مقدمه
1-1 پیش زمینه
شبکه های اجتماعی انلاین (OSN) روز به روز محبوب تر شده و به عنوان ابزاری در شرایط مختلف نظیر اشتغال، CRM و تجارت الکترونیکی استفاده شده است. در این شرایط، اثر اجتماعی شرگت کننده ها بر تصمیم گیری سایرین اثر دارد. برای مثال، اپینیون که یک بستر تجارت الکترونیکی مبتنی بر OSN می باشد، خریدار قادر به نوشتن نظر خود در مورد محصول برای طبقه بندی محصولات و فروشنده متناظر است. این بازنگری و امتیاز دهی را می توان توسط سایر خریداران در نظر گرفت که همگی بر تصمیم گیری در خرید روش های یکسان اثر دارد. همان طور که در مطالعات توسط سایر خریداران نشان داده شده است و می تواند بر روی تصمیم گیری در خرید محصولات یکسان اثر داشته باشد. همان طور که در مطالعات روان شناسی اجتماعی و علوم کامپیوتری(1-2-3) نشان داده شده است، یک فرد توصیه های شرکت کننده های با اثر اجتماعی بالاتر را در حوزه خاص می پذیرد. از این روی، ارزیابی صحیح اثر اجتماعی شرکت کننده ها و شناسایی عوامل موثر در شبکه های اجتماعی مهم است.
در منابع، بسیاری از روش های ارزیابی اثر اجتماعی پیشنهاد شده است [5, 6, 7, 8, 9, 10, 11, 12, 13, 14] که در آن مدل آبشاری مستقل(IC) یک مدل برای یافتن گروه های K برتر می باشد و دارای اثر اجتماعی بیشیته در یک شبکه است. متعاقبا، برخی از کار های مهم(11-9)، برای بهبود مقیاس پذیری IC پیشنهاد شده است. به علاوهف در سال های اخیر، روش بیشینه سازی اثر محلی(15) برای ارزیابی اثر اجتماعی شرکت کننده خاص در OSNپیشنهاد شده است. به علاوهف چون برخی OSN در حال تبدیل شدن به یک ژنراتور زمان واقعی بزرگ می باشد، برخی از روش های استریمینیگ برای ارزیابی اثر اجتماعی شرکت کننده ها در OSN پیشنهاد شده است.

1-2 مسئله و انگیزه
همان طور که در روان شناسی اجتماعی نشان داده شده است(18-19-20)، اعتماد اجتماعی بین شرکت کننده ها( برای مثال، دانشجویان به استاد خود در یک زمینه خاص اعتماد می کنند)، رابطه اجتماعی بین شرکت کنندگان (به عنوان مثال، رابطه بین پدر و پسر)، و شباهت اولویت بین شرکت کنندگان (به عنوان مثال، همه آنها علاقه مند به بازی بسکتبال هستند) اثر معنی داری بر روی تصمیم گیری شرکت کننده ها و اثرات و نفوذ اجتماعی دارند. با این حال، این شرایط اجتماعی توسط روش های ارزیابی اثر اجتماعی عمومی در نظر گرفته نشده اند. از این روی این روش ها نمی توانند منجر به نتایج ا ارزیابی اثر اجتماعی شوند. به علاوهف با رشد مقیاس و پیچیدگی شبکه، شبکه های اجتماعی به انواع مختلف حملات ناخواسته سازگار هستند. یک راهبرد رتبه بندی اعتماد محور برای دفاع در برابر حمله پیشنهاد می شود.
مثال 1: شکل 1 شبکه اجتماعی اپینیتون را نشان می دهد که شامل 5 شرکت کننده از p1تا P5 می باشد که همگی خریدار هستند. رابطه اعتماد( خطوط پر رنگ) P 1 و P3، P2 و P3 و P4 و P3 بر اساس کیفیت ارزیابی محصول P3 است. رابطه اجتماعی و سلایق را می توان تز تاریخچه خرید و پروفیل آن ها کاوش کرد(22). فرض کنید که P1 دارای روابط اجتماعی نزدیک باشد و دارای سلایق مشابه با P3 نسبت به P2 است و P3 می تواند بر رفتار خرید P1 نسبت به P2 اثر داشته باشد. با این حال، در روش های ارزیابی اثر اجتماعی(5-10)، احتمال اثر بین دو گره درمدل LTتصادفی است و منعکس کننده اثر واقعی شرکت کننده ها است. به علاوه اگر P5 یک اسپمر باشد، می تواند از طیف وسیعی از همسایه ها برای اثر گذاری اجتماعی قوی بر روی تصمیم گیری P1 داشته باشد
مسائل فوق امکان توسعه یک روش ارزیابی اثر را برای ارزیابی اثر اجتماعی شرکت کننده ها در OSN می دهد. در این صورت، با در نظر گرفتن شرایط اجتماعی مهم، روش ارزیابی اثر اجتماعی اعتماد محور موسوم به TOSI با استفاده از روش تکراری پیشنهاد می شود. چون روش ما همگرا است، می توان به نتایج ارزیابی اجتماعی صحیح دست یافت

بخشی از مقاله انگلیسی:

1. Introduction

1.1. Background

Online Social Networks (OSNs) are becoming more and more popular and have been used as the means in a variety of applications, like employment, CRM and e-Commerce. In these applications, the social influence of a participant can affect others’ decision-making. For example, at Epinions (epinions.com), an OSN based e-commerce platform, a buyer can write a product review to rate the products and corresponding seller. This review can be viewed by other buyers and thus can impact their decision making in purchasing the same products. As indicated in studies of Social Psychology [1, 2, 3] and Computer Science [4], a person is more likely to accept the recommendations given by participants with higher social influence (named as Influencers) in a specific domain. Therefore, it is significant to accurate evaluate the social influence of participants and identify those Influencers from social networks. In the literature, many social influence evaluation methods have been proposed [5, 6, 7, 8, 9, 10, 11, 12, 13, 14], in which, Independent Cascade (IC) model [5] is a typical model to find the Top-K nodes who have the maximal social influence in a network. Subsequently, some important works [11, 9] are proposed to improve the scalability of  IC model. In addition, in recent years, the Local Influence Maximization method [15] has been proposed to evaluate the social influence of a specific participant in OSNs. Furthermore, as some OSNs are becoming a large real-time generator of social data-streams, some streaming methods [16, 17] have proposed to evaluate the social influence of participants in OSNs.

1.2. The Problem and Motivation

As illustrated in Social Psychology [18, 19, 20], the social trust between participants (e.g., students trust their lecturers in a specific research area), the social relationship between participants (e.g., the relationship between a father and his song), and the preference similarity between participants (e.g., they all like to play basketball) have significant influence on participants’ decision-making, and thus impact their social influence. However, these important social contexts are not fully considered by the existing social influence evaluation methods. Thus, these methods cannot deliver accurate social influence evaluation results. In addition, with the growth of network scale and complexity, social networks become susceptible to different types of unwanted and malicious spammer or hacker actions [21]. We propose a trust-oriented ranking strategy to defend against this kind of attack. Example 1: Figure 1 depicts a social network from Epinions, which contains five participants (i.e., P 1 to P5, they are all buyers). The trust relationship (represented as arrows with solid lines) between P1 and P3, P2 and P3, and P4 and P3 can be established based on the quality of the product review of P3. Their social relationship and preferences can be mined from the their profiles and purchase history [22]. Suppose P 1 has closer social relationships, and has more similar preferences to P3 than that of P2, then P3 can more likely affect the purchasing behavior of P1 than P2, which is not identified by the existing social influence evaluation methods. However, in traditional social influence evaluation methods [5, 6, 7, 8, 9, 10], the probability of the influence between two nodes is random in LT model or unified in IC model, which cannot reflect the realistic influence of participants. In addition, if P 5 is a spammer, in tradition social influence evaluation models, like the triggering model [5] and iterative model [23], he/she can utilize plenty of spam neighbors to establish fake strong social influence to affect P1’s decision-making. The above mentioned problems motivate us to develop a social influence evaluation method to accurately evaluate participants’ social influence in OSNs. In this paper, with considering the above mentioned important social contexts, we propose a Trust-Oriented Social Influence evaluation method, called TOSI by adopting iterative method. Since our method is convergent fast, thus we can deliver accurate social influence evaluation results with good efficiency.

گراف انتزاعی بر اساس چارچوب مدیریت شبکه مجازی برای SDN

Graph Abstraction Based Virtual Network Management Framework For SDN

Abstract 

Currently, Software Defined Networking (SDN) paradigm has attracted a significant interest from industry and academia as a future network architecture. The programmable control plane enables flexible and rapid modifications of network behavior. With OpenFlow, one of the promising SDN protocols, we can provide several advantages to develop advanced network virtualization technologies. In this paper, we propose a graph abstraction based virtual network management framework that covers from tenant requirement specification to virtual network embedding on physical resources. The fundamental idea is to automatically create and manage virtual networks on the top of SDN technologies from high level tenant requirements. We expect that the proposed framework can overcome the limitation of overlay based network virtualization technologies, and leverage the deployment of SDN technologies.

I. INTRODUCTION

In recent years, Software-Defined Networking (SDN) has received a lot of attention by networking researchers, vendors, standard organizations, data center operators and telcos around the world. SDN has been envisioned to provide various benefits to operators such as programmability, flexibility, elasticity, and reduction of CAPEX/OPEX. SDN is defined as “the physical separation of the network control plane from the forwarding plane, and where a control plane controls several devices” by Open Networking Foundation (ONF) [1]. OpenFlow [2], which is one of the most promising implementations of SDN, enables the network controller to determine the path of network packets through the OpenFlow enabled switches. With OpenFlow, network operators can manage network traffic in a flow level with a centralized global view of the network at the controller. SDN brings various advantages such as programmability, agility, flexibility, reduced CAPEX/OPEX. Network Virtualization (NV) is a method of providing an illusion of a dedicated network on top of the hardware resources, and it allows the sharing of the same hardware resources among multiple users without any interference among virtual networks. By creating logical Virtual Networks (VNs) that run on top of a physical network, it allows to separate network functionality from physical equipment. NV technology can bring various advantages such as multi-tenancy, flexibility, scalability, agility, and reduced CAPEX/OPEX. Unfortunately, most of commercial NV solutions are focused on data-center networks based on overlay approaches such as VMware NSX [3] and Microsoft Hyper-V [4]. These overlay based NV approaches construct multiple VNs as overlay network using tunnelling method. This approach is simple to deploy, and requires no network configuration changes. However, they suffer from tunneling overhead and requiring special hardware (or software) such as virtual switches or derivers. SDN and OpenFlow can provide several advantages to develop advanced NV technologies because it provides the abstraction on various switch hardware. With OpenFlow, we can assign a part of physical resources for each VN via segmented flow tables, slices. We call this approches as slice based NV approach. Currently, several solutions based on network slice are available such as FlowVisor [5], OpenVirteX [6], and FlowN [7]. The slice based approaches accompany no tunneling overhead, and provide strong QoS and SLA control. The main shortage is that they require OpenFlow based network infrastructure. Now, these solutions are in incubation or prototyping stage. Moreover, they are suffer from manual VN configuration, lack of VN embedding method, and no automated VN management process. In this paper, we propose a graph based virtual network management framework based on SDN. The fundamental idea is to automatically manage VNs from high-level tenant requirements. More specifically, the proposed approach will address following problems. – How to create VNs on top of SDN networks? – How to specify VN requirements in high level? – How to compose VN from requirements automatically? – How to embed the composed VNs optimally? – How to dynamically re-embed VNs to address requirement changes or network failure?

مبتدی (مناسب برای درک مفهوم کلی مطلب) 

روش پیشنهادی
Itemrank مسئله کارایی را مدنظر قرار می‌دهد. زیرا ممکن است تعداد زیادی محصولات در تجارت الکترونیک وجود داشته باشد. ماتریس W، که دارای سایز M*M است، می‎تواند شدیداً بزرگ باشد. تکثیر W با Si(t) در رابطه (4)، زمان زیادی را می‌گیرد و روش ItemRank را برای مقیاس بزرگ مسئله ناکارآمد می‌کند. ما یک الگوریتم خوشه‌بندی خودساخته (SCC)، [39،40] اجرا کرده‌ایم که عمل کاهش بعد را برای تولید خوشه‌ها استفاده می‌کند. کار پیشنهادی سپس با خوشه‌بندی مجدد ادامه می‌یابد. در نتیجه، کارایی ItemRank، می‌تواند بهبود یابد. در مقایسه با سایر روش‌های کاهش بعد [41، 42، 43، 44]، SCC دارای مزایای زیادی است. خوشه‌بندی به صورت اتوماتیک انجام می‌گیرد و تعیین تعداد خوشه ها توسط کاربر، مورد نیاز نیست. در کنار آن، زمانی که شباهت خوشه‌ها اندازه‌گیری گردید، هر دوی مراکز و واریانس خوشه‌ها محاسبه می‌گردند. در پایان، اندازه‌گیری شباهت بهتر از بررسی مراکز در سایر روش‌ها است.
روش ما شامل پنج گام است. برچسب‌گذاری کاربر، کاهش بعد، ایجاد گراف همبستگی، random walk و انتقال مجدد که در شکل 1 نشان داده شده است. در کام برچسب‌گذاری کاربر، SCC، برای نگاشت برچسب کلاس به کاربر برای کمک به گام دوم انجام می‌گیرد تا مرحله دوم بتواند کار خود را به طور کارا انجام دهد. در گام کاهش بعد، SCC، مجدداً برای خوشه‌بندی تعدادی از گروه محصولات استفاده می‌گردد. محصولات مشابه، به گروه محصولات یکسانی تعلق دارند و محصولات غیرمشابه، به محصولات متفاوتی تعلق دارند. از آنجایی که تعداد گروه محصولات کوچک‌تر از تعداد محصولات است، ابعاد درگیر کاهش خواهد یافت. سپس یک گراف همبستگی که نشانگر رابطه داخلی بین گروه محصولات هست، ایجاد می‌گردد. بر اساس گراف همبستگی، یک سری از random walk ها اجراشده و یک لیست اولویت از گروه محصولات برای هر کاربر در گام چهارم ایجاد می‌گردد. در نهایت، در گام انتقال مجدد، لیست اولویت گروه محصولات به لیست اولویت تکی محصولات منتقل می‌گردد و یک لیست رتبه‌بندی شده از محصولات برای هر کاربر ایجاد می‌گردد.
در این مطالعه، ما ItemRank [17] را به عنوان هدف نهایی استفاده کرده ایم. به هر حال، روش ما می‌تواند با سایر روش‌ها برای کاهش ابعاد و بهبود کارایی آن‌ها کار کند.

گام 1: برچسب‌گذاری کاربر
برای کاهش ابعاد به طور موثر، نیاز به تعریف برچسب کلاس برای کاربران داریم. ایده، گروه‌بندی کاربران درون خوشه‌هایی است [32]. کاربران مشابه، درون خوشه‌هایی گروه‌بندی شده و کاربران غیرمشابه، درون خوشه‌های مختلفی قرار می‌گیرند. سپس تمام کاربران در یک گروه، برچسب یکسانی را دریافت می‌کنند. ما از الگوریتم SCC برای این هدف استفاده کردیم. الگوریتم‌های خوشه‌بندی دیگری [45،46،35] نیز می‌توانند این کار را انجام دهند. اما، آن‌ها نیاز دارند تا ای پیش در مورد تعداد کلاس‌ها تصمیم‌گیری کنند. با الگوریتم SCC، ما فقط نیاز داریم تا برخی ثوابت معنادار را در طول فرآیند خوشه ایجاد کنیم.
برای اعمال SCC، ما شباهت ایجادشده میان کاربران را به صورت رتبه‌بندی شده ایجاد کردیم. با این حال، مردم دارای شخصیت های مختلفی هستند و برای رأی دادن به محصولات از سلایق مختلف خود استفاده می‌کنند. در واقع برخی سخاوتمند بوده و نمرات بیشتری را در نظر می‌گیرند و در مقابل برخی سخاوتمند نیستند و نمرات کمتری را در نظر می‌گیرند. حال می‌توان با توجه به رتبه‌بندی یک کاربر، برای دیگران توصیه در نظر گرفت. فرض کنید که دو کاربر شبیه به یکدیگر هستند و شکل موج ایجادشده توسط رتبه‌بندی آن‌ها یکسان است. بنابراین ما برای رتبه دهی به کاربران از رابطه زیر استفاده می‌کنیم:

آنالیز پیچیدگی
ما آنالیز پیچیدگی محاسباتی راه‌کار پیشنهادی را در این بخش انجام داده‌ایم. در گام برچسب‌گذاری کاربر، ما شباهت بین کاربرها و خوشه‌های هر یک را محاسبه کردیم. بازگو می‌کنیم که N، تعداد کاربران را نشان می‌دهد و M، تعداد محصولات را نشان می‌دهد. پیچیدگی زمانی این گام برابر است با O(NzM). در گام کاهش ابعاد، ما شباهت بین الگوهای بار و خوشه‌های موجود را بررسی کردیم. زیرا تعداد الگوهای ویژگی برابر با M است و تعداد محصولات گروه‌بندی شده برابر با q است. در گراف همبستگی ایجادشده، هر وزن wij نشانگر رابطه (22) است.

 نتایج آزمایش‌ها
برای ارزیابی کارایی الگوریتم مبتنی خوشه‌بندی خودساخته (SCC)، ما یک مجموعه از آزمایش‌ها را بر روی چندین مجموعه داده انجام دادیم. برای همگرایی، ما روش SCC خود را در این بخش ارزیابی کردیم. ما همچنان، روش SCC را یا سایر راه‌کارهای مبتنی بر فیلترگذاری مقایسه کردیم. سه متریک برای مقایسه بر روی دقت توصیه‌ها ارائه شده است: درجه توافق (DOA)، میانگین خطا و خطای میانی ریشه. یک اعتبارسنجی برای آزمایش‌ها ارائه شده است. در این آزمایش‌ها، ورودی، مجموعه داده‌ها با 5 زیرمجموعه متفاوت است. سپس عملیات پنج بار تکرار می‌گردد. هر زمان، چهار زیرمجموعه از آن پنج زیرمجموعه، به عنوان داده‌های آزمایشی شناخته می‌شوند. اگر P، مجموعه تمام محصولات باشد، Li، مجموعه شامل محصولات کاربر ui است که دارای مجموعه آموزشی است و Ti، مجموعه‌ای شامل محصولات کاربر ui است. DOA به صورت زیر تعریف می‌گردد:

که در آن، U مجموعه تمام کاربران و |U|، سایز U است و DOAi، اندازه‌گیری برای کاربر ui با رتبه تعیین شده است. DOAi، به صورت زیر محاسبه می‌گردد

مجموعه داده
پنج مجموعه داده، MovieLens، yahoo Movie، Amazon Video، BookCrossing و Epinions برای آزمایش‌ها این بخش استفاده شده‌اند. مجموعه داده MovieLens [51]، به صورت عمومی موجود است و توسط موسسه تحقیقاتی GroupLens برای اجرا در سیستم های توصیه گر ارائه شده است. آن شامل 943 کاربر، 1682 محصول و 100000 رتبه دریافتی از کاربر است. به عبارت دیگر، N=943 و M=1682 است. هر سطر از مجموعه داده به صورت یک، سه تایی (ui,pj,rij) نشان داده شده است. بنابراین، این مجموعه داده دارای 100000 عنصر است. مجموعه داده Yahoo Movie، شامل اولویت جامعه Yahoo Movie است و شامل 7642 کاربر و 11916 محصول و 221367 اولویت برای هر کاربر است. هر سطر از آن، به صورت یک سه تایی (ui,pj,rij) نشان داده شده است. مجموعه داده ویدوئی آمازون، شامل تقسیم‌بندی ویدئوهای آمازون است که در طی 18 سال، شامل 143.7 میلیون تا سال 2014 است. آن شامل 2978 کاربر، 31102 محصول و 99816 اولویت برای هر کاربر است. هر سطر از آن نشانگر یک سه تایی است که در طی چهار هفته جمع‌آوری شده است. در نهایت مجموعه داده پایانی، شامل 4981 کاربر، 9846 محصول (کتاب) و 109018 اولویت برای هر کاربر است. هر عنصر در این مجموعه داده با یک سه تایی (Ui, Pj rij ) نمایش داده می‌شود که در آن . مجموعه داده Epinionos از Paolo massa در طی 5 هفته جمع‌آوری شده است که شامل 2322 کاربر، 4571 محصول و 136984 اولویت برای کاربر است. هر ورودی از مجموعه داده به عنوان یک سه تایی (ui,pj,rij) است که در آن rij عضو {1,2,3,4,5} است. ویژگی‌های این پنج مجموعه داده در جدول 5 خلاصه شده است.

نتایج و بحث
ما اثربخشی، دقت و کارایی، راه‌کار پیشنهادی SCC را توسط مقایسه با سایر روش‌های فیلترگذاری شامل Itemrank نشان داده‌ایم. همچنین iExpand [30]، PRM2 [33]، BiFu [34] و ICRRS [36]. همان طور که قبلاً توضیح داده شد، ItemRank از هیچ تکنیکی استفاده نمی‌کند و iExpand از روش LDA برای گروه‌بندی محصولات استفاده می‌کند و PRM2 از روش SVD برای تولید یک نمایش کاهش بعد یافته استفاده می‌کند و BiFu از روش K-means، برای خوشه‌بندی کاربران و محصولات بهره می‌گیرد و ICRRS از روش کاهشی که برای تجزیه ارزیابی استفاده می‌شود، بهره می‌گیرد. برای یک مقایسه امن، ما یک برنامه برای ItemRank، iExpand، PRM2، BiFu، ICRRS و SCC نوشتیم. تمام برنامه‌های نوشته شده از C++ در ویژوال استودیو 2013 بهره بردند. ما از کامپیوتری با Intel®Core(TW) i7-4790k CPU، با 4 GHz و 32GB RAM استفاده کردیم که دارای ویندوز7 برای اجرای برنامه‌ها بود. برای سهولت، ما از تعداد خوشه یکسانی برای گروه‌بندی کاربران و محصولات SCC، iExpand و BiFu استفاده کردیم. چون LDA و روش K-means نیاز به خوشه‌هایی برای تصمیم‌گیری پیشرفته دارند. در هر مورد ما از SCC برای یافتن تعداد خوشه‌ها استفاده کردیم. جدول 6 نشانگر تعداد خوشه‌ها برای خوشه‌بندی کاربران و محصولات تقسیم‌بندی شده درون SCC، iExpand و BiFu است. برای مثال، محصولات MovieLens دارای 25 خوشه برای iExpand، Bifu و SCC هستند.
جدول 7 و جدول 8 و جدول 9 نشانگر مقایسه MAE، RMSE و DOA هستند. بین ItemRankهای ایجادشده، Item Rank، iExpand و BoFu و ICRRS و SCC وجود دارند. توجه داشته باشید که این جداول دارای مقداری هستند که به صورت عملی جمع‌آوری شده است.
برای MAE و RMSE، مقادیر کوچک‌تر دارای کارایی بهتری هستند. در تضاد با آن، برای DOA، مقادیر بزرگ‌تر دارای اولویت بهتری هستند. همان طور که می‌توان دید، ItemRank و SCC دارای اجرای بهتری هستند و MAE و RMSE دارای مجموعه داده بهتری هستند. برای مثال، هر دوی ItemRank و SCC، دارای مقدار کمتری از 1.061 در MAE برای مجموعه داده آمازون هستند و هر دو دارای مقدار کمینه 1.044 در RMSE برای مجموعه داده Epinions هستند. PRM2، دارای اجرای بهتری از MAE و RMSE است. بنابراین برای DOA و SCC، اجرای بهتری در هر پنج شرایط مجموعه داده رخ می‌دهد. جدول 10 نشانگر مقایسه زمان اجرا، بین روش‌های متفاوت هستند. ما می‌توانیم ببنیم که SCC سریع تر از سایر روش‌ها اجرا می‌گردد. توجه داشته باشید که ItemRank، دارای کاهش بعد بهتری در مقایسه با سایرین است که در رابطه (4) نشان داده شده است. برای مثال، سایز 31102*31102 برای مجموعه داده ویدئویی آمازون است. مصرف ماتریس بهینه برای آن توصیه می‌گردد. در نتیجه، ItemRank دارای زمان بیشتری در حدود 43678.72 ثانیه است که در جدول نشان داده شده است. به جای آن، SCC حالت خوشه‌بندی خودساخته را برای کاهش ابعاد استفاده کرده است و دارای 31102 گروه و 26 نوع محصول است. بنابراین، سایز ماتریس همبستگی استفاده شده در رابطه (26) نشان داده شده است. در نتیجه، SCC می‌تواند خیلی سریع تر اجرا گردد که دو حدود 8.99 ثانیه خواهد بود. BiFu و iExpand دارای کاهش بعد توسط K-means و LDA هستند که دارای مصرف زمان است. بنابراین، iExpand و BiFu کندتر از SCC اجرا می‌شوند. برای مثال، iExpand دارای 1331.25 ثانیه است. ماتریس همبستگی W، در رابطه (4)، دارای سایز M*M در رابطه (26) است که دارای سایز q در q است. بنابراین SCC باید در مدت زمان (M/q)2 اجرا گردد که سریع‌تر از ItemRank است.
SCC باید در مدت زمانی برابر با 4500 برابر سریع تر از ItemRank برای MovieLens اجرا گردد. به هر حال، از جدول 10 دیده می‌شود که SCC، فقط 244 برابر سریع تر از ItemRank اجرا می‌گردد. یک دلیل این است که سایر گام‌ها دارای زمان بیشتری هستند. جدول 11 و جدول 12، نشانگر شکست در زمان اجرای ItemRank و SCC است. توجه داشته باشید که سایز ستون‌ها در جدول نشانگر سایز ماتریس مرتبط با آن است. ItemRank دارای دو گام است: ایجاد گراف همبستگی (CGC) و RandomWalk (RW) و SCC دارای پنج گام است: برچسب‌گذاری کاربر (UL) کاهش ابعاد (DR)، ایجاد گراف همبستگی (CGC)، Random Walk (RW) و re-transformation (RT). بررسی MovieLens نشان می‌دهد. در حالت کلی 43.83 ثانیه است و ItemRank دارای 1.25 در گام CGC است.

مبتدی (مناسب برای درک مفهوم کلی مطلب) 

1 تشخیص ساختار جامعه
هنگامی که شبکه داده شده با ساختار گراف، ساختار جامعه را به دست آورد می‌تواند به عنوان زیرگرافی محسوب شود که دارای کیفیت یا کمیتی مانند حداکثر ویژگی مشترک در خود، تعداد تعاملات، شباهت‌های موقعیتی و غیره است. گره‌هایی که عناصر این ساختارها هستند باید حداکثر تعامل و خواص مشترک را با گره‌های جامعه خود و تعامل کمتر و خواص مشترک را با گره‌های جامعه دیگر داشته باشند. گروهی از مردم که در محیط اجتماعی دارای ارتباطات قوی در شبکه‌های زیست محیطی هستند با یکدیگر و خوشه‌ای از کامپیوترها حداکثر همکاری و تبادل اطلاعات را دارند.
فرض کنید که ساختار گراف G(V,E) نشان‌دهنده یک شبکه نامنظم و بدون وزن باشد. گراف G دارای V گره (رأس) و مجموعه‌ای از لبه ها (یال‌ها) E است.

تشخیص ساختار جامعه با توجه به مقدار برازش با استفاده از Tasgin و همکارانش در سال 2007 بانام تشخیص جامعه در شبکه‌های مجتمع با استفاده از الگوریتم‌های ژنتیک انجام شده است [26]. در مقاله مشخص شده، الگوریتم پیشنهاد شده بانام GATHB [26، 27] نامگذاری شده است. پس از انتشار این مقاله، الگوریتم‌های تکاملی بسیاری برای مسائل CSD اعمال شد. الگوریتم AGA-net که ما پیشنهاد دادیم از تابع هدف یکسانی مانند الگوریتم GATHB استفاده کرده است که در معادله (2) نشان داده شده است.
1.2 الگوریتم ژنتیک
GA ها برای اولین بار توسط جان هلند در دهه 1960 نوشته شده و سپس توسط هلند و دانش‌جویان و همکارانش در دانشگاه میشیگان در دهه 1960 و 1970 توسعه یافته است. هدف هلند این بود که پدیده “سازگاری” را که در طبیعت اتفاق می‌افتد درک کند و روش‌هایی را که مکانیسم‌های سازگاری طبیعی را توسعه می‌دهند، توسعه دهد. کتاب اقتباس از طبیعت و سیستم‌های مصنوعی (هلند، 1975) GA را به عنوان انتزاعی از تکامل بیولوژیکی و چارچوب نظری برای انطباق تحت GA ارائه داده است [29]. GA یک الگوریتم مبتنی بر جمعیت است و می‌تواند بدون نیاز به هیچ مدلی یا دانش قبلی یا مفروضاتی عمل کند. بنابراین این الگوریتم را می‌توان برای مسائل و ساختار کلی با ویژگی خاص اعمال کرد.

2. الگوریتم پیشنهادی
در این مقاله برای حل مشکل CSD، الگوریتم AGA-net پیشنهاد شده است که براساس الگوریتم ژنتیک است. همانطور که هر گره از شبکه در مسئله CSD تعداد محدودی همسایه دارد احتمال اینکه همسایه انتخاب شده دوباره انتخاب شود بسیار بالا است. این وضعیت، جستجو برای بهترین راه‌حل ممکن است و باعث ورود به چرخه حیرت‌انگیز در شبکه‌های مختلف می‌شود. این مشکل با کمک اپراتورهای ژنتیکی که در بخش 2.4 ارائه شده قابل حل است. بنابراین برای همگرایی سریع به بهترین راه‌حل، راه‌حل‌های بهتر توسط نخبه‌گرایی انتخاب شده و از طریق مکانیزم ترکیب و جهش مهار می‌شوند. الگوریتم پیشنهاد شده دارای ویژگی همگرایی بهترین مدولار Q بدون اینکه در بهینه محلی قرار داشته باشد است. AGA-net دارای پیچیدگی زمانی خطی است. علاوه‌بر پارامترهای اساسی و عملگرهای الگوریتم ژنتیک استاندارد، تغییرات خاصی برای مسائل CSD و پارامترهای جدید انجام گرفته است. الگوریتم پیشنهادی باعنوان الگوریتم ژنتیک سازگار (AGA-net) نامگذاری شده است. اصطلاح تطبیقی که در اینجا استفاده می‌شود نشان می‌دهد که هر مکانیسم الگوریتم را می‌توان به تمام شبکه‌ها منطبق کرد. الگوریتم پیشنهاد شده می‌تواند بر روی تمام شبکه‌ها در CSD بدون وابستگی به هر داده داخلی یا خارجی با پارامترهای خاص جدید اعمال شود. مراحل الگوریتم پیشنهاد شده در زیر بخش‌های جداگانه بیان شده است.

2.1 نحوه نمایش ژنتیک
الگوریتم پیشنهادی از ساختار همجواری براساس مکان (LAR) برای نمایش براساس نمودار استفاده می‌کند [30]. هر ژن در کروموزوم دارای دو نوع اطلاعات متفاوت است (communityID و populationID). اطلاعات در مورد آنها در شکل 1 بیان شده است. اولین اطلاعات گره همسایه از گره ith انتخاب شده از بین همسایه‌ها را به‌طور تصادفی ذخیره می‌کند. اطلاعات دوم اطلاعات دانش جامعه (CommunityID) از گره ith برای جوامع تولید شده توسط اولین اطلاعات است. یک نمونه از شبکه با 8 گره در شکل 1 (الف) داده شده است، شکل 1(ب) یک نمونه از کروموزوم‌های تولید شده براساس شبکه داده شده و شکل1 (ج) ساختارهای اجتماعی تولید شده از اطلاعات کروموزوم داده شده را نشان می‌دهد. ساختارهای جامعه به دست آمده در رنگ‌های مختلف داده شده‌اند.

2 جمعیت اولیه
الگوریتم پیشنهاد شده کروموزوم را مانند اندازه جمعیت در ابتدای فرآیند تولید می‌کند. هر ژن در کروموزوم یک گره را نشان می‌دهد. دومین آرایه از آرایه‌های داده شده در شکل1 (ب) گره‌ای متناظر با همسایه را براساس ID آن انتخاب می‌کند. پس از آنکه تمام جمعیت تشکیل شد، آرایه 3 با توجه به آرایه 2 که در شکل داده شده است شکل می‌گیرد. آرایه دوم که در شکل 1 (ب) نشان داده شده است کل جامعه را در طول محاسبات modularity Q فراهم می‌کند.
درحالی‌که به هنگام تعیین CommunityID ژن در داخل کروموزوم باید با ژن موجود همسایه باشد. براساس این اصل، فضای راه‌حل محدود می‌شود و موجب صرفه‌جویی در زمان می‌شود.

2.3 تابع برازندگی
در این مقاله، modularity Q به‌عنوان تابع برازندگی استفاده می‌شود. این معیار ابتدا توسط نیومن و گیروان [15] در سال 2004 استفاده شد. این تابع در معادله 2 داده شده است. مسئله CSD را می‌توان به‌عنوان مسئله بهینه‌سازی ترکیبی با توجه به تابع هدف مشخص شده در نظر گرفت. تابع هدف در بهترین خوشه‌بندی گراف، به حداکثر مقدار Q می‌رسد. مقدار Q در محدوده -1 تا +1 متغیر است.

2.4 عملگرهای ژنتیک
نخبه‌کشی (elitism)، انتخاب، ترکیب (crossover) و جهش (mutation) در الگوریتم پیشنهادی مورد استفاده قرار گرفته است. پارامترهای هر عملگر که در این فرایند مورد استفاده قرار گرفته با مسئله CSD برای رسیدن به مناسب‌ترین راه‌حل سازگار است. برخلاف الگوریتم ژنتیک استاندارد جدید، پارامترها در عملگرهای نخبه‌کشی، ترکیب و جهش گنجانده شده‌اند. عملگرها و پارامترهای پیشنهاد شده توسط الگوریتم AGA-net با جزئیات در زیر ارائه شده است.

نخبه‌کشی (elitism): این عملگر در دو مرحله از الگوریتم استفاده می‌شود. در مرحله اول، برای انتقال کروموزوم با نرخ elitismRate (٪) انتخاب می‌شود که بهترین مقدار Q در جمعیت را به نسل بعدی به همراه دارد. در مرحله دوم، کروموزوم‌های جدید با مقادیر Q بهتر با کروموزوم بد جایگزین می‌شوند. نرخ elitism از حذف بدترین کروموزوم از خوشه را تضمین می‌کند. این پارامتر با نرخ‌های کوچک برای کاهش تنوع انتخاب کروموزوم مناسب نیست.

انتخاب (selection): فرآیند تولید نسل جدید با انتخاب چرخ رولت (RWS) انجام می‌شود [31]. در الگوریتم پیشنهادی، فرآیند انتخاب براساس روش RWS به شرح زیر انجام می‌شود.

ترکیب (crossover): دو پارامتر مختلف مرتبط با این عملگر توسط نام‌های نرخ ترکیب (CR) و انتخاب ترکیب (CC) تعریف شده است. پارامترهای CR موجب ترکیب افراد در جمعیت قرار می‎شوند و تعداد تکرار فر‌آیند مورد بررسی قرار می‌گیرد. سپس پارامتر CC موجب تولید دنباله کنترل تغییر برای جفت کروموزوم‌ها تحت فرآیند ترکیب می‌گردد. به‌طوری‌که مقدار CC اگر کوچکتر از عدد تصادفی تولید شده باشد، 0 می‌گردد و اگر بزرگتر باشد مقدار 1 را می‌گیرد. فرآیند ترکیب رخ داده در شکل 2 نشان داده شده است.
جهش ( Mutation): در الگوریتم پیشنهاد شده، فرآیند جهش در دو مورد انجام می‌شود، یک نقطه‌ای و چند نقطه‌ای. اولی جهش تک‌نقطه‌ای و دومی جهش چندنقطه‌ای است. همچنین دو پارامتر در روند جهش استفاده شده است. اولین پارامتر نرخ جهش (MR) و پارامتر دوم نرخ جهش چندنقطه‌ای (multiP) است. پارامتر MR با نسبت کوچک انتخاب شده است و تعیین خواهد کرد که آیا کروموزوم ورودی جهش می‌یابد یا نه. پارامتر multiP اجازه می‌دهد تا یکی از گزینه‌های جهش تک نقطه‌ای یا چندنقطه‌ای انتخاب شود. اگر مقدار این پارامتر کمتر از مقدار تولید شده به‌طور تصادفی باشد، جهش تک‌نقطه‌ای انتخاب می‌شود، اما اگر برابر یا بزرگتر از مقدار تولید شده به‌طور تصادفی باشد جهش چندنقطه‌ای اعمال می‌شود. نمونه‌های نمایشی نشان‌دهنده این روند در شکل 3 نشان داده شده است. در اینجا، هر ژن انتخاب شده توسط شرایط همسایگی، جهش یافته است (به شکل 1(الف) مراجعه شود).

مبتدی (مناسب برای درک مفهوم کلی مطلب) 

3. روش‌های پیشنهاد شده و مقایسه شده
این بخش روش‌های گوناگون پیشنهاد شده و مقایسه شده را در این مقاله تشریح می‌کند. روش‌های زیر بحث شده اند:
1. روش مبتنی بر N-gram
2. روش مدل فضای برداری (VSM)
3. روش مبتنی بر خوشه با استفاده از الگوریتم K-میانگین
4. K-میانگین با stemming
5. K-میانگین با ریشه یابی
6. K-میانگین با N-grams
7. K-میانگین با قطعه بندی
در آغاز برخی از پیش پردازش‌های سند متنی انجام می‌شوند. این پیش پردازش‌ها شامل tokenization، حذف نقطه گذاری و حذف کلمات اضافی ( کلماتی بدون معنا) است. یک لیست از 50 کلمه بیشتر استفاده شده در زبان انگلیسی توسط British National Corpus ارائه شده است که شامل 90 میلیون نشانه است که معمولا استفاده می‌شوند. در روشی که از قطعه بندی استفاده می‌شود، ابتدا چانک‌ها تشکیل می‌شوند و سپس کلمات اضافی حذف می‌شود. ابتدا روش مبتنی بر N-gram سنتی و روش VSM سنتی برای بازیابی کاندید استفاده می‌شود. روش مبتنی بر خوشه با استفاده از الگوریتم K-میانگین پیشنهادی پذیرفته شده است. تغییرات متفاوت تر K-میانگین صورت می‌گیرند و نتایج تحلیل و مقایسه می‌شود.

3.1 روش مبتنی بر N-gram
در اینجا پیش پردازش عمومی انجام می‌شود. سپس سند به N-gramها و N-shingles تقسیم می‌شود. این به دنباله ای از کلمات پی در پی با اندازه “N” اشاره دارد، در اینجا “N” کاربر مشخص شده است. هر دو سند مشکوک و سند منبع به پروفایل‌های N-gram خود تبدیل می‌شوند و تشابه با استفاده از ضریب Dice محاسبه می‌شود. این مشابه با ضریب جاکارد است اما اثر عبارات مشترک بین اسناد را کاهش می‌دهد. فرض کنید و مشخصه‌های N-gram مشکوک و منبع باشند، سپس ضریب Dice به شکل زیر تعریف می‌شود:
جمله انگلیسی زیر را در نظر بگیرید (E1):
“The people left their countries and sailed with Gilbert.”
بعد از پیش پردازش ابتدای، نشانه‌هایی بدست می‌آید (E1-tokens):
[‘people’, ‘left’, ‘countries’, ‘sailed’, ‘Gilbert’] پس از تشکیل trigram ؛ N=3 ؛ (E1-3-gram) داریم:
[[‘people’, ‘left’, ‘countries’], [‘left’, ‘countries’, ‘sailed’], [‘countries’, ‘sailed’, ‘Gilbert’], [‘sailed’, ‘Gilbert’]] بعد از تشکیل مشخصه‌های N-gram منبع و مشکوک، تشابه با استفاده از (1) محاسبه می‌شود. در عوض استفاده از مقدار آستانه برای انتخاب مجموعه کاندید صورت می‌گیرد، در اینجا تشابه بین هر منبع با همه موارد مشکوک محاسبه شده است. سپس اسناد مشکوک دارای حداکثر معیار ضریب جاکارد انتخاب شده به عنوان سند مربوطه است.
3.2 روش مدل فضای بردار (VSM)
مدل فضای برداری (VSM) یک مدل جبری است که نشان دهنده اطلاعات متنی به عنوان یک بردار است. در اینجا، بعد از پیش پردازش اولیه مورد نیاز، یک دیکشنری از عبارات (کلمات) از هر سند منبع استخراج می‌شود که با همه اسناد مشکوک مقایسه می‌شود. VSM اهمیت کلماتی که به صورت مکرر استفاده شده اند با متریک فراوانی سندی معکوس (tf-idf) نشان می‌دهد. فراوانی سندی معکوس idf(t) سپس محاسبه می‌شود که تاکید دارد که یک عبارت که تقریبا در کل مجموعه اسناد موجود است خوب نیست. در آخر، tf-idf محاسبه می‌شود و تشابه بین بردارهای سند با استفاده از شباهت کسینوسی محاسبه می‌شود. شباهت کسینوسی بین دو سند (مشکوک) و (منبع) به شکل زیر محاسبه می‌شود:
در اینجا و نمایش بردار سند مشکوک و منبع را به ترتیب نشان می‌دهند. صورت کسر در معادله (2) به ضرب نقطه ای سه بردار و مخرج کسر به ضرب نرم اقلیدسی آن‌ها اشاره دارد. بعد از محاسبه تشابه با استفاده از معادله (2)، اسناد کاندید توسط رویکرد مشابه با روش N-gram انتخاب می‌شود. بنابراین هر سند منبع با همه سندهای مشکوک مقایسه می‌شود و سند مشکوک با حداکثر شباهت کسینوسی انتخاب می‌شود. باید اشاره کنیم که مواردی وجود دارند که در آن یک سند منبع به هر سند مشکوکی بی ربط است، مانند زمانی که منبع کل وب است. اما رویکرد غیر آستانه ای در بازیابی کاندید کارامد است چرا که اینجا تحلیل دقیق تری برای تشخیص اسنادی که به واقع سرقت ادبی شده اند صورت می‌گیرد.

3.3 روش مبتنی بر خوشه با روش پیشنهادی الگوریتم K-میانگین
در این روش رویکرد خوشه بندی استفاده شده است، که در آن اسناد مشابه همراه هم به عنوان یک خوشه گروه بندی می‌شوند. در اینجا الگوریتم استفاده شده K-میانگین است که یک تکنیک خوشه بندی بخشی کارامد است. در الگوریتم خوشه بندی K-میانگین دو پارامتر اصلی تعداد خوشه‌ها (K) و مرکز خوشه اولیه/مرکزیت است. الگوریتم پایه به شرح زیر است:
1. انتخاب k و مرکزیت اولیه، در اینجا “K” تعداد مرکزیتی است که باید انتخاب شود.
2. انتساب هر شی به گروهی که با استفاده از معیار فاصله یا تشابه کمترین مرکزیت را دارد.
3. زمانی که همه شی‌ها تخصیص داده شدند، موقعیت‌های مرکز‌های “K” دوباره محاسبه شود.
4. تکرار مرحله 2 و 3 تا زمانی که مرکزیت دیگر تغییر نکند.
در اینج مسئله اصلی تصمیم گیری بر مقدار ‘K’ و مرکزیت اولیه است، چرا که این دو پارامترها کاملا نتایج الگوریتم را تنظیم می‌کنند. با در نظر گرفتن این محدودیت، رویکرد پیشنهادی این پارامترها مقادیر ثابتی را ارائه می‌دهند. در اینجا مفهوم استفاده شده این است که هر سند مشکوک به عنوان یک مرکزیت عمل می‌کند. سند منبع که به صورت کلی مشابه با سند مشکوک است برای خوشه‌هایی که شامل این سند مشکوک به عنوان مرکزیت هستند؛ گروه بندی می‌شود. بنابراین ‘K’ به عنوان مجموع تعداد اسناد مشکوک در نظر گرفته می‌شود، فرض کنید که مجموعه مشکوک (مجموعه PAN) داده شده باشد. با استفاده از این مفهوم، الگوریتم K-میانگین پایه برای وظیفه بازیابی کاندید به صورت زیر اصلاح می‌شود:
1. K= تعداد اسناد مشکوک
2. تنظیم مرکزیت K اولیه = هریک از K سند مشکوک.
3. تخصیص هر سند منبع به خوشه با نزدیک ترین مرکزیت با استفاده از شباهت کسینوسی
فرآیند با استفاده از یک پکیج Python اجرا می‌شود که خوشه بندی را تسهیل می‌کند و زمان در نظر گرفته شدن را برای بردارهای سند کاهش می‌دهد و تشابه آن‌ها را محاسبه می‌کند. سپس بر اساس معیار تشابه اسناد منبع آن‌ها بر اساس تناظر اسناد مشکوک گروه بندی می‌شوند. بنابراین هر خوشه متناظر با مجموعه کاندید از اسناد برای یک سند مشکوک خاص است. در الگوریتم پیشنهاد شده، زمانی که مرکزیت‌ها تثبیت شوند، تنها یک تکرار نیاز است. این از نظر پیچیدگی زمانی کارامد است.

3.4 تغییرات الگوریتم K-میانگین پیشنهادی
روش بازیابی کاندید K-میانگین بحث شده در زیر بخش 3.2، به عنوان رویکرد پایه استفاده شده است. سپس بسط مرکزیت بوجود می‌آیند و الگوریتم ارزیابی می‌شود. این روش‌ها در بخش‌های زیر بحث شده اند.

3.4.1 K-میانگین با Stemming (K-Stem)
در این روش، تنها تغییر این است که بعد از نشانه گذاری سند، stemming صورت می‌گیرد. ریشه یابی یک فرآیند اکتشافی از حذف وندها از کلمات است. مراحل باقی مانده مشابه با رویکرد پایه انجام شده است.

3.4.2 K-میانگین با ریشه یابی (K-Lem)
این روش از ریشه یابی به جای Stemming استفاده می‌کند. محدودیت فرم‌های پایه دیکشنری یک کلمه و موفولوژی را مورد استفاده قرار می‌دهد . این رابطه تنگاتنگی با ریشه یابی دارد اما ریشه یابی تنها در یک کلمه تکی اعمال می‌شود در حالی که محدودیت سازی بر کل متن اعمال می‌شود . این می‌تواند تبعیض قائل شدن بین کلماتی باشد که بسته به بخشی از گفتار دارای معانی متفاوت هستند.

3.4.3 K-میانگین با N-gram (K-Ng)
در اینجا روش K-میانگین با روش مبتنی بر N-gram ترکیب شده است. به جای اتخاذ کلمات منحصر N-grams ایجاد شده و پیش پردازش بیشتر از رویکرد پایه استفاده می‌شود.

3.4.4 K-میانگین با قطعه بندی (K-Chk)
روش از قطعه بندی برای تشکیل عبارات گرامری به جای مقابله با unigrams استفاده می‌کند. در ابتدا یک درخت تجزیه ساخته می‌شود. سپس اسم، فعل، صفت، قید از آن استخراج می‌شود چرا که این عبارات در معنا سازی یک جمله نقش دارد. الگوریتم با استفاده از مراحل پیش پردازش ارزیابی می‌شود، ریشه یابی و محدودیت در زیر بخش‌های 3.3.1 و 3.3.2 بحث شده اند؛ مانند K-Chk-Stem و K-Chk-Lem.

4. تنظیمات آزمایشی و تحلیل نتایج
4.1 آماره‌های داده
الگوریتم‌ها با استفاده از سه مجموعه از اسناد از مجموعه PAN-13 ارزیابی شدند. هر مجموعه دارای اسناد مشکوک و اسناد منبع متناظر هستند که در جدول 1 آورده شده است. سه مجموعه داده استفاده شده است:
•Set-1: بدون ابهام
• Set-2: ابهام تصادفی
• Set-3: ابهام در ترجمه

مقاله انگلیسی رایگان

ترجمه فارسی رایگان 

فهرست مقاله:

چکیده
مقدمه
مقدمات
تطبیق الگوی زیر گراف
پارتیشن بندی داده ها و الحاق
بهینه سازی مبتنی بر برنامه نویسی دینامیک
برنامه های خطی
ج:طرح های نقطه ای
تبدیل
تولید طرح های نقطه ای
براورد هزینه
ارزیابی آزمایشی
ب:عملکرد تطبیق ساختاری
عملکرد تطبیق معنایی
عملکرد مثلث یابی

بخشی از ترجمه فارسی مقاله:

چکیده: الگوریتم های حریصانه برای عملیات تطبیق الگوی گراف اغلب زمانی که دده های گراف را بتوان در حافظه بر روی تک ماشین نگه داری کرد کافی می باشد. با این حال، چون مجموعه داده های گراف به طور فزاینده ای توسعه می یابند و نیاز مند فضای ذخیره ای اضافی و پارتیشن بندی در دسته ای از ماشین ها می باشند، فنون بهینه سازی پرس و جوی پیشرفته تر برای اجتناب از انفجار در تاخیر پرس و جو اهمیت حیاتی دارد.در این مقاله، ما اقدام به معرفی روش های بهینه سازی پرس و جو برای تطبیق الگوی گراف توزیع یافته می کنیم. این فنون شامل، 1- الگوریتم بهینه سازی مبتنی بر برنامه نویسی دینامیک سبک سیستم R، که هر دو برنامه های خطی و نقطه ای را در نظر می گیرد، 2- الگوریتم مبتنی بر تشخیص چرخه که اهرمی برای چرخه ها جهت کاهش اندازه مجموعه های نهایی می باشد و 3- روش استفاده مجدد از محاسبه یا رایانش است که انتقال اطلاعات و اجرای پرس و جوی زائد را در شبکه حذف می کند. نتایج آزمایشی نشان می دهد که این الگوریتم ها می توانند موجب بهبود زیادی در عملکرد پرس و جو شوند.
1-مقدمه
مدل داده های گراف، یک شیوه بسیار محبوب برای زمینه های مختلف محسوب می شود. از دلایل این محبوبیت می توان به موارد زیر اشاره کرد:1- برای خلاصه سازی داده های پراکنده و یا نیمه ساختاری به مدل های داده های راس-لبه-راس نسبت به مدل های داده های سنتی ساده تر است 2- برخی از مجموعه داده های محبوب( نظیر شبکه های تویتر، فیسبوک و لینکدین) در مورد استفاده از پارادایم گراف منطق و استدلال طبیعی دارند و 3- عملیات گراف نظیر محاسبات با کوتاه ترین مسیر،، تطبیق الگوی زیر گراف و پیج رنک به آسانی نسبت به مدل داده های گراف بیان می شوند.
بسیاری از مجموعه داده های گراف آن قدر بزرگ هستند که مدیریت آن ها بر روی یک ماشین سخت بوده و از این روی دسته ای از ماشین ها برای پردازش، ذخیره، مدیریت و تحلیل داده های گراف به کار برده می شوند. برای مثال، از سال 2012، گراف کاربر فیسبوک دارای 900 میلیون راس( درجه متوسط راس، 130 است) می باشد(1). در جامعه وب معنایی، جنبش داده های اپن لینکینگ، 6 میلیون تریپل را ( یک تریپل، برابر باست با یک لبه در یک گراف) از 300 مجموعه داده به هم پیوسته جمع اوری کرده است. از آن جا که بسیاری از الگوریتم های گراف در اصل با این فرض طراحی شده اند که گراف کامل را می توان در مموری بر روی یک ماشین ذخیره سازی کرد، معماری های توزیع یافته فوق نیاز به بازبینی این الکوریتم ها در زمینه توزیعی می باشند زیرا ملاحظاتی نظیر نهفتگی شبکه و بازدهی می تواند مانع از اجرای متعارف این الگوریتم ها شود.
تطبیق الگوی زیر گراف یک عملیات بسیار مهم می باشد که باید برای ذخایر گراف توزیعی باز بینی شود. عملیات تطبیق زیر گراف در عملیات داده کاوی شبکه اجتماعی( شمارش مثلث ها برای اندازه گیری اثر اجتماعی مراسم ها)، پرس و جو هایSPARQL در گراف داده های لینک شده و الگوریتم های یادگیری ماشین که موجب راه اندازی موتور ها برای سرگرمی و ابزار های تجارت الکترونیکی به شدت استفاده می شود.
مقاله حاضر به طور صریحی از روش های برنامه نویسی دینامیک سبک سیستم r استفاده می کند تا تطبیق الگوی زیر گراف توزیعی را بهینه سازی کند. با این حال، پی برده شد که این الگوریتم های متعارف باید به سه طریق اصلاح شوند تا عملکرد خوبی برای داده های گراف داشته باشند.
• اگرچه سایرین خاطر نشان کرده اند که حتی در زمینه های نسبی متعارف، مسئله سیستم R از درختان منجر به راهبرد بهینه سازی نیمه بهینه می شود، در نظر گرفتن برنامه های نقطه ای برای پرس و جو های تطبیق الگوی گراف توزیعی از اهمیت زیادی برای کاهش ترافیک شبکه و اندازه خروجی های میانی برخوردار است. بحی اکتشافی که برای آن ها طرح های نقطه ای در نظر گرفته می شوند باید اهرم خصوصیات گراف باشد.
• چرخه ها به طور مکرر در الگوهای پرس و جو در مدل گراف نسبت به داده های نشان داده شده در مدل های دیگر ظاهر می شوند. آن ها را می توان طوری اهرم بندی کرد که موجب بهبود عملکرد پرس و جو شده و به طور صریح طی تولید برنامه در نظر گرفته شوند.
• به طور کلی، تطبیق الگوی توزیعی زیر گراف با یافتن مولفه هایی از زیر گراف و اتصال این مولفه ها به هم انجام می شود. با این حال وقتی که الگوهای گراس خالص مورد جست و جو باشند، مجموعه های میانی حاصله، اندازه شان بزرگ تر می شود.
در این مقاله، ما دو قالب بهینه سازی پرس و جو را برای تطبیق الگوی زیر گراف ارایه می دهیم. با توجه به ذخیره داده ها در مدل داده های گراف، و پرس و جویی که همه نمونه های الگوی گراف را درون ذخیره گاه داده ها درخواست می کند،الگوریتم هایی را فراهم می کنیم که یک سری طرح های اجرای پرس و جو را تولید کرده، هر یک از طرح ها را براورد کرده و طرحی را با کم ترین هزینه برای اجرا انتخاب می کنند. هیچ گونه فرضی در مورد چگونگی تقسیم داده های گراف در خوشه وجود ندارد به جز این که همه لبه های بر گرفته از ورتکس در یک ماشین فیزیکی ذخیره شده و یک تابع قطعی ( تابع نقطه ای) را می توان به لبه ها برای تعیین مکان آن اعمال کرد. به علاوه، ما هیچ گونه فرضی را در مورد زیر گراف ارایه نداده و الگوریتم ما به دو زیر گراف غیر توزیعی و توزیعی نسبت داده می شود( که هر لبه و راس در مجموعه داده های گراف دارای خصوصیات مربوط به آن بوده و زیر گراف می تواند شامل گزاره هایی در خصوص این صفات برای کاهش حوزه پژوهش باشد. اهمیت مطالعه ما در زیر اشاره شده است.
• ما یک قالب بهینه سازی مبتنی بر برنامه نویسی دینامیک را پیشنهاد می کنیم که تنها طرح های نقطه ای را بدون مواجه با انفجار فضای برنامه پرس و چو در نظر می گیرد.
• ما یک چارچوب بهینه سازی مبتنی بر تشخیص چرخه را بر اساس این مشاهده ارایه می دهیم که چرخه ها به طور معنی داری، اندازه مجموعه های متوسط نهایی را کاهش می دهند.
• ما یک روش استفاده مجدد از محاسبات و رایانش را ارایه می دهیم که اجرای زیر پرس و جوی مشابه و انتقال شبکه زائد مجموعه متوسط را در پرس و جو حذف می کند.
نتایج آزمایشی نشان می دهد که روش های پیشنهادی ما، عملکرد تطبیق الگوی زیر گراف را در یک ذخیره گراف توزیعی به ترتیب بزرگی در الگوریتم های حریصانه بهبود بخشیده و منجر به افزایش عملکرد می شود.

بخشی از مقاله انگلیسی:

Abstract

Greedy algorithms for subgraph pattern matching operations are often sufficient when the graph data set can be held in memory on a single machine. However, as graph data sets increasingly expand and require external storage and partitioning across a cluster of machines, more sophisticated query optimization techniques become critical to avoid explosions in query latency. In this paper, we introduce several query optimization techniques for distributed graph pattern matching. These techniques include (1) a System-R style dynamic programming-based optimization algorithm that considers both linear and bushy plans, (2) a cycle detection-based algorithm that leverages cycles to reduce intermediate result set sizes, and (3) a computation reusing technique that eliminates redundant query execution and data transfer over the network. Experimental results show that these algorithms can lead to an order of magnitude improvement in query performance.

I. INTRODUCTION

The graph data model is becoming an increasingly popular way to represent data for various applications. Reasons for this include: (1) It can be less complex for a user to shoehorn semi-structured or sparse data into a vertex-edge-vertex data model than a relational data model, (2) some increasingly popular data sets (such as the Twitter, Facebook, and LinkedIn social networks) are most naturally reasoned about using a graph paradigm, and (3) graph operations, such as shortest path calculations, subgraph pattern matching, and PageRank are easily expressed over a graph data model. Many graph data sets are becoming too large to manage on a single machine, and therefore clusters of machines are being deployed to process, store, manage, and analyze graph data. For instance, as of 2012, Facebook’s user graph has 900 million vertices (and the average degree of a vertex is 130) [1]. In Semantic Web community, the Linking Open Data movement has collected 6 billion triples (a triple is equivalent to an edge in a graph) from 300 interconnected data sets [3]. Since many graph algorithms were originally designed with the assumption that the entire graph can be stored in memory on a single machine, these distributed architectures require revisiting these algorithms in a distributed context, as considerations such as network latency and throughput can bottleneck the traditional implementation of these algorithms. Subgraph pattern matching is a particularly important operation that must be revisited for distributed graph stores. Subgraph matching operations are heavily used in social network data mining operations (e.g. counting triangles for gauging social influence of celebrities [33]), SPARQL queries over the Linked Data graph, and machine learning algorithms that power recommendation engines for e-commerce retail applications and entertainment choices. This paper is the first (to the best of our knowledge) to explicitly use System-R style dynamic programming techniques [30] in order to optimize distributed subgraph pattern matching. However, we find that these traditional algorithms need to be modified in three ways in order to work well for graph data: • Although others have noted that even in the traditional relational context, System-R’s consideration of only left-deep join trees can lead to a suboptimal optimization strategy [21], the consideration of bushy plans for distributed graph pattern matching queries is particularly important in order to reduce network traffic and sizes of intermediate output. The heuristics for which bushy plans to consider should leverage graph characteristics. • Cycles appear more frequently in query patterns over a graph model than data represented in other models. They can be potentially leveraged to improve query performance and should be explicitly considered during plan generation. • In general, distributed subgraph pattern matching is performed by finding components of the subgraph separately, and joining these components together. However, when pure graph patterns are being searched for (without any selection predicates on vertex or edge attributes), the intermediate result sets tend to be extremely large. In this paper we introduce two query optimization frameworks for subgraph pattern matching. In particular, given a data store represented in the graph data model, and a query that requests all instances of a particular graph pattern within the data store, we provide algorithms that generate a series of query execution plans, estimate the cost of each of these plans, and select the plan with lowest cost for execution. We make no assumptions about how the graph data is partitioned across a cluster, except that all (directed) edges emanating from the same vertex are stored on the same physical machine, and that a deterministic function (e.g. a hash function) can be applied to any edge in order to determine its location. Furthermore, we make no assumptions about the subgraph being matched — our algorithms apply to both unattributed subgraphs (where just the structure of the graph pattern is being matched) and attributed subgraphs (where each vertex and edge in the graph data set may have attributes associated with it, and the subgraph may include predicates on these attributes in order to reduce the scope of the search). Our work makes the following contributions: • We propose a dynamic programming-based optimization framework that considers bushy plans without encountering query plan space explosion (Section III). We propose an cycle detection-based optimization framework based on the observation that cycles tend to significantly reduce the size of intermediate result sets (Section IV). • We introduce a computation reusing technique which eliminates repetitive identical subquery execution and redundant network transfer of intermediate result sets within a query (Section VI). Our experimental results show that our proposed techniques improve performance of subgraph pattern matching in a distributed graph store by an order of magnitude over commonly used greedy algorithms, and often result in even larger performance gains.

مبتدی (مناسب برای درک مفهوم کلی مطلب) 

2. رویکرد پیشنهادشده
رویکرد پیشنهادشده دو بسط از روش‌های صوتی‌سازی کنونی را درگیر می‌کند. ابتدا، استفاده از صداهای سه‌بعدی برای صوتی‌سازی را، با توجه به بهبودهای بالقوه با محلی‌سازی فضایی داده‌های شنیداری توسط موتورهای صدای سه بعدی را پیشنهادمی‌کند. دوم، توابع نمایشی چندلمسی را برای اجازه به کاربران نابینا برای بالا بردن تعاملاتشان با داده ها یکپارچه را پیشنهادمی‌کند. هردو بسط‌ها در زیر شرح‌داده‌شده‌است.
فریم‌ورک نشان‌داده‌شده در اینجا برای داشتن سه حالت طراحی‌شده‌است(شکل1)، همه آنها برروی تکنولوژی صوتی‌سازی مشابهی هستند، و همه آن‌ها به کاربر اجازه تعامل با داده‌های صوتی شده را می‌دهند :
– صوتی سازی توابع ریاضی پیوسته
– صوتی‌سازی هیستوگرام
– صوتی‌سازی نمودار پراکندگی
از آنجایی که این پروژه با هدف کمک به دانش‌آموزان کم‌بینا یا نابینا برای کار با داده در گروه مطالعاتی و کلاس درسی بوده‌است، فرض می‌کند که کاربران یک هدفون به وسیله خود متصل کرده‌اند. هردو هدفون‌ها تنها به کاربر اجازه ترکیب استریوی جداسازی کانال‌های چپ-راست را می‌دهد. این به نوعی به کاربر کمک می‌کند که مبدا صدا را از پایین/بالا چپ/راست تشخیص دهد.
رویکرد صوتی‌سازی پیشنهادشده ترکیب‌شده با صدای 3بعدی برای کمک به غلبه بر محدودیتیها و کمک به موقعیت فاصله داده‌های صوتی است. موقعیت فضایی داده‌های شنیداری در طول محور x به‌نوعی از طریق طرح‌های استریو انجام می‌شود. با مقادیر کمتر x به چپ طرح‌ریزی می‌شود، و با مقادیر بزرگ‌تر x به سمت راست طرح‌ریزی می‌شود. یک طرح‌ نمایش سه بعدی صدا این موارد را به‌خوبی اجازه می‌دهد. یک محیط صدای سه‌بعدی شامل منابع صدای متعدد و یک شنونده صدای یکتا است. نسبت موقعیت مبدا به شنونده در نمایش استریو متفاوت صدا وابسته به مبدا نتیجه می‌دهد. در نتیجه، یک موتور صدای سه‌بعدی به‌طور طبیعی طرح‌های استریو داده را بررسی می‌کند.
در مزیت بالقوه موتور صدای سه‌بعدی درطول طرح‌ریزی استریوی ساده داده این است که چندین موتورصدای سه‌بعدی که در حال‌حاضر وجود دارند، پشتیبانی از توابع انتقال مرتبط با سر را (HRTFs) فراهم می‌آورند. یک HRTF چگونگی دریافت صدا از نقطه‌ای در فضا در از طریق گوش انسان را مشخص‌می‌کند. HRTF در هردو برای شبیه‌سازی صدا در دوگوش که از نقطه‌ای در فضا ظهور می‌کند، استفاده شده است. بااستفاده از موتور سه بعدی با HRTF برای افزایش موقعیت‌یابی عمودی صدا استفاده شده‌است. این، با فریم‌ورک پیشنهادشده در زیر ترکیب‌می‌شود، ممکن است به کاربر نابینا برای مدل کردن بهتر رفتار توابع یا شکل‌های مجوعه داده‌های صوتی کمک کند.
صوتی‌سازی داده با ضرورت نمایش صدای سه‌بعدی نمونه داده در چندین فضای متفاوت وجود دارد. داده‌های گسسته، و نمونه‌های گسسته از یک تابع پیوسته، در فضای داده دوبعدی مرتب می‌شوند. آن‌ها به دو فضای متفاوت برای نمایش به کاربر تبدیل می‌شوند : فضای صدای سه بعدی برای شنوایی، و فضای نمایش دو بعدی برای نمایش بصری برروی صفحه لمسی است. تبدیل صفحه نمایش به فضای دوبعدی وابسته به API است که در اینجا برای اختصار حذف شده‌است. داده به درون فصای صوتی سه‌بعدی به شرح زیر تبدیل می‌شود : برای هر نقطه داده (xdata, ydata) ، نقطه داده سه‌بعدی به شکل p = (xdata − xmid, ydata − ymid, 10) مشخص‌می‌شود، که در آن xmid = (xmax − xmin)/2 و ymid = (ymax − ymin)/2, است، درحالیکه xmin، xmax ، ymin، و ymax کمینه و بیشینه مقادیر نمایش‌داده‌‌شده را نمایش می‌دهد.
شنونده در منشا فضای سه‌بعدی (شکل 2) جای گرفته‌است. جهت‌گیری شنونده با تطابقات محور فضا هم‌تراز است. جهت‌گیری بالای شنونده با محور y هم‌تراز است، و با محور z به جلو می‌رود، و با محور x به سمت راست حرکت می‌کند. اطلاعات صوتی در یک طرح عمودی؛ موازی با طرح xy، در جلوی شنونده نمایش‌داده‌شده‌است (شکل2). طرح شامل داده‌های دوبعدی ده واحد از شنونده دور است و داده‌های نمایش‌داده‌شده نسبتآ با موقعیت شنونده مرکزدهی می‌شود. کاربر با داده‌های استفاده‌شده در حرکات چندلمسی در تعامل است، که در زیر شرح‌داده‌شده‌است.

2.1 صوتی‌سازی توابع تک متغییره و قطعه نوارها
توابع تک منغییره برروی فاصله‌خاصی نمونه‌سازی شده‌اند، و آرایه‌ای از نقاط در فضای داده دوبعدی که از کوچکترین x تا بزرگترین x مرتب‌شده ایجاد کردند. این نقاط به‌درون فضای صوتی سه بعدی تبدیل می‌شود. یک مبدا صدای سه‌بعدی که درحال ایجاد صدای پیوسته است در ابتدا در سمت چپ نقطه نمونه قرارمی‌گیرد. مبدا از یک موقعیت نمونه سه‌بعدی به موقعیت دیگر تفسیرمی‌شود، و درطول محور x به سمت راست حرکت‌می‌کند، از کوچکترین xتا بزرگترین x حرکت می‌کند ( شکل 3a).
حلقه صوتی‌سازی در هرموقعیت نمونه برای مدت زمان کوتاهی مکث می‌کند و مجموع زمان اجرا عبور صوتی‌سازی به سه تا پنج ثانیه تنظیم می‌شود، که این مقدار وابسته به پپچیدگی تابعی است- درحالت کلی، مجانب عمودی و ناپیوستگی وجود دارد.
یک نمونه صوتی در طول صوتی‌سازی به‌طور پیوسته اجرا می‌شود. زیروبم صدا برای نمایش جایگزین موقعیت y نقطه نمونه شنوایی را تقویت می‌کند. یک صوت دوصدا ، با فرکانس پایه 400هرتز و زیرمولفه 200هرتز استفاده‌می‌شود. زیروبم، در موقعیت نمونه با مختصات yنقطه نمونه اندازه‌گیری می‌شود : scale = 5 ∗ (y − ymin)/(ymax −ymin)+1. اگر y منفی باشد، صدا از طریق فیلتر پایین‌گذر برای فراهم‌آوردن تفاوت‌های شنیداری بین مقادیر منفی و مثبت فراهم‌می‌آید، همانطور که Grond و همکاران بیان کردند. یک صدای متمایز برای نمایش تقاطع گراف با محور x استفاده می‌شود. برای توابع پیوسته تکه‌تکه ، صداهای پیوسته توسط دوره‌های سکوت از هم جدا می‌شوند.
هیستوگرام‌ها با استفاده از رویکردهای مشابه به حالت شنودی درمی‌آیند. تنها تفاوت این است که نمونه صداهای پیوسته استفاده نمی‌شود. درعوض، با یک کلیلک متمایز برای هرنقطه داده ایجاد می‌شود (شکل 3b). بالای هر نوار، برای مثال، تعداد نقاط داده در شکل، برای مقیاس‌سنجی زیروبم کلیک با استفاده از فاکتورهای مقیاس‌بندی محاسبه شده در بالا استفاده می‌شود.