الگوریتم خوشه بندی موازی برای آنالیز داده های توان

A Parallel Clustering Algorithm for Power Big Data Analysis

چکیده

1. مقدمه

2. کارهای مرتبط

3. مسائل و الگوریتمها

3.1. مسئله کلان داده کاوی نیرو

Mapreduce

• معماری Hadoop HDFS

• الگوریتم خوشه بندی K-means

3.2. تحقق خوشه بندی K-means موازی

• طراحی تابع Map

• طراحی تابع Combine

• طراحی تابع Reduce

4. تحلیل عملکرد

4.1. تحلیل پیچیدگی زمانی اجرای الگوریتم

4.2. تحلیل پیچیدگی فضا-زمان

4.3. تحلیل نرخ شتاب

5. نتیجه گیری

منابع

چکیده

با توسعه سریع فن آوری اطلاعات، داده های نیرو نیز با سرعت قابل توجهی در حال رشد است. در مواجهه با داده های چند بعدی و پیچیدۀ شبکه نیرو، عملکرد الگوریتم های خوشه بندی سنتی رضایت بخش نیست. نحوه مؤثر مقابله با مسائل داده های شبکه نیرو به عنوان داغی تبدیل شده است. این مقاله اجرای موازی الگوریتم خوشه بندی  K-means مبتنی بر سیستم فایل توزیع شده Hadoop و چارچوب محاسبات توزیعی Mapreduce را برای پرداختن به این مسئله پیشنهاد می دهد. نتایج تجربی نشان می دهد که عملکرد الگوریتم پیشنهادی ما به طور قابل توجهی از الگوریتم خوشه بندی سنتی بهتر است و الگوریتم خوشه بندی موازی می تواند پیچیدگی زمانی اجرای الگوریتم را تا حد زیادی کاهش دهد و می تواند در تجزیه و تحلیل و استخراج داده های شبکه نیرو استفاده شود.

1. مقدمه

خوشه بندی (5) یکی از داغترین موضوعات در تحقیقات داده کاوی است. آن فرایندی است که در آن شیئ داده ها در زیرمجموعه هایی تقسیم بندی می شوند.  هر زیر مجموعه یک خوشه است (11)، به طوری که اشیاء موجود در خوشه شبیه به یکدیگرند، اما به اشیاء موجود در خوشه های دیگر شباهتی ندارند. مجموعه ای از خوشه های ایجاد شده توسط تجزیه و تحلیل خوشه ها، یک خوشه نامیده می شود. با توسعه مستمر صنعت برق و تعمیم فن آوری پایگاه داده در صنعت برق، مقدار زیادی از داده ها (9،6) به شکلهای مختلف گردآوری می شوند. بنابراین، نحوه موثر ذخیره سازی و استفاده بهینه از این داده ها و استخراج اطلاعات ارزشمند از داده های حجیم، مسائلی هستند که باید حل شوند. 

Abstract

With the fast development of information technology, the power data is growing at an exponentially speed. In the face of multi-dimensional and complicated power network data, the performance of the traditional clustering algorithms are not satisfied. How to effectively cope with the power network data is becoming a hot topic. This paper proposes a parallel implement of K-means clustering algorithm based on Hadoop distributed file system and Mapreduce distributed computing framework to deal this problem. The experimental results show that the performance of our proposed algorithm significantly outperforms the traditional clustering algorithm and the parallel clustering algorithm can significantly reduce the time complexity and can be applied in analyzing and mining of the power network data.

1 Introduction

Clustering [5] is one of the most hot issues in data mining research. It is the process of partitioning data objects into subsets. Each subset is a cluster [11], so that the objects in the cluster are similar to each other, but are not similar to the objects in other clusters. A set of clusters generated by the cluster analysis is called a cluster. With the continuous development of the electric power industry and the popularization of database technology, in the electric power industry, a large amount of data [6, 9] is accumulated in different forms. Then, how to store and utilize these data effectively and how to dig out valuable information from the massive data become problems to be solved

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

الگوریتم خوشه بندی موازی برای آنالیز داده های توان

A Parallel Clustering Algorithm for Power Big Data Analysis

استنباط مدل‌های رفتاری نرم‌افزار در نگاشت کاهش

Inferring software behavioral models with MapReduce

چکیده
1- پیشگفتار
2- مرور اجمالی
2-1- MapReduce
2-2- استنتاج مدل رفتاری
2-3- نمونه جاری
2-4- رویکرد ما
3- تعارفی رسمی
4- برش مسیر متوالی
4-1- الگوریتم
4-2- استراتژی موازی‌سازی ساده
5- برش مسیر توزیع شده با MapReduce
5-1- رمزگذاری داده
5-2- نگارنده
5-3- کاهنده
5-4- بهینه‌سازی‌ها
6- ترکیب مدل توزیع شده با MapReduce
6-1- رمزگذاری داده‌ها
6-2- نگارنده و کاهنده
7- ارزیابی آزمایشی
7-1- آزمایشات روی لاگ‌های ترکیبی
7-2- آزمایشات روی لاگ‌های واقعی
8- بحث
8-1- کاوش نامتغیرها (ناورداها)
8-2- پیش‌پردازشگر لاگ
9- کارهای مربوطه
10- نتیجه‌گیری
منابع

چکیده

در عملکرد جهان واقعی، سیستم‌های نرم‌افزاری اغلب بدون توسعه هیچ مدل پیش‌فرض صریح ایجاد می‌شوند. این امر می‌تواند مسائلی جدی ایجاد کند که ممکن است مانع تکامل تقریبا اجتناب‌ناپذیر آینده شوند، زیرا در بهترین حالت، تنها مستندسازی درباره نرم‌افزار، شکلی از تفاسیر کد منبع است. برای رفع این مشکل، تحقیقات باید روی استنتاج خودکار مدل‌ها با استفاده از الگوریتم‌های یادگیری ماشین برای اجرای دستورات متمرکز باشند. با این حال، دستورات (لاگ‌های) تولید شده توسط سیستم نرم‌افزاری واقعی ممکن است بسیار بزرگ باشند و الگوریتم استنتاج می‌تواند از ظرفیتی پردازش کامپیوتر منفرد تجاوز کند.
این مقاله رویکرد کلی مقیاس‌پذیری را برای استنبتاج مدل‌های رفتای ارائه می‌دهد که می‌توانند دستورات بزرگ اجرا را از طریق الگوریتم‌های موازی و توزیع شده پیاده‌سازی شده با استفاده از مدل برنامه‌نویسی MapReduce و اجرا شده روی خوشه‌ای از گره‌های اجرای متصل به هم انجام دهد. این رویکرد شامل دو مرحله توزیع شده است که ترکیب مدل و برش مسیر (برش ردیابی) را انجام می‌دهند. برای هر مرحله، الگوریتم توزیع شده‌ای با استفاده از MapReduce ایجاد می‌شود. با ظرفیت پردازش داده موازی MapReduce، مساله استنتاج مدل‌های رفتاری از دستورات (لاگ‌های) بزرگ را می‌توان به طور کارامدی حل کرد. این تکنیک در بالای Hadoop اجرا می‌شود. آزمایش‌های روی خوشه‌های آمازون ، کارایی و مقیاس‌پذیری رویکرد ما را نشان می‌دهند.

10- نتیجه‌گیری

در این مقاله، رویکردی را برای استنتاج مدل‌های رفتاری نرم‌افزاز از لاگ‌های بزرگ با استفاده از MapReduce ارائه می‌دهیم. در رویکرد ما لاگ‌ها در ابتدا تجزیه و برش داده می‌شوند و سپس مدل توسط الگوریتم توزیع شده k-دم استنتاج می‌شود. رویکرد ما را همچنین می‌توان به عنوان پیش‌پردازشگر لاگ مورد استفاده قرار داد و با الگوریتم‌های موجود استنتاج مدل ترکیب کرد. آزمایشات روی خوشه‌های آمازون و مجموعه داده‌های بزرگ، کارایی و مقیاس‌پذیری رویکرد ما را نشان می‌دهند. این مقاله، کار قبلی ما [12] به چند روش توسعه می‌دهد. در این مقاله، به ویژه چند بهینه‌سازی عملی را شرح می‎دهیم، درستی رویکرد خود را به طور رسمی ثابت می‌کنیم، و ارزیابی آزمایشی کامل‌تری را تحت تنظیمات مختلف فراهم می‌سازیم. برنامه داریم که مطالعاتی موردی را روی لاگ‌های بزرگ تولید شده توسط سیستم‌های نرم‌افزاری واقعی به منظور ارزیابی بیشتر عملکرد و قابلیت اجرا رویکرد خود انجام دهیم. همچنین به بحث موازی‌سازی الگوریتم‌های دقیق‌تر استنتاج مدل یا ادغام محدودیت‌های زمانی در طول مرحله استنتاج خواهیم پرداخت.

Abstract

In the real world practice, software systems are often built without developing any explicit upfront model. This can cause serious problems that may hinder the almost inevitable future evolution, since at best the only documentation about the software is in the form of source code comments. To address this problem, research has been focusing on automatic inference of models by applying machine learning algorithms to execution logs. However, the logs generated by a real software system may be very large and the inference algorithm can exceed the processing capacity of a single computer. This paper proposes a scalable, general approach to the inference of behavior models that can handle large execution logs via parallel and distributed algorithms implemented using the MapReduce programming model and executed on a cluster of interconnected execution nodes. The approach consists of two distributed phases that perform trace slicing and model synthesis. For each phase, a distributed algorithm using MapReduce is developed. With the parallel data processing capacity of MapReduce, the problem of inferring behavior models from large logs can be efficiently solved. The technique is implemented on top of Hadoop. Experiments on Amazon clusters show efficiency and scalability of our approach.

10- Conclusion

In this paper, we presented an approach to infer software behavior models from large logs using MapReduce. In our approach, the logs are first parsed and sliced, then the model is inferred by the distributed k-tail algorithm. Our approach can also be used as a log preprocessor and combined with existing model inference algorithms. Experiments on Amazon clusters and large datasets show the efficiency and scalability of our approach. This paper extends our previous work [12] in several ways. Specially, we describe several practical optimizations, formally prove the correctness of our approach, and provide more complete experimental assessment under various settings. We plan to perform case studies on large logs generated by real software systems to further evaluate the performance and applicability of our approach. We also plan to investigate the parallelization of more accurate model inference algorithms or incorporating temporal constraints during the inference phase.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

استنباط مدل‌های رفتاری نرم‌افزار در نگاشت کاهش

Inferring software behavioral models with MapReduce

مهاجرت از بانکهای اطلاعاتی رابطه ای به: HBase یک ارزیابی امکان سنجی

Migration from Relational Databases to HBase: A Feasibility Assessment

چکیده

1- مقدمه

2- تعاریف اصلی

2-1 پایگاه‌های داده‌ای NoSQL

2-2 HBase

2-3 MapReduce

3- جبر رابطه‌ای در HBase

3-1 مجموعه‌ی اجتماع

3-2 ضرب کارتزین

3-3 اشتراک

3-4 انتخاب

3-5 طرح‌ریزی

3-6 اتصال θ و هم‌اتصال

3-7 اتصال طبیعی

3-8 تقسیم

4- عملگرهای HBase

4-1 گرفتن

4-2 گروه‌بندی درجه دوم

4-3 تابع تراکم

4-4 پیوستن

5- نتیجه‌گیری و کار آینده

چکیده

اخیرا پایگاه‌های داده‌‌ای رابطه‌ای به‌عنوان مرکز اطلاعات سیستم شرکت‌ها محسوب می‌گردند. در سال‌های اخیر به‌دلیل کارایی و پختگی، مدل رابطه‌ای به یک استاندارد غیررسمی تبدیل شده است. همچنین با توجه به این واقعیت که داده‌ی بعضی از شرکت‌ها یا مؤسسات بسیار بزرگ است، سیستم جدیدی به‌نام NoSQL ابداع شده است که عصر داده‌ی بزرگ متعلق به آن می‌باشد. داده‌ی بزرگ به‌دلیل ظهور خدمات انلاین جدید به‌وجود آمده است که در آن ارتباطات مشتری‌ها افزایش پیدا کرده است و یک داده‌ی دیجیتالی بزرگ طاقت‌فرسا به‌وسیله‌ی ابزارهای تکنیکی مدیریت سنتی ایجاد گردیده است که در این صورت چالش‌های جدیدی برای شرکت‌ها به‌خصوص در زمینه‌ی دسترسی، ذخیره و تحلیل داده به‌وجود می‌آید. در این پژوهش، ما یک مطالعه‌ی امکان‌سنجی مهاجرت از پایگاه‌های داده‌ای رابطه‌ای به پایگاه‌های داده‌ای NoQSL به‌خصوص پایگاه داده HBase را ارائه می‌دهیم؛ این مهاجرت با به‌کار بردن عملگر جبر رابطه‌ای در مدل داده‌ای HBase و پیاده‌سازی این عملگر بر روی HBase با استفاده از تابع‌های بومی این DBMS و همچنین با استفاده از چارچوب MapReduce انجام گرفته است.

1- مقدمه

سیستم‌های مدیریت پایگاه داده‌ا‌ی رابطه‌ای (RDBMS) به‌دلیل قابلیت اطمینان و پختگی، به‌عنوان متداول‌ترین راه‌حل در بسیاری از کاربردها جهت ذخیره و بازیابی کردن داده محسوب می‌شوند. پایگاه‌های داده‌‌ای رابطه‌ای با توجه به مدل Codd (رابطه‌ای) ]1[ کار می‌کنند که نسبت به یک سیستم روابط که فقط از مقادیر داده استفاده می‌کند، دارای امتیاز می‌باشند و این داده‌ها با استفاده از زبان سطحی بالا که SQL نام دارد، دستکاری می‌شوند ]3[، یک تئوری ریاضی جدید در این سیستم پیاده‌سازی می‌گردد که مشابه تئوری مجموعه که به‌وسیله‌ی Codd ارائه شده است، می‌باشد و جبر رابطه‌ای نام دارد ]1[.جبر رابطه‌ای فرآیندی است که می‌تواند بر روی رابطه‌ها به‌کار رود. فرآیندهای رابطه‌ای اجازه می‌دهند که یک رابطه‌ی جدید (جدول) براساس عملگر ابتدایی بر روی دیگر جدول‌ها مانند اجتماع، اشتراک، انتخاب، طرح‌ریزی و پیوستن ایجاد گردد.

5- نتیجه‌گیری و کار آینده

در این پژوهش، ما یک مطالعه‌ی امکان‌سنجی جهت مهاجرت از پایگاه‌های داده‌ای رابطه‌ای به پایگاه‌های داده‌ای HBase را با استفاده از عملگرهای جبری رابطه‌ای در مدل داده‌ی HBase و پیاده‌سازی این عملگرها بر روی HBase با استفاده از توابع بومی این DBMS و همچنین با استفاده از چارچوب MapReduce را ارائه دادیم. براساس بخش‌های فوق، ما می‌توانیم نتیجه‌گیری کنیم که از لحاظ تئوری، مهاجرت بین پایگاه‌های داده‌ای رابطه‌ای و پایگاه‌های داده‌ای HBase، می‌تواند به‌صورت مؤثر به‌کار برده شود. در آینده، ما به مقایسه‌ی نحوه‌ی عملکرد عملگرهای رابطه‌ای متداول (بار حجمی، انتخاب، به‌روز کردن، حذف، پیوستن، گروه‌بندی درجه دوم و توابع تراکم) در پایگاه‌های داده‌ای رابطه‌ای و HBase خیلی بزرگ خواهیم پرداخت.

Abstract

Relational Databases are currently at the heart of information system of the companies. In recent years, the relational model has become de facto standard thanks to its maturity and efficiency. However, the fact that the data of some companies or institutions have become too large, new systems has appeared namely NoSQL which belongs to the Big Data era. Big Data comes due to the emergence of new online services on which customers have become increasingly connected, which creates a large digital data unbearable by the traditional management technical tools, which raise new challenges for companies especially to access, store and analyse data. In this paper we will propose a feasibility study of migration from relational databases to NoSQL databases specifically HBase database, by applying the operations of the relational algebra in HBase data model and explore the implementation of these operations on HBase by using the native functions of this DBMS and also by using the MapReduce Framework.

1- Introduction

Relational database management systems (RDBMS) are the most common solution in many applications for storing and retrieving data due to its maturity and reliability. Relational databases are based on the Codd model (relational) [1] which has privileged a system of relations based solely on the values of the data, and a manipulation of these data using a high level language called SQL [3], implementing a new mathematical theory similar to the set theory proposed by Codd called “relational algebra” [1]. Relational algebra defines operations that can be applied on relations. Relational operations allow to create a new relation (table) from elementary operations on other tables namely union, intersection, selection, projection, and join.

5- Conclusion and Future Work

In this paper we proposed a feasibility study of migrating relational databases to HBase databases by applying the operations of the relational algebra in HBase data model and explore the implementation of these operations on HBase by using the native functions of this DBMS and also byusing the MapReduce Framework. Based on the above sections we can deduce that is theoretically the migration between relational databases and HBase databases can be handled efficiently. In perspective, we envisage to compare the performance of execution of the commons relational operations (bulk load, select, update, delete, join, group by, and aggregate functions) over a large database in relational and in HBase.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

مهاجرت از بانکهای اطلاعاتی رابطه ای به: HBase یک ارزیابی امکان سنجی

Migration from Relational Databases to HBase: A Feasibility Assessment

کاربرد روش ماشین بردار پشتیبان موازی پیشرفته بر اساس هستی شناسی در تعلیم فیلتر کردن مقیاس پذیر اسپم

DAn ontology enhanced parallel SVM for scalable spam filter training

چکیده
1- مقدمه
2- کارهای مرتبط
3- موازی سازی SVM با نگاشت کاهش
4- تقویت هستی شناسی
5- نتایج تجربی
5-1- راندمان روش SMO موازی
5-2- مقایسه با یک SMO مبتنی بر MPI
5-3- دقت روش SMO موازی
5-4- ارزیابی روش SMO موازی با استفاده از روش های گروهی
5-5- تقویت هستی شناسی
6- نتیجه گیری ها و کار آتی
منابع

چکیده

هرزنامه در هر نوع و شکلی همچنان به طور فزاینده به آسیب رسانی خود ادامه می دهد. روش های مختلفی از جمله تکنیک های ماشین بردار پشتیبان (SVM) برای آموزش فیلترینگ هرزنامه و طبقه بندی آن ها پیشنهاد داده شده است. با این حال، آموزش SVM یک فرآیند به شدت محاسباتی است. با این حال، آموزش SVM یک فرآیند به شدت محاسباتی است. این مقاله یک الگوریتم SVM موازی مبتنی بر نگاشت کاهش را برای آموزش فیلتر مقیاس پذیر هرزنامه ارائه می کند. با توزیع، پردازش و بهینه سازی زیرمجموعه های داده های آموزش در بین چندین نود رایانه ای مشارکت کننده، روش SVM موازی زمان آموزش را به طور قابل توجهی کاهش می دهد. مفاهیم هستی شناسی برای به حداقل رساندن تاثیر افت دقت در حین توزیع داده های مورش در بین برخی از طبقه بندی کننده های SVM به کار گرفته می شوند. نتایج تجربی (آزمایشی) نشان می دهند که تقویت مبتنی بر هسته شناسی سبب بهبود سطح دقت تکنیک SVM موازی فراتز ار تکنیک ترتیبی اصلی می شود.

6- نتیجه گیری ها و کار آتی

در این مقاله الگوریتم SVM موازی مبتنی بر نگاشت کاهش برای آموزش سریع فیلترینگ هرزنامه ارائه شده است. با توزیع مجموعه داده ها به تعدادی از نودهای رایانشی، SVM موازی زمان آموزش را به طور قابل توجهی کاهش می دهد. به منظور کاهش افت دقت در طبقه بندی، روش SVM موازی به همراه مفاهیم هستی شناختی تقویت شده است. فرصت های متعددی برای بهبود بیشتر روش SVM موازی وجود دارد. ما قصد داریم تا درباره روش های مناسب در ارتباط با نحوه استخراج خودکار اطلاعات اضافی از نمونه های حاشیه ای و به کار گرفتن این حلقه پسخورد به فرآیند یادگیری ماشین را در SVM موازی تحقیق کنیم. در حال حاضر، روش حلقه پسخورد مبتنی بر هسته شناسی بیشتر بر مبنای تخصص انسانی و سرمایه گذاری متکی است تا بتواند زمینه های پنهانی را شناسایی کند که سبب کاهش مساله انتشار مفهوم می شود. ما قصد داریم تا درباره تکنیک های مرتبط با شناسایی خودکار انتشار مفهوم در طبقه بندی مشابه با کار ارائه شده در [42] تحقیق کنیم.

Abstract

Spam, under a variety of shapes and forms, continues to inflict increased damage. Varying approaches including Support Vector Machine (SVM) techniques have been proposed for spam filter training and classification. However, SVM training is a computationally intensive process. This paper presents a MapReduce based parallel SVM algorithm for scalable spam filter training. By distributing, processing and optimizing the subsets of the training data across multiple participating computer nodes, the parallel SVM reduces the training time significantly. Ontology semantics are employed to minimize the impact of accuracy degradation when distributing the training data among a number of SVM classifiers. Experimental results show that ontology based augmentation improves the accuracy level of the parallel SVM beyond the original sequential counterpart.

6- Conclusions

and future work In this paper we have presented a MapReduce based parallel SVM algorithm for fast spam filter training. By distributing the data set into a number of computing nodes, the parallel SVM reduces the training time considerably. To mitigate accuracy degradation in classification, the parallel SVM is augmented with ontology semantics. There is ample room for further improvement to the parallel SVM. We intend to research appropriate schemes on how to automatically extract additional intelligence from annotated instances and employ this with the feedback loop to the machine learning process within the parallel SVM. Currently, the ontology based feedback loop approach is mostly based and capitalizes on human expertise to identify hidden context which mitigates the problem of concept drift. We intend to research relevant techniques to automatically identify concept drift in classification similar to the work presented in [42].

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

کاربرد روش ماشین بردار پشتیبان موازی پیشرفته بر اساس هستی شناسی در تعلیم فیلتر کردن مقیاس پذیر اسپم

DAn ontology enhanced parallel SVM for scalable spam filter training

کاربرد تکنیک ماشین بردار پشتیبانی موازی مبنی بر MapReduce برای فیلتر کردن اسپم ها در مقیاس بزرگ

A MapReduce based Parallel SVM for Large Scale Spam Filtering

چکیده

1- مقدمه

2- توزیع SVM با استفاده از MapReduce

3- هستی شناختی به منظور افزایش دقت

4- نتایج تجربی

5- نتیجه گیری ها و کار آتی

منابع

چکیده

هرزنامه ها (اسپم ها) همچنان خسارت های زیادی را تحمیل می کنند. روش های مختلف از جمله تکنیک های مبتنی بر ماشین بردار پشتیبانی (SVM) برای طبقه بندی اسپم ها پیشنهاد داده شده است. با این حال، آموزش SVM یک فرآیند به شدت محاسباتی است. این مقاله یک الگوریتم SVM موازی را برای پالایش مقیاس پذیر اسپم ها ارائه می کند. از طریق توزیع، پردازش و بهبود زیرمجموعه های داده های آموزش در میان نودهای مختلف شرکت کنندع، روش SVM توزیع شده سبب کاهش قابل توجه زمان آموزش می شود. مفاهیم مبتنی بر هستی شناسی نیز برای به حداقل رساندن تاثیر افت دقت در هنگام توزیع داده های آموزش در بین طبقه بندی کننده های SVM به کار گرفته می شوند.

5- نتیجه گیری ها و کار آتی

در مقاله الگوریتم SVM موازی برای پالایش مقیاس پذیر اسپم ارائه شده است. با تفکیک مجموعه داده و به کارگیری تکنیک های محاسبات توزیع شده همانند MapReduce می توانیم زمان آموزش را به طور قابل ملاحظه ای بهبود دهیم. با این حال، این کار سبب تغییرات قابل توجه افت دقت می شود. در این کار مفاهیم مبتنی بر هستی شناختی برای بهبود دقت SVM موازی به کار گرفته شده است. برای کار آتی قصد داریم تا درباره روش های مناسب استخراج هوش اضافی از نمونه های تفسیر شده تحقیق کنیم و آن را به همراه یادگیری ماشین و فرآیند حلقه بازخورد SVM موازی به کار بگیریم. ما اعتقاد داریم که دقت با استفاده تفسیر خودکار مشابه با [20] بهبود بیشتری پیدا می کند.

Abstract

Spam continues to inflict increased damage. Varying approaches including Support Vector Machine (SVM) based techniques have been proposed for spam classification. However, SVM training is a computationally intensive process. This paper presents a parallel SVM algorithm for scalable spam filtering. By distributing, processing and optimizing the subsets of the training data across multiple participating nodes, the distributed SVM reduces the training time significantly. Ontology based concepts are also employed to minimize the impact of accuracy degradation when distributing the training data amongst the SVM classifiers.

V- CONCLUSIONS AND FUTURE WORK

In this paper we presented a parallel SVM algorithm for scalable spam filtering. By splitting the training set and applying distributed computing techniques such as MapReduce we can improve the training time considerably. However, this has varying yet noticeable degrees of accuracy degradation. In our work, we employ ontology based semantics to improve the accuracy of the parallel SVM. For future work, we intend to research appropriate schemes to extract additional intelligence from annotated instances and employ this within the machine learning, Parallel SVM feedback loop process. We believe that accuracy can be also further improved via automated annotation similar to [20].

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

کاربرد تکنیک ماشین بردار پشتیبانی موازی مبنی بر MapReduce برای فیلتر کردن اسپم ها در مقیاس بزرگ

A MapReduce based Parallel SVM for Large Scale Spam Filtering

چارچوب های بهره وری در محاسبات مربوط به پردازش عکس های با حجم داده بالا – تولید عکس های موزاییکی با استفاده از چارچوب های نرم افزاری hadoop و scalding

Productivity frameworks in big data image processing computations – creating photographic mosaics with Hadoop and Scalding

• برای دانلود رایگان مقاله انگلیسی با فرمت pdf بر روی عنوان انگلیسی مقاله کلیک نمایید.
• برای خرید و دانلود ترجمه فارسی آماده با فرمت ورد، روی عنوان فارسی مقاله کلیک کنید.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

چارچوب بهره وری در محاسبات پردازش تصاویر بزرگ داده – ایجاد عکس موزاییکی با هادوب و اسكالدينگاسكالدينگ

Productivity frameworks in big data image processing computations – creating photographic mosaics with Hadoop and Scalding

استخراج کلان داده ها با رایانش موازی: مقایسه روش های توزیعی و MapReduce (نگاشت-کاهش)

Big Data Mining with Parallel Computing: A Comparison of Distributed and MapReduce Methodologies

• برای دانلود رایگان مقاله انگلیسی با فرمت pdf بر روی عنوان انگلیسی مقاله کلیک نمایید.
• برای خرید و دانلود ترجمه فارسی آماده با فرمت ورد، روی عنوان فارسی مقاله کلیک کنید.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

مقایسه روش های توزیعی و نگاشت-کاهش و استخراج کلان داده با محاسبات موازی

Big Data Mining with Parallel Computing: A Comparison of Distributed and MapReduce Methodologies

• برای دانلود رایگان مقاله انگلیسی با فرمت pdf بر روی عنوان انگلیسی مقاله کلیک نمایید.
• برای خرید و دانلود ترجمه فارسی آماده با فرمت ورد، روی عنوان فارسی مقاله کلیک کنید.

 پلتفرم مبتنی بر هدوپ برای پردازش زبان طبیعی اسناد و صفحات وب

 A hadoop based platform for natural language processing of web pages and documents

• برای دانلود رایگان مقاله انگلیسی با فرمت pdf بر روی عنوان انگلیسی مقاله کلیک نمایید.
• برای خرید و دانلود ترجمه فارسی آماده با فرمت ورد، روی عنوان فارسی مقاله کلیک کنید.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

 زمینه ای بر اساس هادوپ جهت پردازش زبان طبیعی صفحات و اسناد وب

 A hadoop based platform for natural language processing of web pages and documents

• برای دانلود رایگان مقاله انگلیسی با فرمت pdf بر روی عنوان انگلیسی مقاله کلیک نمایید.
• برای خرید و دانلود ترجمه فارسی آماده با فرمت ورد، روی عنوان فارسی مقاله کلیک کنید.

ESAMR : الگوریتم زمانبندی پیشرفته خودتطبیقی نگاشت‌کاهش (MapReduce)

ESAMR: An Enhanced Self-Adaptive MapReduce Scheduling Algorithm

• برای دانلود رایگان مقاله انگلیسی با فرمت pdf بر روی عنوان انگلیسی مقاله کلیک نمایید.
• برای خرید و دانلود ترجمه فارسی آماده با فرمت ورد، روی عنوان فارسی مقاله کلیک کنید.

الگوریتم برنامه ریزی زمانی خودتطبیقی نگاشت‌ کاهش

ESAMR: An Enhanced Self-Adaptive MapReduce Scheduling Algorithm

• برای دانلود رایگان مقاله انگلیسی با فرمت pdf بر روی عنوان انگلیسی مقاله کلیک نمایید.
• برای خرید و دانلود ترجمه فارسی آماده با فرمت ورد، روی عنوان فارسی مقاله کلیک کنید.

زمانبندی وظیفه کاهشی محل‌ برای نگاشت‌ کاهش (MapReduce)

Locality-Aware Reduce Task Scheduling for MapReduce

• برای دانلود رایگان مقاله انگلیسی با فرمت pdf بر روی عنوان انگلیسی مقاله کلیک نمایید.
• برای خرید و دانلود ترجمه فارسی آماده با فرمت ورد، روی عنوان فارسی مقاله کلیک کنید.

زمانبندی وظیفه کاهشی محل‌ برای نگاشت‌ کاهش (MapReduce)

Locality-Aware Reduce Task Scheduling for MapReduce

• برای دانلود رایگان مقاله انگلیسی با فرمت pdf بر روی عنوان انگلیسی مقاله کلیک نمایید.
• برای خرید و دانلود ترجمه فارسی آماده با فرمت ورد، روی عنوان فارسی مقاله کلیک کنید.