تکنیک ها و دستورالعمل ها برای مهاجرت موثر از RDBMS به NoSQL

Techniques and guidelines for effective migration from RDBMS to NoSQL

چکیده

1- مقدمه

2- پیشینه

3- کارهای مرتبط

4- مهاجرت از RDBMS به ستون‌های جهت‌دار NoSQL

4-1 تبدیل جستجوگرهای SQL

4-2 غیر‌نرمال‌سازی

4-3 شاخص‌های ثانویه

4-4 پیوستن به الگوریتم‌ها

4-5 پشتیبانی تصمیم‌گیری برای مهاجرت

5- ارزیابی نتایج آزمایشگاهی

5-1 مراحل انجام آزمایش

5-2 نتایج انجام آزمایش

5-3 دستورالعمل‌ها

6- نتیجه‌گیری

چکیده

مهاجرت از RDBMS به NoSQL به‌ یک موضوع مهم در کلان داده تبدیل شده است. این تحقیق، روش‌ها و دستورالعمل‌های جامعی جهت مهاجرت مؤثر از RDBMS به NoSQL‌ ارائه می‌دهد. ما در مورد چالش‌های که در هنگام تبدیل جستجوگر SQL با آن مواجه هستیم و اثرات غیرنرمال‌سازی، دسته‌های ستون، شاخص‌های ثانویه، الگوریتم‌های پیوستن، طول اسمی ستون و پشتیبانی تصمیم‌گیری برای مهاجرت بحث می‌کنیم. ما بر روی NoSQL ستونی جهت‌دار و HBase متمرکز می‌شویم، زیرا به‌طور گسترده توسط بسیاری از شرکت‌های اینترنتی مانند Facebook، Twitter و Linkedln استفاده می‌شود. چون HBase از SQL پشتیبانی نمی‌کند، ما از Apache Phoenix به‌عنوان لایه‌ی SQL در بالای HBase استفاده می‌کنیم. نتایج تجربی با استفاده از TPC-H نشان می‌دهد که غیرنرمال‌سازی سطحی ستون همراه با یکپارچگی و ستون‌های گروه‌بندی در داخل دسته‌های ستون به‌طور قابل ملاحظه‌ای عملکرد جستجو را بهبود می‌بخشند؛ استفاده از شاخص‌های ثانویه بر روی کلیدهای خارجی در RDBMSها مؤثر نیست؛ جستجوی بهینه‌ی Phoenix خیلی پیچیده نیست؛ ستون اسمی کوتاه‌شده به‌طور قابل توجهی سبب کاهش اندازه‌ی پایگاه داده و بهبود عملکرد جستجو می‌شود و طبقه‌بندی SVM می‌تواند در مورد بهبود عملکرد جستجو به‌وسیله‌ی مهاجرت، پیش‌بینی انجام دهد. اهمیت مسائل باز در تحقیقات NoSQL سبب پشتیبانی از جستجوگرهای SQL پیچیده، انتخاب شاخص خودکار و جستجوگرهای SQL بهینه برای NoSQL می‌شود.

6- نتیجه‌گیری

در این تحقیق جهت مهاجرت مؤثر از RDBMS به HBase همراه با Phoenix، ما روش‌ها و دستورالعمل‌هایی برای مهاجرت مانند تبدیل جستجو، غیرنرمال‌سازی، دسته‌های ستون، شاخص‌های ثانویه، طول اسمی ستون و پشتیبانی تصمیم‌گیری را ارائه می‌دهیم. نتایج تجربی نشان می‌دهد که غیرنرمال‌سازی، دسته‌های ستون و ستون اسمی کوتاه‌شده باعث بهبود عملکرد جستجو می‌شوند؛ در ستون اسمی کوتاه‌شده اندازه‌ی پایگاه داده کاهش می‌یابد؛ و طبقه‌بندی SVM می‌تواند از تصمیم‌گیری مهاجرت پشتیانی کند. اهمیت مسائل باز برای کارهای آینده سبب پشتیبانی از جستجوگرهای SQL پیچیده، انتخاب شاخص خودکار و جستجوگرهای SQL بهینه برای NoSQL می‌شود.

Abstract

Migration from RDBMS to NoSQL has become an important topic in a big data era. This paper provides comprehensive techniques and guidelines for effective migration from RDBMS to NoSQL. We discuss the challenges faced in translating SQL queries; the effects of denormalization, column families, secondary indexes, join algorithms, and column name length; and decision support for the migration. We focus on a column-oriented NoSQL, HBase because it is widely used by many Internet enterprises such as Facebook, Twitter, and LinkedIn. Because HBase does not support SQL, we use Apache Phoenix as an SQL layer on top of HBase. Experimental results using TPC-H show that column-level denormalization with atomicity and grouping columns into column families significantly improve query performance; the use of secondary indexes on foreign keys is not as effective as in RDBMSs; the query optimizer of Phoenix is not very sophisticated; shortened column names significantly reduce the database size and improve query performance; and the SVM classifier can predict whether query performance is improved by migration or not. Important open problems in NoSQL research are supporting complex SQL queries, automatic index selection, and optimizing SQL queries for NoSQL.

6 Conclusions

For effective migration from RDBMS to HBase with Phoenix, we provided techniques and guidelines for query translation, denormalization, column families, secondary indexes, join algorithms, column name length, and decision support for the migration. Experimental results show that denormalization, column families, and shortened column names improve query performance; shortened column names reduce the database size; and the SVM classifier can support the decision of migration. Important open problems for future work are supporting complex SQL queries, automatic index selection, and optimizing SQL queries for NoSQL.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

تکنیک ها و دستورالعمل ها برای مهاجرت موثر از RDBMS به NoSQL

Techniques and guidelines for effective migration from RDBMS to NoSQL

 ST-Hash: یک شاخص زمانی و مکانی موثر برای داده های خط سیر انبوه در پایگاه داده NoSQL

ST-hash: An efficient spatiotemporal index for massive trajectory data in a NoSQL database

چکیده

1-مقدمه

2- کارهای مرتبط

3- روش شاخص گذاری ST-Hash

A-کد باینری یک نقطه خط سیر

B- رشته Base64 یک نقطه خط سیر

4- رابط پرس و جو برای شاخص ST-Hash

A-جستار نقطه زمانی و مکانی

B- جستار برد زمانی و مکانی

C- جستار دایره زمانی و مکانی

D- رابط جستار مبتنی بر وب سرویس

5- نتایج عملکرد و بحث

A-طرح ذخیره سازی داده های خط سیر در پایگاه داده MongoDB

B- مقایسه عملکرد براساس جستارهای برد زمانی و مکانی

C- مقایسه عملکرد براساس جستارهای دایره زمانی و مکانی

D- مقیاس پذیری روش شاخص گذاری ST-Hash

6- نتیجه گیری ها

چکیده

با توسعه تکنولوژیهای موقعیت یابی و افزایش محبوبیت دستگاههای آگاه از موقعیت، حجم های بزرگی از داده های خط سیر جمع آوری شده اند. به هر حال، مدیریت کارآمد و موثر و دسترسی به داده های خط سیر انبوه به عنوان یک چالش بزرگ باقی می ماند. پایگاه داده (دیتابیس) NoSQL نوظهور یک راهکار نویدبخش برای این چالش فراهم کرده است. اما اغلب پایگاه های داده NoSQL کنونی شاخص گذاری زمانی و مکانی مستقیم داده های خط سیر انبوه را پشتیبانی نمی کنند. این مقاله یک روش شاخص گذاری خط سیر نوین برای تسریع جستارهای (پرس و جوهای) زمانی و مکانی زمان بر داده های خط سیر انبوه ارائه می کند. این روش الگوریتم به طور گسترده مورد استفاده ژئوهش را جهت برآورده سازی الزامات برای هردوی آپدیت های بسیار مکرر و عملیاتهای پرس و جوی خط-سیر یعنی پرس و جوی نقطه ای دقیق و پرس و جوی برد (طیف) زمانی و مکانی بسط می دهد. این شاخص ST-Hash در پایگاه داده NoSQL (MongoDB) پیاده سازی شده و مورد ارزیابی قرار گرفته است. نتایج تجربی نشان می دهند که شاخص ST-Hash پیشنهادی می تواند به طور گسترده عملکرد پرس و جو (جستار) را بهبود ببخشد و مقیاس پذیری عملکرد نیرومند روی داده های ورودی با اندازه های مختلف نشان دهد.

1-مقدمه

در حال حاضر، اغلب دستگاههای موبایل دارای توانایی های موقعیت یابی و ارتباطات بیسیم هستند. آنها می توانند به طور پیوسته خطوط سیر دستگاه را ثبت کنند و به طور دینامیک موقعیت ها را به یک سرور دور افتاده گزارش کنند [1 و 2]. داده های خط سیر عمومی تاریخچه حرکتی اشیاء متحرک همانند اشخاص، وسایل نقلیه یا یک پرواز هستند. آنها دارای مشخصه های زمانی و مکانی معمول هستند. هر داده خط سیر به طور معمول حاوی مختصات دوبعدی/سه بعدی، یک مهر زمانی همراه با آن و یک توالی از خصوصیات و ویژگی ها همانند سرعت، جهت، شتاب، دما و غیره است. داده های خط سیر برای تجزیه و تحلیل پیچیده در میان قلمروهای مختلف از جمله پایش زیست محیطی [1]، مدیریت ترافیک [3]، تجزیه و تحلیل تصویر ماهواره ای [4] و امنیت داخلی مورد استفاده قرار گرفتند.

6- نتیجه گیری ها

مدیریت داده های خط سیر حجم بالا یک مسئولیت چالش برانگیز در زمینه های بسیاری می باشد. تکنولوژی پایگاه داده نوظهور NoSQL یک راهکار برای مدیریت متفاوت این حجم عظیم داده های خط سیر نوید می دهد اما اغلب پایگاههای داده NoSQL کنونی به طور مستقیم از روش شاخص گذاری روی داده های زمانی و مکانی پشتیبانی نمی کنند. برای پرداختن به این مسئله، این مقاله یک روش شاخص گذاری خط سیر نوین برای تسریع پردازش جستارهای زمانی و مکانی ارائه می کند. این روش الگوریتم ژئوهش به طور گسترده مورد استفاده را برای برآورده-سازی الزامات ارتقاء فرکانس بالا و عملیاتهای جستار (پرس و جوی) خط سیر معمول بسط می دهد. راهکار شاخص گذاری ST-Hash در MongoDB، پایگاه داده معمول NoSQL، پیاده سازی شده است. نتایج تجربی نشان می دهند که روش شاخص گذاری پیشنهادی می تواند به طور قابل توجه عملکرد پرس و جو را بهبود بخشد. به طور همزمان، این روش مقیاس پذیری نیرومند براساس اندازه های داده ورودی مختلف نشان می دهد. وقتی که اندازه داده های ورودی هدف از 10 گیگابایت به 80 گیگابایت افزایش می یابد، زمان پرس و جو پایدار باقی می ماند. کار آینده روی پشتیبانی پرس و بیشتر پیچیده تمرکز خواهد کرد و امکانپذیری روش ST-Hash را در سناریوهای بسیار پیچیده همانند کاوش الگو، شبیه سازی ترافیک و غیره ارزیابی خواهد کرد.

Abstract

With the development of positioning technologies and the increasing popularity of location-aware devices, large volumes of trajectory data have been accumulated. However, efficient management and access to massive trajectory data remains a big challenge. The emerging NoSQL database has provided a promising solution for this challenge. But most of the current NoSQL databases do not support direct spatiotemporal indexing of massive trajectory data. This paper presents a novel trajectory indexing method to accelerate time-consuming spatiotemporal queries of massive trajectory data. This method extends the widely-used GeoHash algorithm to satisfy the requirements for both high-frequent updates and common trajectory query operations, e.g. exact point query and spatiotemporal range query. This ST-Hash index was implemented and evaluated in a NoSQL database (MongoDB). Experimental results show that this proposed ST-Hash index can greatly improve the query performance and exhibits robust performance scalability over different input data sizes.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

 :ST-Hash یک شاخص زمانی و مکانی موثر برای داده های خط سیر انبوه در پایگاه داده NoSQL

ST-hash: An efficient spatiotemporal index for massive trajectory data in a NoSQL database

مهاجرت از بانکهای اطلاعاتی رابطه ای به: HBase یک ارزیابی امکان سنجی

Migration from Relational Databases to HBase: A Feasibility Assessment

چکیده

1- مقدمه

2- تعاریف اصلی

2-1 پایگاه‌های داده‌ای NoSQL

2-2 HBase

2-3 MapReduce

3- جبر رابطه‌ای در HBase

3-1 مجموعه‌ی اجتماع

3-2 ضرب کارتزین

3-3 اشتراک

3-4 انتخاب

3-5 طرح‌ریزی

3-6 اتصال θ و هم‌اتصال

3-7 اتصال طبیعی

3-8 تقسیم

4- عملگرهای HBase

4-1 گرفتن

4-2 گروه‌بندی درجه دوم

4-3 تابع تراکم

4-4 پیوستن

5- نتیجه‌گیری و کار آینده

چکیده

اخیرا پایگاه‌های داده‌‌ای رابطه‌ای به‌عنوان مرکز اطلاعات سیستم شرکت‌ها محسوب می‌گردند. در سال‌های اخیر به‌دلیل کارایی و پختگی، مدل رابطه‌ای به یک استاندارد غیررسمی تبدیل شده است. همچنین با توجه به این واقعیت که داده‌ی بعضی از شرکت‌ها یا مؤسسات بسیار بزرگ است، سیستم جدیدی به‌نام NoSQL ابداع شده است که عصر داده‌ی بزرگ متعلق به آن می‌باشد. داده‌ی بزرگ به‌دلیل ظهور خدمات انلاین جدید به‌وجود آمده است که در آن ارتباطات مشتری‌ها افزایش پیدا کرده است و یک داده‌ی دیجیتالی بزرگ طاقت‌فرسا به‌وسیله‌ی ابزارهای تکنیکی مدیریت سنتی ایجاد گردیده است که در این صورت چالش‌های جدیدی برای شرکت‌ها به‌خصوص در زمینه‌ی دسترسی، ذخیره و تحلیل داده به‌وجود می‌آید. در این پژوهش، ما یک مطالعه‌ی امکان‌سنجی مهاجرت از پایگاه‌های داده‌ای رابطه‌ای به پایگاه‌های داده‌ای NoQSL به‌خصوص پایگاه داده HBase را ارائه می‌دهیم؛ این مهاجرت با به‌کار بردن عملگر جبر رابطه‌ای در مدل داده‌ای HBase و پیاده‌سازی این عملگر بر روی HBase با استفاده از تابع‌های بومی این DBMS و همچنین با استفاده از چارچوب MapReduce انجام گرفته است.

1- مقدمه

سیستم‌های مدیریت پایگاه داده‌ا‌ی رابطه‌ای (RDBMS) به‌دلیل قابلیت اطمینان و پختگی، به‌عنوان متداول‌ترین راه‌حل در بسیاری از کاربردها جهت ذخیره و بازیابی کردن داده محسوب می‌شوند. پایگاه‌های داده‌‌ای رابطه‌ای با توجه به مدل Codd (رابطه‌ای) ]1[ کار می‌کنند که نسبت به یک سیستم روابط که فقط از مقادیر داده استفاده می‌کند، دارای امتیاز می‌باشند و این داده‌ها با استفاده از زبان سطحی بالا که SQL نام دارد، دستکاری می‌شوند ]3[، یک تئوری ریاضی جدید در این سیستم پیاده‌سازی می‌گردد که مشابه تئوری مجموعه که به‌وسیله‌ی Codd ارائه شده است، می‌باشد و جبر رابطه‌ای نام دارد ]1[.جبر رابطه‌ای فرآیندی است که می‌تواند بر روی رابطه‌ها به‌کار رود. فرآیندهای رابطه‌ای اجازه می‌دهند که یک رابطه‌ی جدید (جدول) براساس عملگر ابتدایی بر روی دیگر جدول‌ها مانند اجتماع، اشتراک، انتخاب، طرح‌ریزی و پیوستن ایجاد گردد.

5- نتیجه‌گیری و کار آینده

در این پژوهش، ما یک مطالعه‌ی امکان‌سنجی جهت مهاجرت از پایگاه‌های داده‌ای رابطه‌ای به پایگاه‌های داده‌ای HBase را با استفاده از عملگرهای جبری رابطه‌ای در مدل داده‌ی HBase و پیاده‌سازی این عملگرها بر روی HBase با استفاده از توابع بومی این DBMS و همچنین با استفاده از چارچوب MapReduce را ارائه دادیم. براساس بخش‌های فوق، ما می‌توانیم نتیجه‌گیری کنیم که از لحاظ تئوری، مهاجرت بین پایگاه‌های داده‌ای رابطه‌ای و پایگاه‌های داده‌ای HBase، می‌تواند به‌صورت مؤثر به‌کار برده شود. در آینده، ما به مقایسه‌ی نحوه‌ی عملکرد عملگرهای رابطه‌ای متداول (بار حجمی، انتخاب، به‌روز کردن، حذف، پیوستن، گروه‌بندی درجه دوم و توابع تراکم) در پایگاه‌های داده‌ای رابطه‌ای و HBase خیلی بزرگ خواهیم پرداخت.

Abstract

Relational Databases are currently at the heart of information system of the companies. In recent years, the relational model has become de facto standard thanks to its maturity and efficiency. However, the fact that the data of some companies or institutions have become too large, new systems has appeared namely NoSQL which belongs to the Big Data era. Big Data comes due to the emergence of new online services on which customers have become increasingly connected, which creates a large digital data unbearable by the traditional management technical tools, which raise new challenges for companies especially to access, store and analyse data. In this paper we will propose a feasibility study of migration from relational databases to NoSQL databases specifically HBase database, by applying the operations of the relational algebra in HBase data model and explore the implementation of these operations on HBase by using the native functions of this DBMS and also by using the MapReduce Framework.

1- Introduction

Relational database management systems (RDBMS) are the most common solution in many applications for storing and retrieving data due to its maturity and reliability. Relational databases are based on the Codd model (relational) [1] which has privileged a system of relations based solely on the values of the data, and a manipulation of these data using a high level language called SQL [3], implementing a new mathematical theory similar to the set theory proposed by Codd called “relational algebra” [1]. Relational algebra defines operations that can be applied on relations. Relational operations allow to create a new relation (table) from elementary operations on other tables namely union, intersection, selection, projection, and join.

5- Conclusion and Future Work

In this paper we proposed a feasibility study of migrating relational databases to HBase databases by applying the operations of the relational algebra in HBase data model and explore the implementation of these operations on HBase by using the native functions of this DBMS and also byusing the MapReduce Framework. Based on the above sections we can deduce that is theoretically the migration between relational databases and HBase databases can be handled efficiently. In perspective, we envisage to compare the performance of execution of the commons relational operations (bulk load, select, update, delete, join, group by, and aggregate functions) over a large database in relational and in HBase.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

مهاجرت از بانکهای اطلاعاتی رابطه ای به: HBase یک ارزیابی امکان سنجی

Migration from Relational Databases to HBase: A Feasibility Assessment

مهاجرت پایگاه داده اطلاعاتی رابطه ای به پایگاه داده سند محور : تغییر ساختار و انتقال داده ها

Migration of Relational Database to Document-Oriented Database: Structure Denormalization and Data Transformation

چکیده
1- مقدمه
2- مساله مهاجرت داده ها و راهکارها
3- انحراف ساختار داده
A- سطح فیزیکی داده ها
B- اولین سطح منطقی داده ها
C- دومین سطح منطقی داده ها
4- انتقال داده ها
5- نتایج
6- نتیجه گیری ها

چکیده

پایگاه داده های رابطه ای به عنوان فناوری پیشگام در زمینه ذخیره سازی داده ها باقی مانده اند. با این حال، بسیاری از شرکت ها تمایل دارند تا هزینه های عملیاتی را کاهش دهند و کاربردهای مقیاس پذیری را ایجاد کنند که از فناوری های رایانش ابری استفاده می کنند. استفاده از پایگاه داده NoSQL یکی از راهکارهای ممکن است و پیش بینی می شود که بازار پایگاه داده های NoSQL با نرخ رشد مرکب سالانه (CAGR) به میزان تقریباً 50 درصد نسبت به پنج سال آینده رشد کند. این مقاله راهکاری برای مهاجرت سریع داده ها از یک پایگاه داده رابطه ای به یک پایگاه داده سند محور ارائه می کند. ما دو سطح منطقی نیمه خودکار را بر روی داده های فیزیکی ایجد کرده ایم. کاربران می توانند مدل تولید شده داده های منطقی را اصلاح کنند و قالب مهاجرت داده ها را برای هر سند مورد نیاز پیکربندی نمایند. ویژگی های مهاجرت داده ها در داخل مرورگر پایگاه داده ارتباطی به نام DigiBrowser پیاده سازی می شود. پایگاه داده واقعی بیماران به پایگاه داده Clasterpoint مهاجرت کرده است. روش پیشنهادی ابزارهایی را برای دستابی به حداقل اثبات مفهوم برای راهکار جدید پایگاه داده سند محور ارائه می کند.

6- نتیجه گیری ها

مهاجرت داده ها از یک پایگاه داده رابطه ای به یک پایگاه داده سند محور به عنوان یک فعالیت قابل استفاده است. ما ویژگی های تبدیل داده ها را در ابزار مرور پایگاه داده رابطه ای به نام DigiBrowser گنجانده ایم. توسعه دهندگان پایگاه داده سند محور Clusterpoint ابزار DigiBrowser را تایید کرده اند و پایگاه داده بیماران را به 1.5 سند بیمار در دو روز تبدیل کرده اند. متخصصان IT با پایگاه داده ارائه شده آشنا نبودند و مجبور بودند پایگاه داده را با ابزار DigiBrowser مورد بررسی قرار دهند پیش از این که مدل منطقی داده ها را ایجاد کنند. اگر پایگاه داده رابطه ای عظیم نباشد، آنگاه امکان مهاجرت پایگاه داده به صورت روزانه وجود دارد. پایگاه داده NoSQL می توان سرویس های بیشتری را برای سیستم های داده همانند جستجو و نمایش بهتر داده ها فراهم کند. مطالعات بیشتری برای بهبود روش های ارائه شده می بایست انجام شود. الگوریتم های جدیدی برای شناسایی انواع جداول، تعریف ساختار سند، انتخاب فیلدها برای مهاجرت و شکل گیری اسناد مورد هدف می بایست ایجاد شود.

Abstract

Relational databases remain the leading data storage technology. Nevertheless, many companies want to reduce operating expenses, to make scalable applications that use cloud computing technologies. Use of NoSQL database is one of the possible solutions, and it is forecasted that the NoSQL market will be growing at a CAGR of approximately 50 percent over the next five years. The paper offers a solution for quick data migration from a relational database into a document-oriented database. We have created semi-automatically two logical levels over physical data. Users can refine generated logical data model and configure data migration template for each needed document. Data migration features are implemented into relational database browser Dig Browser. Real patients’ database was migrated to Clasterpoint database. The offered approach provides means to obtain at least proof-of-concept for new document-oriented database solution in a couple of days.

VI- CONCLUSIONS

The offered data migration from a relational database into the document-oriented database can be used in practice. We included data conversion features into relational database browsing tool DigiBrowser. Developers of documentoriented database Clusterpoint approbated DigiBrowser and converted legacy patients’ database to 1.5 million patients’ documents in a couple of days. IT specialists were not familiar with the given database and were forced to explore the database by DigiBrowser before creating the logical data model and defining of converting templates. If the relational database is not huge, it is possible make migration of the relational database on a daily basis. NoSQL database can provide additional services for the legacy system such as better information searching and presentation. Further studies have to be done to improve given methods. Various new algorithms might be created for recognizing table types, defining document structure, choosing fields for migration, and forming target documents.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

مهاجرت پایگاه داده اطلاعاتی رابطه ای به پایگاه داده سند محور : تغییر ساختار و انتقال داده ها

Migration of Relational Database to Document-Oriented Database: Structure Denormalization and Data Transformation