دانلود ترجمه مقاله تحلیل تشخیصی برای شناسایی داده های پرت در تجزیه و تحلیل کلان داده ها (ساینس دایرکت – الزویر ۲۰۲۲) (ترجمه ویژه – طلایی ⭐️⭐️⭐️)

تحلیل تشخیصی برای شناسایی داده های پرت در تجزیه و تحلیل کلان داده ها

Diagnostic analysis for outlier detection in big data analytics

چکیده
۱- مقدمه
۲- مرور پیشینه
۳- تشخیص کیفیت داده ها
۴- بحث
۵- نتیجه گیری
منابع

چکیده

     به تازگی تجزیه و تحلیل کلان داده ها به یکی از موضوعات نوپدیدار در حوزه ی بازرگانی تبدیل شده است. داده ها گردآوری، پردازش، و تحلیل می شوند تا بینش های سودمندی درباره ی سازمان به دست دهند. تجزیه و تحلیل کلان داده ها از این قابلیت برخوردار است تا کیفیت زندگی را بهبود ببخشد و به دستیابی به آرمان های توسعه ی پایدار (SDG) کمک کند. برای اطمینان از تحقق آرمان های توسعه ی پایدار، ما باید با استفاده از داده های موجود، آن آرمان ها را برآورده کنیم و مسئولیت پذیری را تضمین نماییم. با وجود این، کیفیت داده اغلب در هنگام سروکار داشتن با داده ها نادیده گرفته می شود. هر گونه خطایی که در مجموعه  داده پدیدار می شود می بایستی به درستی حل و فصل شود تا بدین وسیله اطمینان حاصل کنیم که تحلیل ارائه شده درست و قابل اطمینان است. در این مقاله، ما به مفهوم تشخیص کیفیت داده پرداخته ایم تا داده های پرت پدیدار شده در مجموعه داده ها را شناسایی نمایم. علت وجود داده-های پرت نیز مورد بحث قرار می گیرد تا بهبودهای بالقوه ای را که می توان در مجموعه داده اعمال کرد، شناسایی کنیم. افزون بر این، توصیه هایی برای بهبود کیفیت داده ها و سامانه های گردآوری داده ها فراهم خواهد شد.

مرور پیشینه
تعریف کلان داده
     به طور کلی، کلان داده به مجموعه داده های بزرگ و پیچیده اشاره دارد که اغلب برای تحلیل پیش بینی کننده مورد استفاده قرار می گیرند. کلان داده اصطلاحی است که به داده های دیجیتال گسترده، ناهمگون، و اغلب ساخت نیافته مربوط می شود که رسیدگی به آن ها با ابزارها و تکنیک های سنتی مدیریت داده دشوار است [۹]. کلان داده برای گردآوری، ذخیره سازی و مدیریت داده ها از طریق تکنیک ها و برنامه های تحلیلی پیشرفته طراحی شده است. رشد شتابان داده ها فرصت های تجاری تازه ای پدید می آورد اگر داده ها به درستی گردآوری و مدیریت شوند. با وجود این، آماده سازی داده ها بسیار چالش آمیز و زمان بر است، چون حجم و تنوع داده ها در سال های اخیر رو به افزایش بوده است [۱۰]. داده های گردآوری شده نخست باید پردازش شوند تا اطمینان پذیری آن ها پیش از آن که تجزیه و تحلیل بتواند انجام پذیرد، تضمین شود. این گام حیاتی بر نتیجه تأثیر خواهد گذاشت اگر از داده های غیرقابل اتکا برای تحلیل استفاده شود. بنابراین، پاکسازی داده ها فرایندی حیاتی است تا اطمینان حاصل شود که داده از هر گونه خطا مبرا هستند. کلان داده ها را به طور کلی می توان به پنج بُعد عمده، با نام ۵V’s، تقسیم کرد. جدول ۱ توضیحات معیارهای کلان داده ها را نشان می دهد.

کیفیت داده
     درونداد بیهوده، برونداد بیهوده’ همواره در هر سازمانی رخ می دهد. داده های کثیف گردآوری، ذخیره سازی، پردازش، و تحلیل می شوند، اما همچنان تصمیم نادرستی فراهم می آورند، که منجر به زیان هایی برای یک سازمان تجاری می شوند. کیفیت داده نگرانی اصلی پیش روی بیش تر سازمان ها است. این موضوع به دلیل نگهداری نامناسب پدید می آید و به شکلی غیرمستقیم باعث تولید ناهمسازی در پایگاه داده خواهد شد [۱۱]. کیفیت داده به یکی از مهم ترین موضوعات مدیریت داده تبدیل شده است چرا که داده ها مربوط به منابع گوناگون و در قالب-های گوناگون به طور گسترده ای در دسترس هستند [۱۲].

کیفیت داده از این نظر اهمیت دارد که استفاده پذیری داده ها تضمین شود. در این پژوهش، مجموعه داده ی قیمت های جهانی غذا که از منبع تبادل داده ی انسان دوستانه [۱۳] به دست می آیند برای اهداف تحلیل مورد استفاده قرار خواهند گرفت. این مجموعه داده از سوی برنامه ی جهانی غذا (WFP) گردآوری می شود جایی که اطلاعات قیمت غذای ۷۵ کشور در آن گنجانده شده است. نمایی اجمالی از این مجموعه داده در شکل ۱ نشان داده شده است. این مجموعه داده شامل فهرستی از ۱۰۴۸۵۷۶ بایگانی (رکورد) و ۱۶ ستون است که شامل مشخصات زیر است؛ شناسه ی کشور، نام کشور، شناسه ی ایالت یا استان، نام ایالت یا استان، شناسه ی بازار، نام بازار، شناسه ی غذا، نام غذا، شناسه ی ارز، نام ارز، شناسه ی نوع، نام نوع، شناساسه ی مقیاس واحد، نام مقیاس واحد، ماه، سال، قیمت و منبع کالا. نوسانات قیمت و افزایش های مقطعی قیمت ممکن است بر مردم تأثیر بگذارند به ویژه کسانی که اهل کشورهای کم درآمد و دارای کمبود غذا هستند، چون آن ها ناامنی غذایی، گرسنگی، و شمار افراد نیازمند کمک غذایی را افزایش می دهند [۱۴].