استحکام شبکه های عصبی کانولوشن در تشخیص ضایعات پوستی رنگدانه ای پوست

Robustness of convolutional neural networks in recognition of pigmented skin lesions

چکیده
1 مقدمه
2 مواد و روش ها
1-2 طرح تحقیق و مطالعه
2-2 مجموعه داده ها
3-2 پیشرفت و بسط طبقه بندی کننده
4-2 روش هایی برای کاهش شکنندگی و عدم انعطاف
5-2 آنالیز و تحلیل
3 نتایج
1-3 عملکرد پایه و مبنا و شکنندگی (عدم انعطاف)
2-3 اثربخشی روش های امتحان شده روی تغییرات مصنوعی
3-3 اثربخشی روش های تست و امتحان شده روی تغییرات طبیعی
4 بحث و گفتگو
1-4 کاربردها و مفاهیم عملی
2-4 محدودیت ها
5 نتیجه گیری
منابع

چکیده
پیش زمینه: نیاز پایه و اساسی برای سیستم های آنالیز تصویر مبتنی بر هوش مصنوعی (AI)، که می بایست در طب بالینی ادغام شوند، از استواری و قابلیت اطمینان بالایی برخوردار است. تغییرات جزئی و اندک در نحوه ی بدست آوردن آن تصاویر، برای مثال، در طول غربالگری روتین سرطان پوست، نباید تشخیص چنین سیستم های کمکی (سیستم های کمک یار پزشک) را تغییر دهد.
هدف: هدف کمی سازی و سنجش این است که درهم ریختگی ها و تغییرات جزئی تصویر تا چه میزان طبقه بندی ضایعه ی پوستی به واسطه ی شبکه ی عصبی پیچشی (کانولوشن) (CNN) را تحت تأثیر قرار می دهند و همچنین بررسی سه راه حل ممکن و عملی برای این مشکل است (داده افزایی اضافی، افزایش زمان تست، خوشنماسازی).
روش ها: ما سه معماری رایج و متداول CNN را برای ایجاد تمایز بین تصاویر درموسکوپی ملانوما یا خال سرطانی و خال های مادرزادی تمرین کرده و به کار بردیم. متعاقبا، عملکرد و حساسیت آنها نسبت به تغییرات جزئی (شکنندگی و عدم انعطاف) بر روی دو مجموعه ی امتحانی متمایز با تصاویر متعدد برای هر ضایعه تست و امتحان شد. برای مجموعه ی نخست، تغییرات تصاویر، مثل چرخش یا بزرگنمایی (زوم)، به صورت مصنوعی ایجاد شدند. مجموعه ی دوم تغییرات طبیعی را دربرمیگرفت که از چندین عکس گرفته شده از همان ضایعات ناشی می شدند.
نتایج: تمامی معماری ها شکنندگی و عدم انعطاف در مجموعه امتحانی مصنوعی و طبیعی را نشان دادند. سه روش بررسی شده قادر به کاهش شکنندگی و عدم انعطاف تا درجات مختلف بودند درحالیکه همچنان عملکرد را حفظ می کردند. ارتقا و بهبود دیده شده برای مجموعه امتحانی مصنوعی بیشتر از طبیعی بود، جایی که پیشرفت ها جزئی و اندک بودند.
نتیجه گیری: تغییرات جزئی تصاویر، نسبتا نامشخص برای انسان ها، می توانند روی استواری و قابلیت اطمینان شبکه های عصبی پیچشی (CNNs) متمایز کننده ی ضایعات پوستی تأثیرگذار باشند. این تأثیر را می توان از طریق روش هایی که در اینجا تست و امتحان شده اند کاهش داد، اما نمی توان آن را کاملا حذف و برطرف کرد. لذا، تحقیقات بیشتر به منظور حفظ و تقویت عملکرد طبقه بندی کننده های (جداکننده های) هوش مصنوعی (AI) در جهت تسهیل انتقال چنین سیستم هایی به کلینیک و درمانگاه مورد نیاز می باشد.

5- نتیجه گیری

تغییرات جزئی و اندک تصویر، که برای انسان ها تاحدودی نامعلوم و نامشخص هستند، می توانند روی سطح اطمینان و تشخیص شبکه های عصبی پیچشی متمایزکننده ی ضایعات پوستی تأثیر بگذارند. این تأثیر با استفاده از روش هایی که در اینجا تست و امتحان شدند کاهش یافت اما کاملا برطرف نشد. بنابراین، ما می خواهیم به متخصصان و دست اندرکاران یادگیری عمیق و پزشکان حوزه ی درماتولوژی بلکه پزشکان به طور کلی یادآوری کنیم که شکنندگی و عدم انعطاف می بایست صراحتا در رأس کار قرار گرفته و به عنوان هدف مد نظر قرار بگیرد و به منظر تسهیل انتقال از آزمایشگاه به کلینیک باید بر آن غلبه کرد.

Abstract

Background A basic requirement for artificial intelligence (AI)–based image analysis systems, which are to be integrated into clinical practice, is a high robustness. Minor changes in how those images are acquired, for example, during routine skin cancer screening, should not change the diagnosis of such assistance systems.

Objective To quantify to what extent minor image perturbations affect the convolutional neural network (CNN)–mediated skin lesion classification and to evaluate three possible solutions for this problem (additional data augmentation, test-time augmentation, anti-aliasing).

Methods We trained three commonly used CNN architectures to differentiate between dermoscopic melanoma and nevus images. Subsequently, their performance and susceptibility to minor changes (‘brittleness’) was tested on two distinct test sets with multiple images per lesion. For the first set, image changes, such as rotations or zooms, were generated artificially. The second set contained natural changes that stemmed from multiple photographs taken of the same lesions.

Results All architectures exhibited brittleness on the artificial and natural test set. The three reviewed methods were able to decrease brittleness to varying degrees while still maintaining performance. The observed improvement was greater for the artificial than for the natural test set, where enhancements were minor.

Conclusions Minor image changes, relatively inconspicuous for humans, can have an effect on the robustness of CNNs differentiating skin lesions. By the methods tested here, this effect can be reduced, but not fully eliminated. Thus, further research to sustain the performance of AI classifiers is needed to facilitate the translation of such systems into the clinic.

5. Conclusions

Minor image changes, relatively inconspicuous for humans, can have an effect on the confidence and diagnosis of CNNs differentiating skin lesions. Using the methods tested here, this effect was reduced but not fully eliminated. Therefore, we would like to remind deep learning practitioners and physicians in dermatology but also in medicine in general, that brittleness needs to be explicitly targeted and overcome to facilitate translation from bench-to-bedside.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

استحکام شبکه های عصبی کانولوشن در تشخیص ضایعات پوستی رنگدانه ای پوست

Robustness of convolutional neural networks in recognition of pigmented skin lesions

روش های شبکه عصبی برای حل مساله فروشندگان دوره گرد

The neural network methods for solving Traveling Salesman Problem

چکیده
1-مقدمه
2-روش های شبکه عصبی برای حل TSP
نتایج
منابع

چکیده
     مساله فروشندگان دوره گرد یک مسئله مورد توجه در زمان حال است. شبکه عصبی می تواند برای حل مسائل بهینه سازی ترکیبی مورد استفاده قرار گیرد. در سال‌های اخیر روش‌های شبکه عصبی زیادی برای حل TSP وجود داشته اند که گامی بزرگ به سمت حل مسائل بهینه‌سازی ترکیبی برداشته است. این مقاله به بررسی روش های شبکه های عصبی برای حل TSP در سال‌های اخیر می‌پردازد که شامل شبکه عصبی Hopefield، شبکه عصبی گراف و شبکه عصبی یادگیری تقویتی است. استفاده از شبکه عصبی برای حل TSP می‌تواند به طور موثری صحت راه حل تقریبی را بهبود بخشد و در نهایت دورنمایی از حل TSP در آینده را ارائه کردیم.

روش های شبکه عصبی برای حل TSP
     شبکه عصبی الگوریتمی از یادگیری ماشینی است. این روش می‌تواند TSP را با استفاده از یادگیری ماشینی حل کند که شبکه های عصبی را با ساختارهای مختلف ارتقا داده و محل دقیق تر TSP را آموزش می دهد و الگوریتم حل TSP را با دنبال کردن انواع شبکه های عصبی معرفی خواهیم کرد.

شبکه عصبی Hopefield
     در سال ۱۹۸۵ یک شبکه کاملا متصل را طراحی کرد که بعداً به عنوان شبکه عصبی Hopefield شناخته شد[14]. او TSP ۱۰ شهر و ۳۰ شهر را شبیه سازی کرد.علاوه بر آن این اولین الگوریتمی بود که از شبکه عصبی برای حل مساله بهینه سازی TSP استفاده کرد. همانطور که در شکل ۱ نشان داده شده، ایده الگوریتم تبدیل تابع هدف به تابع انرژی در شبکه عصبی و به حداقل رساندن تابع انرژی در فرایند اجرای شبکه عصبی برای به دست آوردن راه حل بهینه است. Hopefield تابع انرژی و معادلات حرکت مساله های TSP را در معادله ۵-۶ تعریف می کند.

شبکه عصبی گراف
     گراف دارای یک ساختار پیچیده است و نمی‌توان به راحتی شبکه عصبی را با داده‌های گراف تلفیق کرد. در سال‌های اخیر تعداد زیادی از مطالعات به بررسی شبکه عصبی گراف اختصاص داده شده است .ایده اصلی شبکه عصبی گراف انبوه سازی اطلاعات هر گره و گره های اطراف آن است و شبکه عصبی گراف به خوبی توانایی حل TSP را دارد.[19]Parates [20]یک شبکه عصبی گراف را ایجاد کرد و مدل را به یک الگوریتم انتقال داده موثر تبدیل کرد. [21]Joshi نیز یک روش عمیق یادگیری غیر هم بسته را پیشنهاد کرد. گراف CONVNET نیز که توسط BEARSON [22]معرفی شد برای تقریب راه‌حل TSP استفاده می شود. ویژگی خاص این روش این است که خروجی احتمال هر لحظه در حال تبدیل شدن به یک راه حل بهینه است و راه حل بهینه با عبور کل TSP توسط جستجو به دست می آید.Hu[23] و همکارانش یک شبکه عصبی گراف متفاوت با دیگر گراف ها را ایجاد کردند که در قسمت رمزگشایی لایه عبوری دو طرفه برای پیش بینی احتمال بازدید شهر بعدی استفاده شد و راه حل بهینه با تلفیق بهترین جستجوی اولیه پیدا شد.

استخراج دانش از شبکه های عصبی عمیق با آنالیز نمودار

Extracting knowledge from Deep Neural Networks through graph analysis

چکیده

1- معرفی

2- پژوهش مربوطه

3- گراف هم کنشی: تعریف و اجرا

4- ارزیابی: توضیح و تفسیر شبکه های عصبی عمیق به وسیله گراف های هم کنشی

1-4 ساخت گراف هم کنشی: مجموعه های داده و معماری های عصبی

2-4 آنالیز ساختار جامعه

3-4 آنالیز مرکزیت

4-4 تصویرسازی گراف های هم کنشی

5- بحث و مراحل بعدی

6- نتیجه گیری

منابع

چکیده

محبوبیت یادگیری عمیق به خاطر توانایی و قابلیت آن برای حل و فصل کردن کارآمد وظایف پیچیده در زمینه ها و حوزه های چالش برانگیز مانند بینایی و بینش رایانه ای و پردازش زبان به طور قابل توجهی افزایش یافته است. علیرغم این موفقیت، فعالیت عصبی سطح پایین که دوباره توسط شبکه های عصبی عمیق تولید شده نمایش فوق العاده قوی از داده ها را ایجاد می کند. این بازنمایی ها و نمایش ها به سختی قابل شناسایی هستند و نمی توانند مستقیما برای درک فرایند تصمیم گیری استفاده شوند. در این مقاله ما کار اکتشافی خودمان را ارائه می دهیم که در آن ما مفهوم هم کنشی گراف را معرفی کرده و پتانسیل آنالیز گراف را برای توضیح و تفسیر بازنمایی ها و نمایش های عمیق بررسی کردیم. هم کنشی گراف همبستگی ها و روابط آماری بین مقادیر فعالسازی نورون ها را کدگذاری کرده و به مشخص کردن رابطه بین جفت های نورون ها در لایه های پنهان و رده ها و گروه های خروجی کمک می کند. برای اعتبارسنجی یافته های خودمان، ارزیابی تجربی را گسترش دادیم تا بتوانیم مجموعه داده ها و مدلهای دارای سطوح پیچیدگی مختلف را درنظر بگیریم. برای هر مجموعه داده درنظرگرفته شده، ما گراف همکنشی را مورد بررسی قرار داده و از آنالیز گراف استفاده می کنیم تا گروه ها و رده های مشابه را شناسایی کنیم، گره های مرکزی را پیدا کنیم و از تصویرسازی گراف استفاده نماییم تا نتایج این آنالیز را بهتر تفسیر کنیم. نتایج ما نشان می دهند که آنالیز گراف می تواند دیدگاه های مهمی را درمورد این موضوع نشان دهد که شبکه های عصبی عمیق (DNNs) چگونه کار می کنند و قابلیت تبیین و توضیح مدلهای یادگیری عمیق را چگونه فراهم می کنند.

1- معرفی

شبکه های عصبی عمیق (DNNs) مدرن می توانند مقادیر زیادی از داده ها را به کار بگیرند تا به طور کارآمد و موثر آموزش داده شوند تا وظایف سخت مانند ترجمه کردن زبان ها و شناسایی اشیا در یک تصویر را انجام دهند [1,2]. شبکه های عصبی عمیق (DNNs) نشان داده اند که به عملکرد خوبی در چنین وظایف پیچیده دست پیدا کرده اند که در آنها روشهای سنتی یادگیری ماشین ممکن است به خاطر ابعاد بالای داده ها موفق نباشند [3]. 

6- نتیجه گیری

در این مقاله ما یک رویکرد جدید برای آنالیز و توضیح کارکردهای داخلی مدلهای یادگیری عمیق به طور رسمی بیان کرده و مورد آزمایش قرار می دهیم. روش پیشنهادی متکی به مفهوم گراف هم کنشی معرفی شده در [12] است و در بخش 3  به طور رسمی بیان می شود که برای استخراج و نمایش دانش از شبکه عصبی عمیق (DNN) آموزش دیده استفاده شده است. در گراف هم کنشی گره ها نشان دهنده نورون ها در شبکه عصبی عمیق (DNN) هستند و روابط وزنی همبستگی آماری بین مقادیر فعالسازی آنها را نشان می دهند. این نمایش نورون ها را در هر لایه ای از شبکه عصبی، از جمله لایه های مخفی (متراکم و پیچشی)، به لایه خارجی متصل می کند.

Abstract

The popularity of deep learning has increased tremendously in recent years due to its ability to efficiently solve complex tasks in challenging areas such as computer vision and language processing. Despite this success, low-level neural activity reproduced by Deep Neural Networks (DNNs) generates extremely rich representations of the data. These representations are difficult to characterise and cannot be directly used to understand the decision process. In this paper we build upon our exploratory work where we introduced the concept of a co-activation graph and investigated the potential of graph analysis for explaining deep representations. The co-activation graph encodes statistical correlations between neurons’ activation values and therefore helps to characterise the relationship between pairs of neurons in the hidden layers and output classes. To confirm the validity of our findings, our experimental evaluation is extended to consider datasets and models with different levels of complexity. For each of the considered datasets we explore the co-activation graph and use graph analysis to detect similar classes, find central nodes and use graph visualisation to better interpret the outcomes of the analysis. Our results show that graph analysis can reveal important insights into how DNNs work and enable partial explainability of deep learning models.

1. Introduction

Modern Deep Neural Networks (DNNs) can leverage large amounts of data to be efficiently trained to perform hard tasks such as translating languages and identifying objects in an image [1,2]. DNNs have been shown to achieve good performance in such complex tasks where traditional machine learning methods may fail due to the high dimensionality of the data [3].

6. Conclusion

In this paper we formalise and experiment on a novel approach to analyse and explain the inner workings of deep learning models. The proposed methodology relies on the notion of coactivation graph introduced in [12] and formalised in Section 3 to extract and represent knowledge from a trained Deep Neural Network (DNN). In the co-activation graph nodes represent neurons in a DNN and weighted relationships indicate a statistical correlation between their activation values. This representation connects neurons in any layer of the neural network, including hidden (convolutional and dense) layers, with the output layer.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

استخراج دانش از شبکه های عصبی عمیق با آنالیز نمودار

Extracting knowledge from Deep Neural Networks through graph analysis

پیش بینی مسافران حمل و نقل عمومی: مدیریت سیستم های اطلاعاتی با استفاده از معماری CNN و LSTM

Forecasting Public Transport Ridership: Management of Information Systems using CNN and LSTM Architectures

چکیده

1. مقدمه

1.1. بیان مسئله و پیش زمینه

1.2. حیطه پوشش پژوهش و پرسش پژوهش

2. مرور پیشینه تحقیقاتی مربوطه

2.1. شبکه های عصبی پیچشی

2.2. شبکه های عصبی حافظه کوتاه مدت ماندگار و شبکه های عصبی ترکیبی

3. داده ها

4. روش پژوهش

4.1. توصیف «ورودی تصویر» برای شبکه های عصبی پیچشی

4.2. تولید مثال و ترکیب مجموعه های آموزش، اعتبارسنجی و آزمون

4.3. معماری مدل شبکه عصبی

4.4. رگرسیون کمترین مربعات معمولی

5. نتایج

5.1. خطای مجذور میانگین و دقت

5.2. پیش بینی

6. بحث

منابع

چکیده

این مقاله پژوهشی، چارچوبی را برای ارائه و تحلیل کارآمد ابعاد مکانی و زمانی داده های پانلی ارائه می کند. این چارچوب از طریق ارائه ی داده ها به صورت ماتریس تصویری مکانی-زمانی میسر می شود و به مطالعه ی موردی درخصوص پیش بینی تعداد مسافران سیستم حمل و نقل عمومی اعمال می شود. عملکرد نسبی زیرمجموعه ی تکنیک های یادگیری ماشین بررسی می شود و بر شبکه های عصبی پیچشی و حافظه ی کوتاه مدت ماندگار تمرکز می شود. علاوه بر شبکه های عصبی پیچشی-حافظه ی کوتاه مدت ماندگار متوالی ، شبکه های عصبی پیچشی-حافظه ی کوتاه مدت ماندگار موازی ، شبکه های عصبی پیچشی-حافظه ی کوتاه مدت ماندگار متوالی افزوده  نیز بررسی می شوند. تمام مدل ها برمبنای اثرات ثابت رگرسیون کمترین مربع معمولی آزمایش شدند. داده های مربوط به سابقه ی تعداد مسافران در چارچوبی در یک پروژه ارائه شده اند که بر اثری که خط متروی جدید بر تعداد مسافران داشت، تمرکز می کرد. نتایج نشان می دهد که پیش بینی های انجام شده توسط مدل شبکه های عصبی پیچشی-حافظه ی کوتاه مدت ماندگار، بهترین عملکرد را داشت و این یافته حاکی از آن است که چارچوب پیشنهادی را می توان در اپلیکیشن هایی به کار برد که مستلزم مدلسازی دقیق تقاضا برای سیستم حمل و نقل عمومی هستند. فرآیند افزایش توصیفی شبکه های عصبی پیچشی-حافظه ی کوتاه مدت ماندگار متوالی را می توان برای معرفی متغیرهای برونزا در این مدل استفاده کرد. این متغیرها موجب می شوند که این مدل در محیط های زندگی واقعی قابلیت تبیین و پابرجایی بیشتری داشته باشد. 

1. مقدمه

1.1. بیان مسئله و پیش زمینه

در بستر سیستم حمل و نقل عمومی، پیش بینی تعداد مسافران برای عملیات های کسب و کار ضروری است. داشتن اطلاعات درخصوص تقاضای مسافرت، به شرکت های سیستم حمل و نقل عمومی اجازه می دهد تا سیستم حمل و نقل را کارآمدتر سازند و بهبود سطح خدمات برای مشتریان و حذف هزینه های غیرضروری کمک شود (13، 1). در اختیار داشتن مدلی کارآمد درخصوص نحوه ی تغییر تقاضای سیستم حمل و نقل عمومی، برای برنامه ریزی آینده ضروری است و مسیرهای جدید، برنامه های کارآمدتر و بهینه سازی عملیات های حمل و نقل (برای مثال، تعداد اتوبوس های خطوط خاص) را معرفی می کند (3، 5). 

6. بحث

به نظر می رسد که شبکه های عصبی پیچشی-حافظه ی کوتاه مدت ماندگار متوالی، بهترین مدل از نظر عملکرد در مجموعه ی آزمون هستند. با این حال، امتیاز آن کاملاً به امتیاز مدل شبکه های عصبی پیچشی-حافظه ی کوتاه مدت ماندگار افزوده ی پیشنهادی نزدیک است. علاوه براین، از منظر سرعت همگرایی، مدل شبکه های عصبی پیچشی-حافظه ی کوتاه مدت ماندگار متوالی، از نظر زمان ها (دوره های) لازم برای همخوانی با مجموعه ی آموزش سریعترین مدل هستند.

Abstract

This research paper provides a framework for the efficient representation and analysis of both spatial and temporal dimensions of panel data. This is achieved by representing the data as spatio-temporal image-matrix, and applied to a case study on forecasting public transport ridership. The relative performance of a subset of machine learning techniques is examined, focusing on Convo-lutional Neural Networks (CNN) and Long Short-Term Memory (LSTM) neural networks. Furthermore Sequential CNN-LSTM, Parallel CNN-LSTM, Augmented Sequential CNN-LSTM are explored. All models are benchmarked against a Fixed Effects Ordinary Least Squares regression. Historical ridership data has been provided in the framework of a project focusing on the impact that the opening of a new metro line had on ridership. Results show that the forecasts produced by the Sequential CNN-LSTM model performed best and suggest that the proposed framework could be utilised in applications requiring accurate modelling of demand for public transport. The described augmentation process of Sequential CNN-LSTM could be used to introduce exogenous variables into the model, potentially making the model more explainable and robust in real-life settings.

1. Introduction

1.1. Problem statement and background

In the context of public transport, forecasting ridership is essential for business operations. Knowing the demand for travel allows public transport companies to make the transportation system more efficient, and helps to proactively improve the level of service for their customers and eliminate unnecessary costs [13, 1]. Having an effective model of how demand for public transport changes over time is important for future planning, introducing new routes, more efficient schedules, and optimising transportation operations (e.g. frequency of buses on a certain line) [3, 5].

6. Discussion

It appears that Sequential CNN-LSTM is the best model in terms of performance on the test set. Its score, however, is quite close to that of the suggested Augmented CNN-LSTM model. Moreover, in terms of convergence speed, the Sequential CNN-LSTM model is the fastest in terms of passes (epochs) required to fit the training set.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

پیش بینی مسافران حمل و نقل عمومی: مدیریت سیستم های اطلاعاتی با استفاده از معماری CNN و LSTM

Forecasting Public Transport Ridership: Management of Information Systems using CNN and LSTM Architectures

پیش بینی زلزله به صورت مکانی و زمانی صریح با استفاده از شبکه عصبی عمیق

Spatiotemporally explicit earthquake prediction using deep neural network

چکیده

۱. مقدمه

۲. الگوریتم‌های یادگیری ماشین

۳. روش‌شناسی

۳.۱ مطالعه موردی

۳.۲ داده‌ها

۳. ۳ متغیرهای وابسته و مستقل

۳.۴. مدل پیش‌بینی

۳.۵. ارزیابی

4. نتایج و بحث

۵. نتیجه‌گیری

منابع

چکیده

به دلیل  وجود پیچیدگی هایی در پیش‌بینی زلزله‌های آینده، الگوریتم های یادگیری ماشینی توسط چندین محقق برای افزایش در دقت پیش‌بینی مورد استفاده قرار گرفته‌ است. علاوه بر این، متغیرهایی هم با همبستگی کمتر به طور معمول در تحلیل ویژگی حذف شده و وارد مدل نشدند. در کل این مطالعه به معرفی و بررسی اثر پارامترهای فضایی بر عملکرد چهار الگوریتم ML برای پیش‌بینی بزرگی در زلزله‌های آینده در ایران به عنوان یکی از کشورهای زلزله‌خیز جهان می‌پردازد. ما عملکرد روش‌های معمول مانند، بردار پشتیبان ماشین (‏SVM)‏، درخت تصمیم (‏DT)‏و شبکه عصبی کم ‌عمق (‏SNN)‏را با روش شبکه عصبی عمیق جدید (‏DNN)‏برای پیش‌بینی بزرگای بزرگ‌ترین زلزله در هفته آینده مقایسه کردیم. تحلیل اطلاعات، دقت، حساسیت، مقدار اخباری مثبت، مقدار اخباری منفی، و معیارهای ویژگی برای بررسی نتیجه استفاده از یک پارامتر جدید، به نام چگالی خطا، محاسبه‌ شده با استفاده از تخمین چگالی کرنل و واریانس دو متغیره موران I، بر روی عملکرد پیش‌بینی زلزله، در مقایسه با دیگر پارامترهای معمول مورد استفاده، مورد استفاده قرار گرفتند. ما همچنین رفتار این چهار مدل را در هنگام برخورد با ترکیب‌های مختلف پارامترها و طبقات مختلف بزرگی زلزله مورد بحث قرار دادیم. نتایج نشان‌دهنده عملکرد امیدوارکننده پارامتر پیشنهادی برای زلزله‌های با بزرگی بالا، به خصوص با استفاده از روش‌های مرسوم بردار پشتیبان ماشین SVM و شبکه عصبی عمیق جدید DNN است.

۱. مقدمه

زلزله همواره یک فاجعه طبیعی مخرب است که تقریبا بدون هیچ هشداری قبلی رخ می‌دهد. این امر تلفات و خسارات مالی زیادی را به جوامع انسانی وارد می‌کند. علاوه بر این، می‌تواند اثرات جانبی زیست‌محیطی متعددی از قبیل گسیختگی سطحی گسل و روان گرایی خاک و یا انواع دیگری از بلایا مانند سونامی ، لغزش زمین و آتش‌سوزی را تحمیل کند. با توجه به پتانسیل بالای تخریب و مرگ زلزله و همچنین اثرات مستقیم و غیر مستقیم زلزله، محققان به شدت بر روی ایده پیشنهادی روش‌های مختلف برای پیش‌بینی زلزله‏ کار کرده‌اند. پیش‌بینی به موقع و قابل‌اعتماد می‌تواند امکان در نظر گرفتن اقدامات پیشگیرانه برای کاهش اثرات مخرب زلزله‌های قدرتمند را فراهم کند. علاوه بر این، چنین پیش‌بینی می‌تواند سطح آمادگی عمومی را افزایش دهد. یک پیش‌بینی موفق همواره موقعیت جغرافیایی، زمان و بزرگی زلزله را تعیین می‌کند [‏ ۱۲ ]‏. چنین پیش‌بینی‌های دقیقی می‌تواند جان بسیاری از انسان ها و  نیز مقدار زیادی از منابع را نجات دهد. با این حال، علی‌رغم پیشنهاد روش‌های مختلف با استفاده از پارامترهای ورودی مختلف، چنین پیش‌بینی‌های موفقی در میان تحقیقات گذشته بسیار کمیاب است [‏ ۱۳ ]‏.

Abstract

Due to the complexity of predicting future earthquakes, machine learning algorithms have been used by several researchers to increase the Accuracy of the forecast. However, the concentration of previous studies has chiefly been on the temporal rather than spatial parameters. Additionally, the less correlated variables were typically eliminated in the feature analysis and did not enter the model. This study introduces and investigates the effect of spatial parameters on four ML algorithms’ performance for predicting the magnitude of future earthquakes in Iran as one of the most earthquake-prone countries in the world. We compared the performances of conventional methods of Support Vector Machine (SVM), Decision Tree (DT), and a Shallow Neural Network (SNN) with the contemporary Deep Neural Network (DNN) method for predicting the magnitude of the biggest upcoming earthquake in the next week. Information Gain analysis, Accuracy, Sensitivity, Positive Predictive Value, Negative Predictive Value, and Specificity measures were exploited to investigate the outcome of using a new parameter, called Fault Density, calculated using Kernel Density Estimation and Bivariate Moran’s I, on the performance of the earthquake prediction, in comparison to other commonly used parameters. We discussed the behavior of the four models while dealing with different combinations of parameters and different classes of earthquake magnitudes. The results showed promising performance of the proposed parameter for the earthquakes of high magnitudes, especially using SVM and DNN models.

1. Introduction

Earthquake is a destructive natural disaster that occurs almost without any warning in advance. It inflicts plenty of casualties and financial loss to human societies. Besides, it can impose several environmental side effects such as surface fault rupture [1] and soil liquefication [2] or initiates other types of disasters like tsunamis [3], landslide [4], and fires [5]. Due to the high potential of destruction and death [6,7] as well as the direct and indirect effects of earthquakes [8], researchers have been vigorously working on the idea of proposing different approaches for earthquake prediction [9–11]. Timely and reliable forecasting can provide the possibility to consider preventive measures for mitigating the devastating effects of powerful earthquakes. Besides, such a forecast would be able to increase the level of public preparedness. A successful forecast determines the geographical location, the time, and the magnitude of an earthquake [12]. Such predictions can save many lives and vast amounts of resources. However, despite proposing various methods using different input parameters, such successful forecasts are rare amongst the past research [13].

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

پیش بینی زلزله به صورت مکانی و زمانی صریح با استفاده از شبکه عصبی عمیق

Spatiotemporally explicit earthquake prediction using deep neural network

شبکه عصبی عمیق برای سیستم معادلات دیفرانسیل معمولی: الگوریتم برداری و شبیه سازی

Deep neural network for system of ordinary differential equations: Vectorized algorithm and simulation

چکیده

1. مقدمه

2. فعالیتهای مرتبط

2.1 شبکه های عصبی عمیق

2.2. فعالیتهای مرتبط با حل معادلات دیفرانسیلی

3. سیستم معادله دیفرانسیل معمولی

4.شبکه عصبی عمیق برای سیستم ODEs

4.1 پیش به سوی انتشار

4.2. الگوریتم برداری

5. پیاده سازی و مقایسه

5.1 آزمایش روی شبکه

5.2. راه حل های عددی :

5.3 امتیازات ANN نسبت به روش های RK4

6. نتیجه گیری و چشم انداز

منابع

چکیده

هدف این تحقیق استفاده از شبکه های عصبی عمیق برای حل سیستم معادلات دیفرانسیل معمولی است ما با استفاده از کد پیتون یک الگوریتم برداری را ساخته و اجرا کردیم ،همچنین ما آزمایشهای متعددی را انجام دادیم تا بهترین معماری عصبی را انتخاب کنیم  .برای یادگیری شبکه عصبی ما از بروزترین روش در کمترین زمان ممکن استفاده کردیم نهایتا ما روش خودمان را با یکی از متدهای مرسوم عددی RK4 مقایسه کردیم ما همچنین نشان دادیم شبکه عصبی می تواند دقت بیشتری برای ماتریس با اعداد کوچکتر فراهم کند .

1. مقدمه 

شبکه عصبی عمیق (DNN) توجهات فراوانی را در خصوص حل مسائل مهندسی به خود معطوف کرده است .سیستم معادلات دیفرانسیل معمولی (ODEs) که می تواند پدیده های فیزیکی مختلف را مدل سازی کند از این امتیاز بهره می برد .گرچه روشهای سنتی مرسوم جهت حل سیستم های ODEs وجود دارد اما هر کدام از آنها مزایا و معایب خودشان از نظر دقت ، ثبات،همگرایی و زمان محاسبه و … را دارند .یکی از معروفترین مدل ها RK4 است .این روش یکی از معدود روشهای مناسب جهت حل مسائل حل ناپذیر است 

6. نتیجه گیری و چشم انداز 

در این تحقیق ، ما یک الگوریتم برداری برای حل سیستم های ODE با استفاده از DNN ارائه کردیم. ما آزمایش متفاوتی را با استفاده از کد پایتون انجام دادیم و نتیجه را با استفاده از نمودار شبیه سازی کردیم. ما دیدگاهی در مورد ماهیت معماری مدل بدست آورده ایم. ما دیده ایم که برای برخی از مسائل خاص می توانیم دقت لازم را حتی برای یک نورون واحد در لایه مخفی بدست آوریم. اندازه بیشتر نورون دقت بیشتر ، اما تکرار بیشتر برای یادگیری پارامترها را فراهم می کند. علاوه بر این ، افزایش بدون برنامه ریزی  نورون سفارش نمی شود. بر اساس این مسئله مهم ، فرد باید بهترین اندازه سلولهای عصبی را تعیین کند.

Abstract

This paper is aimed at applying deep artificial neural networks for solving system of ordinary differential equations. We developed a vectorized algorithm and implemented using python code. We conducted different experiments for selecting better neural architecture. For the learning of the neural network, we utilized the adaptive moment minimization method. Finally, we compare the method with one of the traditional numerical methods-Runge–Kutta order four. We have shown that, the artificial neural network could provide better accuracy for smaller numbers of grid points.

1. Introduction

Deep neural network (DNN) has obtained great attention for solving engineering problems. System of ordinary differential equations (ODEs) that can model various physical phenomena could utilize the advantages of using the method. Though there are well established traditional numerical methods for solving systems of ODEs, they have their own advantages and disadvantages in-terms of accuracy, stability, convergence, computation time etc. One of the well known method is the fourth order Runge–Kutta method (RK4). It is among the finite difference methods well suited for non-stiff problems.

6. Conclusions and outlook

In this paper, we presented a vectorized algorithm for solving systems of ODE using DNN. We conducted different experiment using python code and simulated the result using graphs. We have obtained some insight on the nature of the architecture for the model. We have seen that for some specific problems we can obtain a required accuracy even for a single neuron in the hidden layer. More neuron size provides more accuracy, but more iteration for learning the parameters.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

شبکه عصبی عمیق برای سیستم معادلات دیفرانسیل معمولی: الگوریتم برداری و شبیه سازی

Deep neural network for system of ordinary differential equations: Vectorized algorithm and simulation

حملات خصمانه با اتصال نشانگرهای نویز بر روی چهره در برابر تشخیص عمیق چهره

Adversarial attacks by attaching noise markers on the face against deep face recognition

چکیده

1. مقدمه

2. پیش زمینه

1.2. تشخیص چهره عمیق

2.2. طبقه بندی حمله در مقابل تشخیص چهره عمیق

3. مطالعات مربوط

1.3. حملات تهاجمی برای دسته بندی تصاویر

2.3. حملات رقابتی علیه تشخیص چهره عمیق

4. روش فنی

1.4. تعریف چالش

2.4. انتخاب مکان نشانگر پارازیت تصویر

3.4. تنطیم رنگ و مکان

5. ارزیابی

1.5. مقدمه آزمایش

2.5. گزینش مکان نشانگر پارازیت تصویر

3.5. آزمایش ها در محیط دیجیتالی

4.5. آزمایش در دنیای واقعی

5.5. حملات انتقال پذیر

6. بحث و گفتگو

7. نتیجه گیری

منابع

چکیده

شبکه های عصبی عمیق هوش مصنوعی(DNNS) به طور فزاینده ای در فعالیت های آموزشی ماشینی موثر بوده اندکه این فعالیت ها شامل طبقه بندی تصاویر، تشخیص صدا، و پردازش زبان طبیعی است. تشخیص چهره با استفاده از DNNS کارایی بالایی دارد و به طور قابل ملاحظه در زمینه های گسترده ای از قبیل سیستم های مالی و بازرسی مهاجرتی مورد استفاده قرار می گیرد. با این حال شبکه عصبی یا همان DNNS نسبت به نمونه های تهاجمی که با اضافه کردن مقدار کمی پارازیت تصویر به نمونه اصلی به وجود می آید آسیب پذیر است که به طبقه بندی اشتباه در این سیستم می انجامد. در این مطالعه قصد داریم که پیشرفته ترین نرم افزار تشخیص چهره را با اتصال نشانگرهای پارازیت تصویر بر روی چهره در دنیای واقعی دچار خطا کنیم. به منظور به اشتباه انداختن یک مدل تشخیص چهره در دنیای واقعی، چالش های موجود در فرآیند حمله را مورد بررسی قرار می دهیم که این فرآیندها شامل تعیین مکان نشانگرهای پارازیت تصویر، تفاوت میان رنگ های نشانگرهای پارازیت دیجیتالی و رنگهای نشانگرهای پارازیت پس از پرینت، تفاوت های میان رنگ های نشانگرهای پارازیت که به چهره متصل شده اند و رنگ های نشانگرهای پارازیت پس از عکس برداری و تفاوت میان مکان های نشانگرهای دیجیتالی پارازیت و مکان های نشانگرهای پارازیت که به چهره متصل اند می باشد. در آزمایشات، ما نشانگرهای پارازیت را با در نظر گرفتن این چالش ها ایجاد کرده و نشان خواهیم داد که پیشرفته ترین مدل تشخیص چهره با اتصال حداکثر 10 نشانگر پارازیت به چهره دچار خطا می شود. این می تواند مدل های تشخیص چهره در شبکه های عصبی عمیق یا همان (DNNS) را با ریسک امنیتی مواجه کند.

7. نتیجه گیری  

در این مطالعه چالش هایی که باید در فریب دادن مدل های تشخیص چهره با اتصال نشانگرهای پارازیت تصویر بر روی چهره ها در دنیای واقعی حل شوند را تعریف کرده و روش های فنی برای کاهش تفاوت های رنگ و تفاوت های مکان نشانگرهای پارازیت تصویر ارائه دادیم. به علاوه، سه روش برای انتخاب مکان های نشانگرهای پارازیت تصویر ارزیابی کرده و نشان دادیم که سیستم تشخیص چهره عمیق به وسیله اتصال حداکثر 10 نشانگر پارازیت تصویر 5 ×5 پیکسلی بر روی چهره در دنیای واقعی را می توان فریب داد. در تحقیقات آینده، از شرکت کنندگان بیش تری استفاده کرده و با استفاده از گروه داده جمع آوری شده با فیلمبرداری از مناطق مختلف و با تجهیزات متفاوت به انجام مطالعه می پردازیم. هم چنین، سعی خواهیم کرد که مدل های تشخیص چهره را با استفاده از استیکرهای نقاشی چهره که طبیعی تر بوده و ناحیه تغییر وسیع تری نسبت به نشانگرهای پارازیت تصویر دارند، فریب دهیم و تلاش می کنیم که به سیستم های تشخیص چهره بازرگانی مانند Face++[43] و Rekognition[44] حمله کنیم.

Abstract

Deep neural networks (DNNs) have become increasingly effective in difficult machine learning tasks, such as image classification, speech recognition, and natural language processing. Face recognition (FR) using DNNs shows high performance and is widely used in various domains such as payment systems and immigration inspection. However, DNNs are vulnerable to adversarial examples generated by adding a small amount of noise to an original sample, resulting in misclassification by the DNNs. In this study, we attempt to deceive state-of-the-art FR by attaching noise markers on a face in the real world. To deceive an FR model in the real world, we address challenges in the attack process, including selection of locations of noise markers, the differences between colors of digital noise markers and those of noise markers after printing, the differences between the colors of noise markers that are attached to the face and those of noise markers after a picture is taken, and the differences between the locations of digital noise markers and those of noise markers that are attached to the face. In experiments, we generate noise markers considering these challenges and show that state-of-the-art FR can be deceived by attaching a maximum of 10 noise markers to a face. This can cause a security risk for FR models using DNNs.

7. Conclusion

In this study, we defined the challenges that must be solved when deceiving deep FR models by attaching noise markers on faces in the real world and demonstrated technical approaches to minimize color differences and location differences of the noise markers. In addition, we evaluated three methods for selecting the locations of the noise markers and showed that the deep FR system could be deceived by attaching a maximum of 10 noise markers of 5 × 5 pixels on the face in the real world. In future research, we will recruit more participants and conduct the study with face datasets collected under various shooting environments using different devices. In addition, we will attempt to deceive FR models using face painting stickers that are more natural and have a wider modulation area than noise markers, and will try to attack commercial FR systems such as Face++ [43] and Amazon Rekognition [44].

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

حملات خصمانه با اتصال نشانگرهای نویز بر روی چهره در برابر تشخیص عمیق چهره

Adversarial attacks by attaching noise markers on the face against deep face recognition

تشخیص چندنمایی چهره با استفاده از شبکه های عصبی عمیق

Multi-view face recognition using deep neural networks

چکیده

1. مقدمه

2. روش پیشنهادی

1.2. شبکه های عصبی

2.2. شبکه عصبی پیچشی (درهم پیچیده)

3.2. تابع فعال سازی

5.2. متریک شباهت

3. تجزیه و تحلیل و نتایج آزمایشگاهی

4. بحث

1.4. کاهش ابعاد ویژگی

2.4. ارزیابی شباهت ویژگی

3.4. ضریب پیچش وزنی

4.4. تابع فعال سازی

5. نتیجه گیری

چکیده

تشخیص چهره به طور گسترده در سیستم های هوشمندی مانند پایش هوشمند تصویری، پرداخت برخط و سیستم دسترسی هوشمند مورد استفاده قرار گرفته است. الگوریتم های تشخیص چهره فعلی در معرض حمله انواع حملات ارائه چهره  می باشند؛ کاغذ چاپ شده، بازپخش ویدئویی و ماسک های سیلیکونی از این جمله حملات اند. ما به منظور مدیریت بهینه مشکلات مذکور، معماری عمیق و جدیدی را صورت بندی نموده ایم که دقت تشخیص چندنمایی چهره انسان را افزایش می دهد. به ویژه، در وهله اول، شبکه عصبی عمیق و جدیدی به منظور رمزگذاری عمیق نواحی صورت ساخته شده است که در آن الگوریتم جدید تنظیم و تطبیق چهره به کار رفته است تا بر روی نقاط کلیدی موجود در چهره متمرکز گردد. بعد از آن، فناوری شناخته شده PCA را برای کم کردن ابعاد ویژگی های عمیق و به طور همزمان، حذف ویژگی های تصویری ناخالص و غیرضروری به کار برده ایم. سپس چارچوب اتصال بیزی را برای ارزیابی شباهت بردارهای ویژگی و دقت بسیار رقابتی دسته بندی چهره ها که می توان به آن دست یافت مطرح نمودیم. آزمایشات جامع بر روی مجموعه داده های  کامپایل شده کاس-پیل  انجام گرفته و عملکرد تشخیص چهره به میزان 98.52% موفقیت آمیز بود. علاوه بر این، سامانه پیشنهادی تشخیص چهره، به صورت سفت و سخت قادر به مدیریت حملات مختلف تشخیص چهره در زمینه های مختلف می باشد.

1.مقدمه

در سال های اخیر، تشخیص چهره، در بسیاری از حوزه ها توجه زیادی را به خود جلب نموده است. تکنیک های مربوطه می توانند در سیستم های مختلف به کار روند که از آن جمله اند: سامانه های قفل گشایی گوشی های هوشمند، پرداخت برخط و کنترل دسترسی ]3-1[. هدف تشخیص چهره، تمرکز یا کشف و ردیابی چهره انسان های مختلف با استفاده از تصاویر گرفته شده می باشد. این فن  نقش بسیار مهمی را در تایید زیستی ایفا می کند. هر سامانه تشخیص چهره، با استفاده از دوربین، تصویری از چهره یک یا چند شخص گرفته و سپس چهره فرد یا افراد مذکور را با نمونه چهره هایی که قبلا در مجموعه داده های چهره به منظور انجام تشخیص، خوراک دهی شده اند مقایسه می کند. تشخیص چهره، ویژگی غیر تماسی را نشان می دهد که در آن ممکن است برای شخص شناسایی شده توصیفی نباشد که به طور ارادی به مجموعه ویژگی بپیوندد. در این روش، خروجی رد کردن فرد شناسایی شده، مشخص خواهد شد. در روش مذکور، فناوری تشخیص چهره انسان برای حوزه شناسایی زیست سنجی  بسیار کاربردی است. 

5. نتیجه گیری

الگوریتم تشخیص تصویر چهره مبتنی بر شبکه عصبی عمیق مورد پیشنهاد است. این الگوریتم شامل استفاده از شبکه عصبی درهم پیچیده برای استخراج ویژگی های چهره، استفاده از الگوریتم PCA برای کاهش ابعادی ویژگی و استفاده از روش اتصال بیزی برای داوری شباهت بردار می باشد. ما نهایتا به هدف بهبود دقت تشخیص تصویر چهره دست یافتیم. بعد از یک سری مقایسه های آزمایشگاهی، نتایج نشان می دهد که در مجموعه داده های کاس-پیل، دقت تشخیص تصویر چهره می تواند به 98.52% برسد.

Abstract

F Face recognition has been widely used in modern intelligent systems, such as smart video surveillance, online payment, and intelligent access control system. Existing face recognition algorithms are prone to be attacked by various face presentation attacks (face-PAs), such as printed paper, video replay, and silicone masks. To optimally handle the aforementioned problems, we formulate a novel deep architecture to increase the accuracy of multi-view human face recognition. In particular, in the first place, a novel deep neural network is built for deeply encoding the face regions, where a novel face alignment algorithm is employed to localize the key points inside faces. Subsequently, we utilize the well-known PCA for reducing the dimensionality of the deep features and simultaneously, removing the redundant and contaminated visual features. Thereafter, we propose a joint Bayesian framework in order to evaluate the similarity of feature vectors and highly competitive face classification accuracy can be achieved. Comprehensive experiments were conducted on our compiled CAS-PEAL dataset and achieved a 98.52% face recognition performance. Moreover, our proposed face recognition system can robustly handle various face recognition attack under various contexts.

1. Introduction

In recent years, face recognition has attracted lots of attention in plenty of domains. The relevant techniques can be employed in different intelligent systems, for example, smart phone unlocking, online payment and access control system [1–3]. The objective of face recognition is to localize/detect and track various human faces by leveraging the captured images. This technique plays a highly important role in biological verification. Each face recognition system captures a face image from one or multiple persons by utilizing a camera, and thereafter it compares the human face with the face samples that are already fed into the face database to fulfill the recognition. Face recognition exhibits the feature of non-contact, wherein it may not be descriptive for the identified person to deliberately join the feature collection. In this way, the output of rejecting the identified person will be identified. In this way, human face recognition technology is highly useful to biometric identification domain.

5. Conclusions

A face image recognition algorithm based on deep neural network is proposed. It includes the use of convolutional neural network to extract facial features, the use of PCA algorithm for feature dimensionality reduction, and the use of joint Bayesian method for vector similarity judgment. Finally, the purpose of improving the accuracy of face image recognition is achieved. After a series of experimental comparisons, the results show that on the CAS-PEAL data set, the accuracy of face image recognition can reach 98.52%.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

تشخیص چندنمایی چهره با استفاده از شبکه های عصبی عمیق

Multi-view face recognition using deep neural networks

حداقل اتلاف حاشیه ای برای تشخیص چهره عمیق

Minimum margin loss for deep face recognition

چکیده
1- مقدمه
2- از تابع Softmax Loss تا تابع حداقل اتلاف حاشیه ای
1-2 Sotmax Loss و Center Loss
2-2 اتلاف حاشیه ای و اتلاف محدوده
3-2 حداقل اتلاف حاشیه ای پیشنهادی
4-2 بحث
3- آزمایش ها
1-3 جزئیات آزمایش
2-3 تحلیل تاثیر بر پارامترهای β و M
3-3 چالش اول MegaFace در مجموعه داده FaceScrub
4-3 مقایسه با بهترین روش ها در مجموعه داده های LFW و YTF
5-3 مقایسه بیشتر در مجموعه داده SLLFW
6-3 نتایج براساس مجموعه داده های IJB-B و IJB-C
4- نتیجه گیری

چکیده

تشخیص چهره به موفقیت عظیمی دست یافته است که دلیل اصلی آن توسعه سریع شبکه های عصبی عمیق (DNN) در چند سال اخیر است. کارکردهای مختلف اتلاف در یک شبکه عصبی عمیق قابل استفاده است که منجر به عملکرد متفاوتی می شود. اخیراً برخی از کارکردهای تلفات پیشنهاد داده شده است. با این حال، آن ها نمی توانند مساله تمایل حاشیه ای را که در مجموعه داده های غیر متعادل وجود دارد حل کنند. در این مقاله حل مساله تمایل حاشیه ای را با تعیین یک حاشیه حداقلی برای تمامی زوج کلاس ها (دسته ها) پیشنهاد می دهیم. ما تابع اتلاف جدیدی به نام حداقل اتلاف حاشیه ای (MML) پیشنهاد می دهیم که هدف آن گسترش محدوده آن هایی است که به زوج های مرکزی دسته بیش از حد نزدیک می شوند تا قابلیت متمایز کننده ویژگی های عمیق را ارتقاء دهد. تابع MML همراه با توابع Softmax Loss و Centre Loss بر فرآیند آموزش نظارت می کنند تا حاشیه های تمامی دسته ها را صرف نظر از توزیع دسته آن ها مورد نظارت قرار دهند. ما تابع MML را در پلتفورم Inception-ResNet-v1 پیاده سازی می کنیم و آزمایش های گسترده ای را بر روی هفت مجموعه داده تشخیص چهره انجام می دهیم که شامل MegaFace، FaceScrub، LFW، SLLFW، YTF، IJB-B و IJB-C است. نتایج تجربی نشان می دهد که تابع اتلاف MML پیشنهادی منجر به حالت جدیدی در تشخیص چهره می شود و اثر منفی تمایل حاشیه ای را کاهش می دهد.

4- نتیجه گیری

در این مقاله یک تابع اتلاف جدید به حداقل اتلاف حاشیه ای (MML) برای هدایت شبکه های عصبی عمیق به منظور یادگیری ویژگی های چهره ارائه شده است. براساس اطلاعات موجود، روش MML اولین تابع اتلاف است که تعیین حداقل حاشیه بین دسته های مختلف را در نظر می گیرد. ما نشان می دهیم که پیاده سازی تابع اتلاف پیشنهادی در شبکه های CNN بسیار ساده است و مدل های CNN ما به طور مستقیم توسط SGD استاندارد قابل بهینه سازی است. آزمایش های گسترده ای بر روی هفت مجموعه داده عمومی موجود انجام شده است. ما روش MML را با روش های منتشر شده در چند سال اخیر مقایسه می کنیم. همچنین روش MML را به طور مستقیم با توابع اتلاف مربوطه تحت یک ساختار معین مقایسه می کنیم. نتایج به دست آمده نشان می دهد که روش MML دارای بهترین عملکرد است. تحقیقات آتی برای تعیین خودکار حداقل حاشیه M مورد نیاز است. همچنین سعی می کنیم تا اثبات نظری مزیت تعیین حداقل حاشیه را مورد بررسی قرار دهیم.

Abstract

Face recognition has achieved great success owing to the fast development of deep neural networks in the past few years. Different loss functions can be used in a deep neural network resulting in different performance. Most recently some loss functions have been proposed, which have advanced the state of the art. However, they cannot solve the problem of margin bias which is present in class imbalanced datasets, having the so-called long-tailed distributions. In this paper, we propose to solve the margin bias problem by setting a minimum margin for all pairs of classes. We present a new loss function, Minimum Margin Loss (MML), which is aimed at enlarging the margin of those overclose class centre pairs so as to enhance the discriminative ability of the deep features. MML, together with Softmax Loss and Centre Loss, supervises the training process to balance the margins of all classes irrespective of their class distributions. We implemented MML in Inception-ResNet-v1 and conducted extensive experiments on seven face recognition benchmark datasets, MegaFace, FaceScrub, LFW, SLLFW, YTF, IJB-B and IJB-C. Experimental results show that the proposed MML loss function has led to new state of the art in face recognition, reducing the negative effect of margin bias.

4- Conclusion

In this paper, a new loss function – Minimum Margin Loss (MML) is presented to guide deep neural networks to learn highly discriminative face features. To the best of our knowledge, MML is the first loss that considers setting a minimum margin between the different classes. We show that the proposed loss function is very easy to implement in the CNNs and our CNN models can be directly optimized by the standard SGD. Extensive experiments are conducted on the seven public available datasets. We compare MML with the methods published in the past few years on top conference and journals. We also directly compare MML with the relevant loss functions under the same framework. Results show that MML has state-of-the-art performance. Future research is needed to automatically determine the minimum margin M. Also we will try to give the theoretical proof about the advantage of setting a minimum margin in the future work.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

حداقل اتلاف حاشیه ای برای تشخیص چهره عمیق

Minimum margin loss for deep face recognition

مطالعه ای بر تجزیه و تحلیل داده های بزرگ رسانه اجتماعی

Big Social Media Data Analytics: A Survey

چکیده

1. مقدمه

2. داده های بزرگ رسانه اجتماعی

3. تجزیه و تحلیل داده های بزرگ براساس طبقه بندی رسانه اجتماعی

3-1 منابع داده های رسانه اجتماعی

3-2 مشخصه

3-2-1 تجزیه و تحلیل توصیفی

3-2-2 تجزیه و تحلیل تشخیصی

3-2-3 تجزیه و تحلیل پیش بینی کننده

3-2-4 تجزیه و تحلیل تجویزی

3-3 هوش محاسباتی

3-3-1 شبکه های عصبی مصنوعی

3-3-2 سیستم های فازی

3-3-3 هوش ازدحام

3-3-4 محاسبه تکاملی

3-3-5 یادگیری عمیق

3-4 تکنیک ها

3-4-1 مدل سازی

3-4-2 تحلیل احساسات

3-4-3 تحلیل شبکه اجتماعی

3-4-4 متن یابی (کاوش متن)

4. بحث

5. چالش های تحقیق

6. نتیجه گیری

منابع

چکیده

اخیراً تحلیل های داده های بزرگ به عنوان یک حوزه اجتماعی به دلیل محبوبیت اینترنت و ظهور فناوری های وب 2 پدیدار شده است. علاوه بر این، ازدیاد و پذیرش برنامه های رسانه های اجتماعی فرصت ها و چالش های بسیار زیادی را برای محققان و متخصصان فراهم آورده است. میزان عظیم داده های تولید شده توسط کاربران با استفاده از پلتفورم های رسانه اجتماعی نتیجه ادغام جزئیات پیشینه و فعالیت های روزانه آن ها است. این حجم عظیم از داده های شناخته شده به عنوان “داده های بزرگ (داده های کلان) ” اخیزاً به شدت مورد تحقیق قرار گرفته است. مرور کوتاهی بر کارهای اخیر در این مقاله ارائه شده است تا دیدگاه وسیع تری نسبت به موضوع تحقیقاتی تحلیل داده های بزرگ رسانه اجتماعی به دست آید. ما ادبیات موجود را براساس جنبه های مهم دسته بندی می کنیم. همچنین این مطالعه تکنیک های ممکن تحلیل داده های بزرگ و ویژگی های کیفی آن ها را با یکدیگر مقایسه می کند. علاوه بر این، بحثی درباره کاربردهای تحلیل داده های بزرگ رسانه اجتماعی با نمایان کردن بهترین تکنیک ها، روشش ها و کیفیت ویژگی های مطالعات پیشین ارائه می کنیم. چالش های تحقیقاتی موجود در تحلیل داده های بزرگی به خوبی مورد بررسی قرار می گیرند.

1. مقدمه

محبوبیت اینترنت و ظهور فناوری های وب 2 محتوای وب را از ناشر به محتوای ایجاد شده توسط کاربر تغییر داده است (Alexander, 2006). چنین تغییری در انتشار محتوا بدون نیاز به برنامه ریزی کمک کرده است. امروز موضوعات، مرورها و نظرات جالب مربوط به وب 2 و رسانه اجتماعی به آسانی از طریق اینترنت در سرتاسر جهان در هر لحظه ای قابل دستیابی است. علاوه بر این، ازدیاد و پذیرش رسانه اجتماعی فرصت ها و چالش های گسترده ای را برای محققان و متخصصان فراهم کرده است. بیش از یک میلیارد نفر در سرتاسر جهان در حال استفاده از پلتفورم های رسانه اجتماعی هستند و  دادهای ساختار نیافته را در مقیاس های زمانی نسبتاً کوتاه تولید می کنند. حجم عظیمی از داده های تولید شده توسط کاربران نتیجه ادغام جزئیات پیشینه و فعالیت های روزانه آن ها در چنین پلتفورمی است. این حجم عظیم از داده های تولید شده به عنوان “داده های بزرگ” شناخته می شود که اخیراً به شدت مورد بررسی و تحقیق قرار گرفته است.

6. نتیجه گیری

داده های بزرگ رسانه اجتماعی همراه با پیشرفت در ابزارهای محاسباتی، به عنوان کلیدی برای دیدگاه های مهم نسبت به رفتار انسان پدیدار شده است و به طور پیوسته ذخیره و توسط شرکت ها، افراد و دولت ها مورد پردازش قرار می گیرد. اول، ما کار اخیر درباره تجزیه و تحلیل رسانه اجتماعی بزرگ را مورد بررسی قرار می دهیم و چشم انداز وسیعی از این حوزه را اراده می کنیم. دوم، مقالات را براساس جنبه های مهم همانند منابع داده ها، مشخصات، هوش محاسباتی و تکنیک ها دسته بندی می کنیم. سوم، تکنیک های تجزیه و تحلیل داده های بزرگ و ویژگی های کیفی ان ها را با یکدیگر مقایسه می کنیم. چهارم، فرصت ها را با توجه به تجزیه و تحلیل داده های بزرگ براساس رسانه اجتماعی شناسایی می کنیم. در نهایت نیز چالش های تحقیقاتی موجود در تجزیه و تحلیل داده های بزرگ را توصیف می کنیم. 

Abstract

Big data analytics has recently emerged as an important research area due to the popularity of the Internet and the advent of the Web 2.0 technologies. Moreover, the proliferation and adoption of social media applications have provided extensive opportunities and challenges for researchers and practitioners. The massive amount of data generated by users using social media platforms is the result of the integration of their background details and daily activities. This enormous volume of generated data known as “big data” has been intensively researched recently. A review of the recent works is presented to obtain a broad perspective of the social media big data analytics research topic. We classify the literature based on important aspects. This study also compares possible big data analytics techniques and their quality attributes. Moreover, we provide a discussion on the applications of social media big data analytics by highlighting the state-of-the-art techniques, methods, and the quality attributes of various studies. Open research challenges in big data analytics are described as well.

1.0 Introduction

The popularity of the Internet and the advent of the Web 2.0 technologies have transformed the contents of the web from publisher- to user-created contents (Alexander, 2006). Such existence has assisted in publishing contents without the needs of programming. Today, interesting topics, reviews, and opinions from Web 2.0 and social media can easily be accessible globally via the Internet in real time. Moreover, the proliferation and adoption of social media have provided extensive opportunities and challenges for researchers and practitioners. More than a billion of people around the world are using social media platforms that generate overwhelming unstructured data in relatively short timescales. The huge amount of data generated by users is the result of the integration of their background details and daily activities in such platform. This massive amount of generated data referred to as “big data” has been intensively researched recently.

6.0 Conclusion

Big social media data along with the progress in computational tools have emerged as the key to crucial insights into human behavior and are continually stored and processed by corporations, individuals, and governments. Frist, we investigate the recent work on big social media analytics and provide a broad perspective of the area. Second, we classify the literature based on important aspects, such as data sources, characteristics, computational intelligence, and techniques. Third, we compare possible big data analytics techniques and their quality attributes. Fourth, we identify the opportunities with respect to big data analytics on social media. Finaly, we describe the open research challenges in big data analytics.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

مطالعه ای بر تجزیه و تحلیل داده های بزرگ رسانه اجتماعی

Big Social Media Data Analytics: A Survey