طراحی اکتشاف فضایی شتاب دهنده های FPGA برای شبکه های عصبی کانولوشن

Design Space Exploration of FPGA Accelerators for Convolutional Neural Networks

چکیده
1- مقدمه
2- چارچوب جستجوی ما
3- ارزیابی یک نقطه طراحی
4-آزمایشات
5- کار مرتبط
6-نتیجه گیری
منابع

چکیده
افزایش استفاده از الگوریتم های یادگیری ماشین، مانند شبکه های عصبی پیچشی (CNNها)، باعث می شود که روش شتابدهنده های سخت افزاری بسیار جالب باشد. اما، به سوالی در مورد چگونه طراحی بهتر یک شتابدهنده برای یک CNN مورد نظر، حتی در یک سطح بنیادی هنوز پاسخ داده نشده است. این مقاله این چالش را با فراهم کردن یک چارچوب جدید که می تواند بطور جهانی و دقیق انتخاب های معماری مختلف برای شتابدهنده-های CNN در FPGAها را ارزیابی و جستجو کند رفع می کند. چارچوب جستجوی ما گسترده تر از هر کار قبلی برحسب فضای طراحی است و منابع FPGA مختلف را برای بیشینه سازی عملکرد شامل منابع DSP، پهنای باند حافظه درون تراشه و حافظه بیرون تراشه درنظر می گیرد. نتایج تجربی ما با استفاده از بزرگترین مدل های CNN شامل مدلی که 16 لایه پیچشی دارد کارآمدی چارچوب ما و همچنین نیاز به چنین روش جستجوی معماری سطح بالا برای یافتن بهترین معماری برای یک مدل CNN را نشان می دهد.

2 – چارچوب جستجوی ما
A. مرور شتابدهنده
مدل شتابدهنده ما شامل یک آرایه محاسبه و سه بافر درون تراشه بصورت نشان داده شده در شکل 2 است. یک آرایه محاسبه یک آرایه از عناصر محاسبه است که کم و بیش بلوک های همگن شامل ضرب کننده ها و جمع کننده ها هستند. در این مقاله، از جملات آرایه محاسبه و آرایه MAC استفاده می کنیم. یک آرایه محاسبه محاسبه بدنه حلقه کرنل تعمیم یافته درامتداد برخی ابعاد فضای تکرار را اجرا می کند. مجموعه این ابعاد شکل یک آرایه محاسبه نامیده می شود، که ساختار داخلی آرایه محاسبه را دیکته می کند.

بافرها حافظه های چرک نویس هستند که بطور جزیی یا کامل آرایه های ورودی/خروجی و پارامترهای وزن را ذخیره می کند. اگر بطور جزیی ذخیره شوند، توسط حافظه خارجی پشتیبانی شده (مانند DRAM) و داده ها باید بین بافرها و حافظه خارجی منتقل شوند، که بطور همزمان با محاسبه با توجه به بافرینگ مضاعف اتفاق می افتد. بنابراین یک بافر باید بافردهی مضاعف شود مگر اینکه به پشتیبانی توسط حافظه خارجی نیاز نداشته باشد.

فرض می کنیم که ضرب کننده ها و جمع کننده ها مورد نیاز برای اجرای عملیات بدنه حلقه کرنل با استفاده از بلوک های DSP اجرا می شوند. به همین ترتیب بافرها فرض می شود که با استفاده از بلوک های RAM اجرا می شوند. فرض می کنیم که پهنای باند حافظه بادوام ماکزیمم داده می شود که می تواند بطور تجربی توسط شبیه سازی کنترل کننده حافظه برای زمان کافی طولانی بدست آید.

استحکام شبکه های عصبی کانولوشن در تشخیص ضایعات پوستی رنگدانه ای پوست

Robustness of convolutional neural networks in recognition of pigmented skin lesions

چکیده
1 مقدمه
2 مواد و روش ها
1-2 طرح تحقیق و مطالعه
2-2 مجموعه داده ها
3-2 پیشرفت و بسط طبقه بندی کننده
4-2 روش هایی برای کاهش شکنندگی و عدم انعطاف
5-2 آنالیز و تحلیل
3 نتایج
1-3 عملکرد پایه و مبنا و شکنندگی (عدم انعطاف)
2-3 اثربخشی روش های امتحان شده روی تغییرات مصنوعی
3-3 اثربخشی روش های تست و امتحان شده روی تغییرات طبیعی
4 بحث و گفتگو
1-4 کاربردها و مفاهیم عملی
2-4 محدودیت ها
5 نتیجه گیری
منابع

چکیده
پیش زمینه: نیاز پایه و اساسی برای سیستم های آنالیز تصویر مبتنی بر هوش مصنوعی (AI)، که می بایست در طب بالینی ادغام شوند، از استواری و قابلیت اطمینان بالایی برخوردار است. تغییرات جزئی و اندک در نحوه ی بدست آوردن آن تصاویر، برای مثال، در طول غربالگری روتین سرطان پوست، نباید تشخیص چنین سیستم های کمکی (سیستم های کمک یار پزشک) را تغییر دهد.
هدف: هدف کمی سازی و سنجش این است که درهم ریختگی ها و تغییرات جزئی تصویر تا چه میزان طبقه بندی ضایعه ی پوستی به واسطه ی شبکه ی عصبی پیچشی (کانولوشن) (CNN) را تحت تأثیر قرار می دهند و همچنین بررسی سه راه حل ممکن و عملی برای این مشکل است (داده افزایی اضافی، افزایش زمان تست، خوشنماسازی).
روش ها: ما سه معماری رایج و متداول CNN را برای ایجاد تمایز بین تصاویر درموسکوپی ملانوما یا خال سرطانی و خال های مادرزادی تمرین کرده و به کار بردیم. متعاقبا، عملکرد و حساسیت آنها نسبت به تغییرات جزئی (شکنندگی و عدم انعطاف) بر روی دو مجموعه ی امتحانی متمایز با تصاویر متعدد برای هر ضایعه تست و امتحان شد. برای مجموعه ی نخست، تغییرات تصاویر، مثل چرخش یا بزرگنمایی (زوم)، به صورت مصنوعی ایجاد شدند. مجموعه ی دوم تغییرات طبیعی را دربرمیگرفت که از چندین عکس گرفته شده از همان ضایعات ناشی می شدند.
نتایج: تمامی معماری ها شکنندگی و عدم انعطاف در مجموعه امتحانی مصنوعی و طبیعی را نشان دادند. سه روش بررسی شده قادر به کاهش شکنندگی و عدم انعطاف تا درجات مختلف بودند درحالیکه همچنان عملکرد را حفظ می کردند. ارتقا و بهبود دیده شده برای مجموعه امتحانی مصنوعی بیشتر از طبیعی بود، جایی که پیشرفت ها جزئی و اندک بودند.
نتیجه گیری: تغییرات جزئی تصاویر، نسبتا نامشخص برای انسان ها، می توانند روی استواری و قابلیت اطمینان شبکه های عصبی پیچشی (CNNs) متمایز کننده ی ضایعات پوستی تأثیرگذار باشند. این تأثیر را می توان از طریق روش هایی که در اینجا تست و امتحان شده اند کاهش داد، اما نمی توان آن را کاملا حذف و برطرف کرد. لذا، تحقیقات بیشتر به منظور حفظ و تقویت عملکرد طبقه بندی کننده های (جداکننده های) هوش مصنوعی (AI) در جهت تسهیل انتقال چنین سیستم هایی به کلینیک و درمانگاه مورد نیاز می باشد.

5- نتیجه گیری

تغییرات جزئی و اندک تصویر، که برای انسان ها تاحدودی نامعلوم و نامشخص هستند، می توانند روی سطح اطمینان و تشخیص شبکه های عصبی پیچشی متمایزکننده ی ضایعات پوستی تأثیر بگذارند. این تأثیر با استفاده از روش هایی که در اینجا تست و امتحان شدند کاهش یافت اما کاملا برطرف نشد. بنابراین، ما می خواهیم به متخصصان و دست اندرکاران یادگیری عمیق و پزشکان حوزه ی درماتولوژی بلکه پزشکان به طور کلی یادآوری کنیم که شکنندگی و عدم انعطاف می بایست صراحتا در رأس کار قرار گرفته و به عنوان هدف مد نظر قرار بگیرد و به منظر تسهیل انتقال از آزمایشگاه به کلینیک باید بر آن غلبه کرد.

Abstract

Background A basic requirement for artificial intelligence (AI)–based image analysis systems, which are to be integrated into clinical practice, is a high robustness. Minor changes in how those images are acquired, for example, during routine skin cancer screening, should not change the diagnosis of such assistance systems.

Objective To quantify to what extent minor image perturbations affect the convolutional neural network (CNN)–mediated skin lesion classification and to evaluate three possible solutions for this problem (additional data augmentation, test-time augmentation, anti-aliasing).

Methods We trained three commonly used CNN architectures to differentiate between dermoscopic melanoma and nevus images. Subsequently, their performance and susceptibility to minor changes (‘brittleness’) was tested on two distinct test sets with multiple images per lesion. For the first set, image changes, such as rotations or zooms, were generated artificially. The second set contained natural changes that stemmed from multiple photographs taken of the same lesions.

Results All architectures exhibited brittleness on the artificial and natural test set. The three reviewed methods were able to decrease brittleness to varying degrees while still maintaining performance. The observed improvement was greater for the artificial than for the natural test set, where enhancements were minor.

Conclusions Minor image changes, relatively inconspicuous for humans, can have an effect on the robustness of CNNs differentiating skin lesions. By the methods tested here, this effect can be reduced, but not fully eliminated. Thus, further research to sustain the performance of AI classifiers is needed to facilitate the translation of such systems into the clinic.

5. Conclusions

Minor image changes, relatively inconspicuous for humans, can have an effect on the confidence and diagnosis of CNNs differentiating skin lesions. Using the methods tested here, this effect was reduced but not fully eliminated. Therefore, we would like to remind deep learning practitioners and physicians in dermatology but also in medicine in general, that brittleness needs to be explicitly targeted and overcome to facilitate translation from bench-to-bedside.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

استحکام شبکه های عصبی کانولوشن در تشخیص ضایعات پوستی رنگدانه ای پوست

Robustness of convolutional neural networks in recognition of pigmented skin lesions

شبکه عصبی کانولوشن کم عمق برای غربالگری شیوع COVID-19 با عکسبرداری اشعه ایکس قفسه سینه

Shallow Convolutional Neural Network for COVID-19 Outbreak Screening Using Chest X-rays

چکیده
مقدمه
مواد و روش‌ها
جمع‌آوری داده‌ها
شبکه عصبی کانولوشن کم عمق
آزمایشات
نتایج در مجموعه داده متعادل
نتایج در مجموعه داده نامتعادل
بحث‌ و گفتگو
نتیجه‌گیری و کارهای آینده
منابع

چکیده

در میان داده‌های تصویربرداری رادیولوژی، عکسبرداری اشعه ایکس قفسه سینه (CXR) در مشاهده بروز کووید 19 بسیار استفاده می‌شود. برای غربالگری انبوه، استفاده از CXR، یک ابزار مبتنی بر هوش مصنوعی محاسباتی کارآمد، برای تشخیص موارد مثبت کووید 19 از موارد غیر کووید ضروری است. به این منظور، یک شبکه عصبی کانولوشن سبک وزن (CNN) با معماری کم عمق متناسب ارائه داده ایم که با استفاده از CXR موارد مثبت کووید 19 را بدون منفی کاذب بطور خودکار تشخیص می‌دهد. معماری کم عمق CNN در مقایسه با سایر مدل‌های یادگیری عمیق با پارامترهای کمتری طراحی شده است. معماری متناسب با CNN کم عمق با استفاده از CXRهای 321 مورد مثبت کووید تأیید شد. علاوه بر موارد مثبت کووید 19، مجموعه دیگری از 5856 مورد غیرکووید 19 (در دسترس عموم، منبع: کاگل) در نظر گرفته شد که شامل موارد ذات الریه عادی، ویروسی و باکتریایی است. در آزمونهای آزمایشی ما، برای جلوگیری از جهت‌گیری احتمالی، اعتبارسنجی 5 برابر دنبال شد و از هر دو مجموعه داده متعادل و نامتعادل استفاده شد. مدل پیشنهادی بالاترین دقت ممکن 99.69٪، را با حساسیت 1.0 به دست آورد، جایی که AUC، 9995/0 بود. بعلاوه، میزان مثبت کاذب گزارش شده برای 5856 مورد منفی کووید19 فقط 0015/0 بود. نتایج ما اظهار داشت که CNN پیشنهادی می‌تواند برای غربالگری انبوه استفاده شود. با استفاده از مجموعه دقیقاً مشابه مجموعه CXR، نتایج فعلی بهتر از سایر مدل‌های یادگیری عمیق و کارهای پیشرفته اصلی بود.

مقدمه

در دسامبر سال 2019، بیماری جدید ویروس کرونا (COVID – 19) در استان ووهان چین یافت شد https://www.who.int/docs/default-source/coronaviruse/who – china-joint-mission-on-covid-19-final-report.pdf [1]. برخلاف سرماخوردگی و آنفولانزا، کووید19 بسیار مسری تر است و برای سیستم ایمنی بدن انسان کاملاً ناشناخته است. به بیان دقیق‌تر، سندرم تنفسی بسیار حاد (SARS) و سندرم تنفسی خاورمیانه (MERS) دو بیماری شناخته شده ویروس کرونا هستند که به ترتیب 10 و 37 درصد مرگ و میر زیادی دارند [2، 3]. هم اکنون، کووید 19 بیش از 6،057،853 نفر را مبتلا کرده است که بیش از 371،166 مورد مرگ در سراسر جهان دارند (تاریخ، 01 ژوئن، 2020) [8]. نرخ شیوع کووید19 نمایی است و سریعتر از سایر بیماریهای مربوط به تنفس است. امروزه محققان برای پیش بینی عواقب احتمالی با استفاده از ابزارهایی که توسط هوش مصنوعی هدایت می‌شوند، به داده‌های کمی محدود شده‌اند.

نتیجه‌گیری و کارهای آینده

به طور کلی، در این مقاله، یک معماری کم عمق متناسب با CNN کم وزن را برای تشخیص موارد مثبت کووید 19 با استفاده از CXR‌ها در برابر موارد غیر کووید 19 پیشنهاد شده است. این آزمایشات بر روی مجموعه داده CXR‌های کویید 19 مثبت، ذات‌الریه – مثبت و سالم انجام شد. برای تأیید دقت، از پروتکل اعتبار سنجی 5 برابر در هر دو سناریوی مجموعه داده متعادل و نامتعادل استفاده شد که در آن 321 مورد مثبت کووید 19 استفاده شده است. با استفاده از (الف) ابزارهای محبوب DL، مانند MobileNet، InceptionV3 و ResNet50، معماری متناسب CNN پیشنهادی را مقایسه کرده ایم. و (ب) کارهای پیشرفته تشخیص COVID – 19 با استفاده از CXR‌ها، در نظر گرفته شود. مدل پیشنهادی بهتر از همه بوده و از نظر محاسباتی کارآمد است زیرا به تعداد پارامترهای کمتری نیاز دارد. چون معماری CNN کم عمق پیشنهادی منفی کاذب ندارد، می‌توان از آن برای غربالگری موارد مثبت کووید 19 در اشعه X قفسه سینه استفاده کرد.

در آینده، معماری شبکه با هدف به حداقل رساندن موارد مثبت کاذب، بررسی می‌شود. همچنین قصد داریم داده‌ها را اضافه کنیم که به ما کمک می‌کند تا از مشکلی که در حال حاضر با آن روبرو هستیم، یعنی کمبود داده کافی، جلوگیری کنیم.

Abstract

Among radiological imaging data, Chest X-rays (CXRs) are of great use in observing COVID-19 manifestations. For mass screening, using CXRs, a computationally efficient AI-driven tool is the must to detect COVID-19-positive cases from non-COVID ones. For this purpose, we proposed a light-weight Convolutional Neural Network (CNN)-tailored shallow architecture that can automatically detect COVID-19-positive cases using CXRs, with no false negatives. The shallow CNN-tailored architecture was designed with fewer parameters as compared to other deep learning models. The shallow CNN-tailored architecture was validated using 321 COVID-19-positive CXRs. In addition to COVID-19-positive cases, another set of non-COVID-19 5856 cases (publicly available, source: Kaggle) was taken into account, consisting of normal, viral, and bacterial pneumonia cases. In our experimental tests, to avoid possible bias, 5-fold cross-validation was followed, and both balanced and imbalanced datasets were used. The proposed model achieved the highest possible accuracy of 99.69%, sensitivity of 1.0, where AUC was 0.9995. Furthermore, the reported false positive rate was only 0.0015 for 5856 COVID-19-negative cases. Our results stated that the proposed CNN could possibly be used for mass screening. Using the exact same set of CXR collection, the current results were better than other deep learning models and major state-of-the-art works.

Introduction

In December 2019, the novel coronavirus disease (COVID-19) was found in Wuhan Province of China https://www.who.int/docs/default-source/coronaviruse/who -china-joint-mission-on-covid-19-final-report.pdf [1].Unlike the common cold and flu, COVID-19 is much more contagious, and for human’s immune system, it is an absolute unknown. To be more specific, severe acute respiratory syndrome (SARS) and Middle East respiratory syndrome (MERS) are two well-known coronavirus diseases, which have huge mortality rates of 10% and 37%, respectively [2, 3]. As of now, COVID-19 affected more than 6,057,853 people with more than 371,166 death cases across the world (dated, June 01, 2020) [8]. The COVID-19 outbreak spread rate is exponential and is faster than other respiratory-related diseases. Researchers are now limited to small amount of data to predict possible consequences using AI-driven tools.

Conclusion and Future Works

On the whole, in this paper, a light-weight CNN-tailored shallow architecture was proposed to detect COVID-19- positive cases using CXRs against non-COVID-19 ones. The experiments were performed on dataset collection of COVID19-positive, pneumonia-positive, and healthy CXRs. To validate its robustness, 5-fold cross-validation protocol was used on both balanced and imbalanced dataset scenarios, where 321 COVID-19-positive cases were used. We have compared the proposed shallow CNN-tailored architecture by taking (a) popular DL tools, such as MobileNet, InceptionV3, and ResNet50; and (b) state-of-the-art works for COVID-19 detection using CXRs, into account. The proposed model outperformed all and is computationally efficient as it requires less number of parameters. As the proposed shallow CNNtailored architecture has no false negatives, it could be used to screen COVID-19-positive cases in chest X-rays.

In future, the network architecture will be explored, aiming to minimize false positive cases. We also plan to augment data that helps avoid an issue we currently face, i.e., lack of sufficient data.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

شبکه عصبی کانولوشن کم عمق برای غربالگری شیوع COVID-19 با عکسبرداری اشعه ایکس قفسه سینه

Shallow Convolutional Neural Network for COVID-19 Outbreak Screening Using Chest X-rays

پیش بینی مسافران حمل و نقل عمومی: مدیریت سیستم های اطلاعاتی با استفاده از معماری CNN و LSTM

Forecasting Public Transport Ridership: Management of Information Systems using CNN and LSTM Architectures

چکیده

1. مقدمه

1.1. بیان مسئله و پیش زمینه

1.2. حیطه پوشش پژوهش و پرسش پژوهش

2. مرور پیشینه تحقیقاتی مربوطه

2.1. شبکه های عصبی پیچشی

2.2. شبکه های عصبی حافظه کوتاه مدت ماندگار و شبکه های عصبی ترکیبی

3. داده ها

4. روش پژوهش

4.1. توصیف «ورودی تصویر» برای شبکه های عصبی پیچشی

4.2. تولید مثال و ترکیب مجموعه های آموزش، اعتبارسنجی و آزمون

4.3. معماری مدل شبکه عصبی

4.4. رگرسیون کمترین مربعات معمولی

5. نتایج

5.1. خطای مجذور میانگین و دقت

5.2. پیش بینی

6. بحث

منابع

چکیده

این مقاله پژوهشی، چارچوبی را برای ارائه و تحلیل کارآمد ابعاد مکانی و زمانی داده های پانلی ارائه می کند. این چارچوب از طریق ارائه ی داده ها به صورت ماتریس تصویری مکانی-زمانی میسر می شود و به مطالعه ی موردی درخصوص پیش بینی تعداد مسافران سیستم حمل و نقل عمومی اعمال می شود. عملکرد نسبی زیرمجموعه ی تکنیک های یادگیری ماشین بررسی می شود و بر شبکه های عصبی پیچشی و حافظه ی کوتاه مدت ماندگار تمرکز می شود. علاوه بر شبکه های عصبی پیچشی-حافظه ی کوتاه مدت ماندگار متوالی ، شبکه های عصبی پیچشی-حافظه ی کوتاه مدت ماندگار موازی ، شبکه های عصبی پیچشی-حافظه ی کوتاه مدت ماندگار متوالی افزوده  نیز بررسی می شوند. تمام مدل ها برمبنای اثرات ثابت رگرسیون کمترین مربع معمولی آزمایش شدند. داده های مربوط به سابقه ی تعداد مسافران در چارچوبی در یک پروژه ارائه شده اند که بر اثری که خط متروی جدید بر تعداد مسافران داشت، تمرکز می کرد. نتایج نشان می دهد که پیش بینی های انجام شده توسط مدل شبکه های عصبی پیچشی-حافظه ی کوتاه مدت ماندگار، بهترین عملکرد را داشت و این یافته حاکی از آن است که چارچوب پیشنهادی را می توان در اپلیکیشن هایی به کار برد که مستلزم مدلسازی دقیق تقاضا برای سیستم حمل و نقل عمومی هستند. فرآیند افزایش توصیفی شبکه های عصبی پیچشی-حافظه ی کوتاه مدت ماندگار متوالی را می توان برای معرفی متغیرهای برونزا در این مدل استفاده کرد. این متغیرها موجب می شوند که این مدل در محیط های زندگی واقعی قابلیت تبیین و پابرجایی بیشتری داشته باشد. 

1. مقدمه

1.1. بیان مسئله و پیش زمینه

در بستر سیستم حمل و نقل عمومی، پیش بینی تعداد مسافران برای عملیات های کسب و کار ضروری است. داشتن اطلاعات درخصوص تقاضای مسافرت، به شرکت های سیستم حمل و نقل عمومی اجازه می دهد تا سیستم حمل و نقل را کارآمدتر سازند و بهبود سطح خدمات برای مشتریان و حذف هزینه های غیرضروری کمک شود (13، 1). در اختیار داشتن مدلی کارآمد درخصوص نحوه ی تغییر تقاضای سیستم حمل و نقل عمومی، برای برنامه ریزی آینده ضروری است و مسیرهای جدید، برنامه های کارآمدتر و بهینه سازی عملیات های حمل و نقل (برای مثال، تعداد اتوبوس های خطوط خاص) را معرفی می کند (3، 5). 

6. بحث

به نظر می رسد که شبکه های عصبی پیچشی-حافظه ی کوتاه مدت ماندگار متوالی، بهترین مدل از نظر عملکرد در مجموعه ی آزمون هستند. با این حال، امتیاز آن کاملاً به امتیاز مدل شبکه های عصبی پیچشی-حافظه ی کوتاه مدت ماندگار افزوده ی پیشنهادی نزدیک است. علاوه براین، از منظر سرعت همگرایی، مدل شبکه های عصبی پیچشی-حافظه ی کوتاه مدت ماندگار متوالی، از نظر زمان ها (دوره های) لازم برای همخوانی با مجموعه ی آموزش سریعترین مدل هستند.

Abstract

This research paper provides a framework for the efficient representation and analysis of both spatial and temporal dimensions of panel data. This is achieved by representing the data as spatio-temporal image-matrix, and applied to a case study on forecasting public transport ridership. The relative performance of a subset of machine learning techniques is examined, focusing on Convo-lutional Neural Networks (CNN) and Long Short-Term Memory (LSTM) neural networks. Furthermore Sequential CNN-LSTM, Parallel CNN-LSTM, Augmented Sequential CNN-LSTM are explored. All models are benchmarked against a Fixed Effects Ordinary Least Squares regression. Historical ridership data has been provided in the framework of a project focusing on the impact that the opening of a new metro line had on ridership. Results show that the forecasts produced by the Sequential CNN-LSTM model performed best and suggest that the proposed framework could be utilised in applications requiring accurate modelling of demand for public transport. The described augmentation process of Sequential CNN-LSTM could be used to introduce exogenous variables into the model, potentially making the model more explainable and robust in real-life settings.

1. Introduction

1.1. Problem statement and background

In the context of public transport, forecasting ridership is essential for business operations. Knowing the demand for travel allows public transport companies to make the transportation system more efficient, and helps to proactively improve the level of service for their customers and eliminate unnecessary costs [13, 1]. Having an effective model of how demand for public transport changes over time is important for future planning, introducing new routes, more efficient schedules, and optimising transportation operations (e.g. frequency of buses on a certain line) [3, 5].

6. Discussion

It appears that Sequential CNN-LSTM is the best model in terms of performance on the test set. Its score, however, is quite close to that of the suggested Augmented CNN-LSTM model. Moreover, in terms of convergence speed, the Sequential CNN-LSTM model is the fastest in terms of passes (epochs) required to fit the training set.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

پیش بینی مسافران حمل و نقل عمومی: مدیریت سیستم های اطلاعاتی با استفاده از معماری CNN و LSTM

Forecasting Public Transport Ridership: Management of Information Systems using CNN and LSTM Architectures

تشخیص و طبقه بندی خودکار مبتنی بر اشعه ایکس و سی تی اسکن covid-19 با شبکه های عصبی کانولوشن (CNN)

X-ray and CT-scan-based automated detection and classification of covid-19 using convolutional neural networks (CNN)

چکیده

۱. مقدمه

۲. بررسی آثار

3.مواد و روش‌ ها

3.1. روش پیشنهادی

3.2.مجموعه داده

3.3. ایجاد شبکه عصبی پیچشی

۴. نتایج و مباحث

4.1. نتایج

4.2. بحث

5.نتیجه ‌گیری

مراجع

چکیده

کووید-19 (بیماری کرونا ویروس- ۲۰۱۹) جدیدترین بیماری مرتبط با کرونا ویروس است که از سوی سازمان جهانی بهداشت (WHO) به عنوان بیماری همه گیر اعلام شده است. به علاوه، این بیماری، کل کره زمین را به دلیل ورود سراسر جهان به قرنطینه متوقف کرده و میلیون ها نفر را به کام مرگ کشانده است. هرچند این ویروس میزان تلفات کمی دارد، اما مشکل اینجاست که بسیار مُسری است و در نتیجه افراد زیادی را آلوده کرده و بار زیادی را روی دوش سیستم بهداشت و درمان گذاشته است؛ از این رو، شناسایی کووید-19 در بیماران حیاتی شده‌ است. هدف از انجام تحقیق حاضر این است که با استفاده از تصاویر اشعه ایکس و تصاویر توموگرافی کامپیوتری یا مقطع نگاری رایانه ای (CT) یک راهبرد یادگیری عمیق مبتنی بر شبکه عصبی پیچشی (CNN) ارائه شود تا بتوان نسبت به تشخیص و شناسایی خودکار بیماری کووید-19 اقدام کرد. دو طبقه ‌بندی مختلف را به کمک شبکه های عصبی پیچشی (همگشتی) اجرا کردیم که عبارتند بودند از طبقه ‌بندی دودویی و چند کلاسه. در مجموع، یک مجموعه داده مشتکل از ۳۸۷۷ تصویر سی تی اسکن و اشعه ایکس برای آموزش مدل در طبقه بندی دودویی به کار گرفته شده‌ است که از میان آنها ۱۹۱۷ تصویر متعلق به افراد مبتلا به کووید-19 است. صحت کلی 64/99 درصد، یادآوری (Recall) (یا حساسیت) 58/99 درصد، دقت 56/99 درصد، امتیاز اف1 (F-1 score) برابر با 59/99 درصد و ROC (مشخصه عملکرد گیرنده) برابر با۱۰۰ درصد در طبقه ‌بندی دودویی مشاهده شده‌ است. در طبقه ‌بندی چندگانه، مدل با استفاده از کل 6077 تصویر آموزش دیده است که از میان آنها 1917 تصویر به افراد مبتلا به کووید-19، 1960 تصویر به افراد سالم عادی و ۲۲۰۰ تصویر نیز به افراد مبتلا به ذات الریه تعلق دارد. صحت 28/98 درصد، یادآوری (یا حساسیت) 25/98 درصد، دقت 22/98 درصد، امتیاز اف 1 به میزان 23/98 درصد و ROC برابر با 87/99 درصد برای طبقه ‌بندی چند کلاسه با استفاده از روش پیشنهادی بدست ‌آمده است. در مجموعه داده‌ موجود اخیر، مدل پیشنهادی ما، نتایج مورد نظر را ارائه نموده و هم چنین می ‌تواند در تشخیص سریع بیماران کووید-19 مثبت به کادر درمان کمک کند.

5.نتیجه ‌گیری

طبق مطالعه جدیدی که به صورت آنلاین در نشریه بیماری‌ های مُسری نوظهور (Emerging Infectious Diseases) منتشر شده‌، کووید-19 دارای مقدار R0 میانه 7/5 است. مقدار 7/5 نشان می ‌دهد که یک فرد مبتلا به کووید-19 نه فقط ۲ تا ۳ نفر مورد انتظار پژوهشگران بلکه توانایی آلوده کردن ۵ تا ۶ نفر را دارد. علاوه بر این، ویروس در حال تکامل است و سویه های متفاوتی از آن نیز در قسمت های مختلف جهان کشف شده اند. این تغییرات روز به روز ویروس را قوی ‌تر کرده و روزانه جان هزاران نفر را می گیرد. براین اساس، با توجه به چندین مورد شیوع در اجتماع، کشورهای مختلفی آلوده شده اند. به همین دلیل، منابع کشور های مختلف رو به اتمام است و کادر درمان به ابزار های تشخیصی برای بررسی موارد احتمالی کووید-19 نیاز دارند. از این رو، مدل‌ های ساده ای را براساس تصاویر اشعه ایکس و سی تی اسکن جهت شناسایی و طبقه ‌بندی موارد ابتلا به کووید-19 درست کرده ایم. مدل‌ های ما مبتنی بر یادگیری عمیق بوده و طبقه بندی دودویی و چند کلاسه را نیز انجام داده ایم. نتایج تجربی طبقه ‌بندی دودویی، صحت کلی 64/99 درصد، یادآوری (یا حساسیت) 58/99 درصد، دقت 56/99 درصد، امتیاز اف 1 به میزان درصد و ROC برابر با ۱۰۰ درصد را نشان می دهد. هم چنین، نتایج تجربی طبقه ‌بندی‌ های چندگانه نمایانگر صحت 28/98 درصد، یادآوری (یا حساسیت) 25/98 درصد، دقت 22/98 درصد، امتیاز اف 1 به میزان 23/98 درصد و ROC برابر با 87/99 درصد است. مدل های ما از نظر معیارهای عملکردی و هم چنین مجموعه داده‌ ها از اکثر روش های موجود پیشی گرفتند. ثابت شده است که این روش می ‌تواند در حالت اضطراری مفید واقع شود. از این گذشته، مدل های ما در مجموعه داده‌ های فعلی کارآمد شناخته شده اند. با این حال، هنوز نیازمند مطالعه بالینی و آزمایش است.

Abstract

Covid-19 (Coronavirus Disease-2019) is the most recent coronavirus-related disease that has been announced as a pandemic by the World Health Organization (WHO). Furthermore, it has brought the whole planet to a halt as a result of the worldwide introduction of lockdown and killed millions of people. While this virus has a low fatality rate, the problem is that it is highly infectious, and as a result, it has infected a large number of people, putting a strain on the healthcare system, hence, Covid-19 identification in patients has become critical. The goal of this research is to use X-rays images and computed tomography (CT) images to introduce a deep learning strategy based on the Convolutional Neural Network (CNN) to automatically detect and identify the Covid-19 disease. We have implemented two different classifications using CNN, i.e., binary and multiclass classification. A total of 3,877 images dataset of CT and X-ray images has been utilised to train the model in binary classification, out of which the 1,917 images are of Covid-19 infected individuals . An overall accuracy of 99.64%, recall (or sensitivity) of 99.58%, the precision of 99.56%, F1-score of 99.59%, and ROC of 100% has been observed for the binary classification. For multiple classifications, the model has been trained using a total of 6,077 images, out of which 1,917 images are of Covid-19 infected people, 1,960 images are of normal healthy people, and 2,200 images are of pneumonia infected people. An accuracy of 98.28%, recall (or sensitivity) of 98.25%, the precision of 98.22%, F1-score of 98.23%, and ROC of 99.87% has been achieved for the multiclass classification using the proposed method. On the currently available dataset, the our proposed model produced the desired results, and it can assist healthcare workers in quickly detecting Covid-19 positive patients.

5. Conclusion

Covid-19 has a median R0 of 5.7, according to a new study published online in Emerging Infectious Diseases. The 5.7 indicates that one person infected with Covid-19 has the ability to infect 5 to 6 people, rather than the 2 to 3 expected by researchers. Not only that, but the virus is evolving, and different types of strains have been discovered in different parts of the world. These changes are making the virus stronger by the day, and thousands of people are dying every day. As a result, several countries have been affected, with several incidents of community spread. Due to this, various countries are running out of resources and healthcare workers require diagnostic tools to investigate cases of potential Covid-19. Hence, we have developed simple models based on Xrays and CTs to detect and classify the Covid-19 cases. Our models are deep learning-based, and we’ve done binary and multiclass classification. The experimental results for binary classification show an overall accuracy of 99.64%, recall(or sensitivity) of 99.58%, the precision of 99.56%, F1-score of 99.59%, and ROC of 100%. The experimental results for multiple classifications show an accuracy of 98.28%, recall(or sensitivity) of 98.25%, the precision of 98.22%, F1-score of 98.23%, and ROC of 99.87%. In terms of performance measurements as well as dataset, our models exceeded the majority of existing approaches. This method can prove to be very helpful in case of an emergency. Our models proved to be efficient on the current dataset. However, it still needs clinical study and testing.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

تشخیص و طبقه بندی خودکار مبتنی بر اشعه ایکس و سی تی اسکن covid-19 با شبکه های عصبی کانولوشن (CNN)

X-ray and CT-scan-based automated detection and classification of covid-19 using convolutional neural networks (CNN)

یک چارچوب متوالی برای دسته بندی تومور مغزی: CNNN-LSTM

CNN-LSTM: Cascaded Framework For Brain Tumour Classification

چکیده

I) مقدمه

II) مرور کارهای پیشین

III) مواد و روش‌ ها

الف) VGG-16 برای استخراج ویژگی

ب‌) LSTM برای دسته‌بندی

ج‌) طراحی شبکه و دیتاست

IV) نتایج و بحث

V) نتیجه‌گیری و کار‌های پیش‌ رو

چکیده

گلیما یکی از رایج‌ترین تومور‌های مغزی در بزرگسالان است که از سلول‌های گلیا  نشات (سرچشمه) می‌گیرد. علیرغم پیشرفت‌های موجود در حوزه تحقیقاتی گلیما و آنالیز تصاویر پزشکی، مسئله عیب‌یابی دقیق، یکی از چالش‌های موجود است. در حالت کلی می‌توان گلیما را به دو دسته‌ی درجه بالا  و درجه پایین ، تقسیم‌بندی می‌شود. دسته‌بندی دقیق گلیما به ارزیابی میزان پیشرفت بیماری و انتخاب استراتژی درمان،‌ کمک می‌کند. علیرغم اینکه دسته‌بندی تصاویر پزشکی با استفاده از شبکه‌های عصبی پیچشی  توانسته است به موفقیت‌های قابل ملاحظه‌ای دست یابد،‌ اما همچنان استفاده از این شبکه‌ها برای دسته‌بندی تصاویر سه بعدی (3D) یکی از کارهای دشوار می‌باشد. یکی از محدودیت‌های اصلی این شبکه‌ها، سختی بهینه‌سازی دستبه‌بندی حجمی سه بعدی در شبکه‌های CNN است. ما در این تحقیق،‌ با معرفی یک ساختار متوالی که از توالی شبکه  CNN و شبکه حافظه بلند‌مدت   حاصل گردیده است، این چالش را برای دسته‌بندی تصاویر MR تومور مغزی (دسته‌بندی به دو دسته‌ی LG و HG) مورد ملاحظه قرار داده‌ایم.  ویژگی‌ها با استفاده از VGG-16  پیش آموزش داده شده، استخراج شده و به یک شبکه  LSTM  داده می‌شود تا برای دسته‌بندی تصاویر گلیما به دو دسته HG و LG، ویژگی‌های سطح بالا استخراج گردد. نتایج نشان داد که استخراج ویژگی‌ها با استفاده از VGG-16 در مقایسه با ویژگی‌های استخراج شده توسط شبکه الکس  و شبکه رست ، دارای عکلکرد بهتری است.

I) مقدمه

رشد بیش از حد  سلول‌های مغزی،‌باعث ایجاد توده‌ای می‌شود که این توده‌ای می‌شود که این توده بر روی ساختار‌‌های طبیعی موجود در مغز فشار ایجاد می‌کند. این توده غیرنرمال، به سرعت رشد کرده و یک توده از سلول‌های غیرنرمال ایجاد می‌کند که این توده، تومور نامیده می‌شود. تومور‌های مغزی از نظر اندازه و سایز و میزان وخیم بودن، ‌با  یکدیگر تفاوت دارند. ذات این تومور‌ها ناهمگن است یعنی ممکن است در هر جایی از سیستم عصبی مرکزی  ایجاد شوند و چگالی تصویر در آن ها با یکدیگر متفاوت است. بیشتری تومور‌های مغزی در بزرگسالان،‌ تومور گلیماس است. رشد بیش ازحد سلول‌های گلیا  در مغز که نورون‌ها را احاطه کرده اند، ‌منجر به ایجاد گلیماس می‌شود [1]. 

V) نتیجه‌گیری و کار‌های پیش‌ رو

در این تحقیق برای دسته‌بندی تومور مغزی به دو دسته درجه بالا و درجه پایین، یک مدل از توالی سیستم‌های CNN و LSTM پیشنهاد دادیم. نتایج شبیه‌سازی‌ها بر روی ساختار‌های ممتاز از CNN نشان داد که مدل VGG-16   با استفاده از استخراج ویژگی‌های سطح بالا، بهترین عملکرد را داشته و موجب می‌شود که LSTM بتواند بین  دو نوع گلیما (گلیما با درجه بالا و گلیما بادرجه پایین) به خوبی  تمایز قائل شود. مزیت دیگر این روش این است که بر روی داده‌های سه بعدی، به طور مقاوم عمل می‌کند (یعنی حساسیت آن نسبت به داده‌های سه بعدی، اندک است). در ادامه، این تحقیق را برای عمل بخش‌بندی تعمیم خواهیم داد و مدلی را طراحی خواهیم کرد که بتواند با تعداد محدودی از داده های آموزش، برچسب پیکسل‌ها را پیش‌بینی کند.

Abstract

Glioma is common type of brain tumour in adults originating from glia cell. Despite advances in medical image analysis and gliomas research, accuarte diagnosis remains a challenge. Gliomas can be in general classifed into High Grade (HG) and Low Grade (LG). The exact classification of glioma helps in evaluating the disease progression and selection of the treatment strategy. Whilst medical image classification using a Convolutional Neural Networks (CNNs) has achieved remarkable success, but it is still difficult task for CNNs to accurately classify 3D medical images. One of the major limitation is the fact that CNNs are difficult to optimize in 3D volumetric classification. In current work, we addressed this challenge by introducing a cascade of CNN with Long Short Term Memory (LSTM) Network for classification of 3D brain tumor MR images into HG and LG glioma. Features from pre-trained VGG-16 were extracted and fed into LSTM network for learning high-level feature representations to classify the 3D brain tumour volumes into HG and LG glioma. The results showed that the features extracted from VGG-16 gave better classification accuracy as compared to the features extracted from AlexNet and ResNet.

I. INTRODUCTION

Abnormal growth of cells in the brain results in a mass, which pushes on the normal structures in the brain. This abnormal mass grows quickly and creates a mass of abnormal cells called a tumour. Brain tumours vary in shape, size and severity level. They are heterogeneous in nature i.e. they can occur anywhere in the Central Nervous System (CNS) and have different Image Intensities. The most frequent brain tumours in adults are gliomas. The abnormal growth of the glial cell in the brain that surrounds the neurons results in the formation of gliomas[1].

V. CONCLUSION & FUTURE WORK

In this work, we have proposed a cascaded CNNLSTM model for volumetric classification of a brain tumour into High Grade and Low Grade glioma. Experimental results on the state of the art CNN architectures have shown that the VGG-16 model performs the best by extracting the high-level feature representations and thus enables the LSTM to effectively discriminate between HG and LG glioma. Another advantage of this method is that it is able to perform robustly on high dimensional 3D data. In future, we will extend this work for segmentation task by designing a model that can accurately predict the pixel labels for a brain tumour with a limited amount of training data.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

یک چارچوب متوالی برای دسته بندی تومور مغزی: CNNN-LSTM

CNN-LSTM: Cascaded Framework For Brain Tumour Classification

شبکه های فشرده سازی و تحریک

Squeeze-and-Excitation Networks

چکیده

1 مقدمه

2 کارهای مرتبط

3 بلوک‌های تحریک و فشار

4 مدل و پیچیدگی محاسباتی

5 آزمایش‌ها

6 مطالعه فرسایشی

7 نقش بلوک SE

8 نتیجه‌گیری

منابع

چکیده

بلوک مرکزی ساختار شبکه‌های عصبی پیچشی  (CNN) اپراتور پیچیدگی است که شبکه‌ها را قادر می‌سازد تا ویژگی‌های اطلاعاتی را با ادغام هر دوی اطلاعات کانال‌وار و فضا درون حوزه‌های پذیرنده محلی در هر لایه ایجاد کنند. طیف گسترده‌ای از تحقیقات پیشین، مولفه‌های فضایی این رابطه را بررسی کرده‌اند و به دنبال تقویت قدرت بازنمایی  یک CNN با بهبود کیفیت کدگذاری‌هایی  فضایی از طریق سلسله مراتب ویژگی‌های آن بوده‌اند. در عوض ما در این کار به بر رابطه کانال تمرکز می‌‌کنیم و یک واحد معماری جدید را پیشنهاد می‌دهیم که آن را با نام بلوک «فشردگی و تحریک» (SE) نام‌گذاری می‌کنیم که به شکل تطبیقی پاسخ‌های ویژگی‌های کانال‌وار را با مدل‌سازی صریح وابستگی‌های متقابل  بین کانال‌ها مجددا کالیبره می‌کند. ما ثابت می‌کنیم که این بلوک‌ها می‌توانند با یکدیگر انباشته شوند تا معماری SENet را تشکیل دهند که به طور کلی در مجموعه‌داده‌های  مختلف بسیار موثر است. سپس ما ثابت می‌کنیم که بلوک‌های SE سبب بهبود چشمگیری در عملکرد پیشرفته‌ترین CCNهای موجود با حداقل هزینه محاسبات اضافی خواهد شد. شبکه‌های فشار و تحریک، بنیاد طرح طبقه‌بندی  ما است که رتبه نخست را در ILSVRC 2017 کسب کرده است و سبب کاهش 5 خطای برتر تا 251 .2% شده است و از برنده سال 2016 نیز با بهبود نسبی 25% برتری دارد. مدل‌ها و کد طرح ما در لینک زیر روبرو در دسترس است: https://github.com/hujie-frank/SENet

2 کارهای مرتبط

معماری‌های عمیق‌تر: VGGNets[11] و مدل‌های آغازین [5] ثابت کردند که افزایش عمق یک شبکه می‌تواند به طور قابل توجهی کیفیت بازنمایی‌هایی را افزایش دهد که قادر به یادگیری هستند. با تنظیم توزیع ورودی‌ها به هر لایه، نرمال‌سازی دسته‌ای (BN) [6] ثبات را به فرآیند یادگیری در شبکه‌های عمیق می‌افزاید و سطوح بهینه‌سازی نرم‌تری را تولید می‌کند [12]. بر اساس این کارها، RESNETS نشان دادند که امکان دارد به شکل عمیق‌تری یادگیری را داشت و از شبکه‌های قوی‌تری از طریق اتصالاتی فارغ از مبتنی بر هویت داشت [13][14]. شبکه‌های بزرگراه [15] ساز و کار گیت‌سازی جدیدی برای تنظیم جریان اطلاعات را در طی میانبرهای اتصالات ارائه دادند. به دنبال این آثار، اصلاحاتی در مورد ارتباطات بین لایه‌های شبکه وجود دارد [16]، [17]، که نشان‌دهنده پیشرفت‌های قابل توجهی در خواص یادگیری و بازنمایی شبکه‌های عمیق است.

یک روش جایگزین، اما نسبتا نزدیک به محدوده مطالعاتی ما بر روی رویکردهایی به منظور بهبود شکل عملکرد عناصر محاسباتی موجود در شبکه متمرکز شده است. ثابت شده است که پیچیش‌های گروه‌بندی شده رویکردی محبوب برای افزایش اندازه تبدیلات آموخته شده است [18]، [19]. ترکیبات انعطاف‌پذیر‌تر از اپراتورها می‌توانند با پیچش‌های چند‌شاخه ای به دست آیند [5]، [6]، [20]، [21] که این قابلیت را می‌توان به عنوان توسعه طبیعی اپراتور گروه‌بندی در نظر گرفت. در کارهای قبلی، همبستگی‌های بین کانالی را معمولا به عنوان ترکیبی از ویژگی‌های جدید به صورت مستقل از ساختار فضایی در نظر می‌گرفتند [22]، [23] یا با استفاده از فیلترهای پیچشی استاندارد [24] با پیچ 1 × 1، نگاشت می‌شدند. بخش عمده‌ای از این تحقیق بر هدف کاهش مدل و پیچیدگی محاسباتی تمرکز کرده است و منعکس‌کننده این ویژگی‌ است که روابط کانال را می‌توان به شکل ترکیبی از توابع نمونه‌ای ندانم‌گرا با حوزه‌های پذیرنده محلی فرموله‌سازی کرد. در مقابل ما ادعا می‌کنیم که با ارائه واحدی با ساز و کاری برای مدل‌سازی صریح پویا، وابستگی‌های متقابل غیرخطی بین کانال‌ها با استفاده از اطلاعات جهانی، می‌توانیم فرآیند یادگیری را تسهیل ببخشیم و به طور چشمگیری قدرت بازنمایی شبکه را بهبود ببخشیم.

جستجوی معماری الگوریتمی: در راستای کارهایی که در بالا شرح داده شد، تاریخچه‌ای غنی وجود دارد که هدف آن چشمپوشی از طراحی معماری دستی است و به جای آن به دنبال ساخت ساختار شبکه به شکلی خودکار است. بسیاری از کارهای اولیه در این حوزه در حوزه تکامل نورونی بوده است که رویکردهایی برای جستجوی توپولوژی‌های شبکه را با روشهای تکاملی ایجاد کرده است [25]، [26]. در حالیکه اغلب تقاضاهای محاسباتی جستجوی تکاملی موفقیت‌های قابل توجهی را به همراه داشت که شامل یافتن سلول‌های حافظه مناسبی برای مدلهای توالی [27]، [28] و یادگیری معماری پیچیده برای طبقه‌بندی تصویر ‌بزرگتر بوده است [29] – [31]. با هدف کاهش بار محاسباتی این روش‌ها، جایگزین‌های کارآمدی برای این رویکرد بر مبنای وراثت لامارکیسم [32] و جستجوی معماری تمایزی [33] پیشنهاد شده است.

VGGFace2: مجموعه داده ای برای تشخیص چهره ها در ژست و سن

VGGFace2 : مجموعه داده ای برای شناسایی چهره ها در هر دو حالت قیافه و سن

چکیده

1 مقدمه

2 بررسی مجموعه‌داده

3 بررسی کلی VGGFACE2

4 گردآوری مجموعه‌داده

5 آزمایشات

6 نتیجه‌گیری

منابع

چکیده

در این مقاله ما یک مجموعه‌داده چهره بزرگ را معرفی می‌کنیم که VGGFace2 نام دارد. این مجموعه‌داده شامل 3.31 میلیون تصویر متعلق به 9131 نفر است که میانگین تصاویر برای هر نفر 362.2 تصویر است. تصاویر از جستجوی تصویر گوگل دانلود شدند و تفاوت‌های زیادی در قیافه، سن، روشنایی، نژاد و حرفه (مانند بازیگران، ورزشکاران، سیاستمداران) به چشم می‌خورد.

این مجموعه‌داده با سه هدف گردآوری شد: (i)داشتن تعداد افراد زیاد و تعداد تصویر زیاد مختص به هر فرد؛ (ii) پوشش طیف گسترده‌ای از قیافه‌ها، سن و نژاد؛ و (iii) به حداقل رساندن نویز برچسب. نحوه گردآوری این مجموعه‌داده بویژه مراحل فیلترینگ خودکار و دستی به منظور تضمین صحت بالا برای تصاویر متعلق به هر شخصیت را توضیح می‌دهیم.

شبکه‌های عصبی کانولوشنی ResNet-50 (با و بدون بلوک‌های فشار و تحریک) را با VGGFace2، MS-Celeb-1M و یگانگی آنها به منظور ارزیابی عملکرد شناخت چهره با استفاده از این مجموعه داده جدید یعنی VGGFace2 آموزش می‌دهیم و نشان می‌دهیم که آموزش دادن با VGGFace2 سبب بهبود عملکرد شناخت قیافه و سن می‌شود. در نهایت با استفاده از مدل‌های آموزش دیده با این‌ مجموعه‌داده‌ها، نهایت عملکرد معیارهای شناخت چهره IJB-A و IJB-B را تعیین می‌کنیم که فراتر از بهترین عملکرد بدست آمده از یک حاشیه وسیع در کارهای قبلی هست. این مجموعه داده و مدل‌ها بصورت آزاد در دسترس قرار می‌گیرد.

2- بررسی مجموعه‌داده

در این بخش بطور خلاصه مجموعه‌داده‌های اصلی گردآوری شده از وب («in the wild») را بررسی می‌کنیم که اخیراً معرفی شده‌اند و از مجموعه‌داده چهره‌های برچسب گذاری شده در وب (LFW) اورجینال 2007 الهام گرفته است. این مجموعه‌داده دارای 5749 شخصیت و 13000 تصویر بود.

مجموعه‌داده +CelebFaces در سال 2014 منتشر شد که دارای 202599 تصویرمتعلق به 10177 شخصیت سلبریتی (افراد مشهور) بود. مجموعه‌داده CASIA-WebFace در همین سال منتشر شد که شامل 494414 عکس متعلق به 10575 نفر بود. مجموعه‌داده VGGFace در سال 2015 منتشر شد و شامل 2.6 میلیون عکس متعلق به 2622 نفر هست. این مجموعه‌داده جزو بزرگ‌ترین مجموعه‌داده‌های عمومی به شمار می‌آید. نسخه منتخب از این مجموعه‌داده که نویز برچسب توسط مفسران انسانی از آن حذف شده است، دارای 800000 تصویر است و تقریباً به ازای هر نفر یا هویت 305 تصویر دارد. مجموعه‌داده‌های CASIA-WebFace و VGGFace تنها به منظور اهداف آموزش دادن منتشر شدند.

مجموعه‌داده‌ MegaFace در سال 2016 به منظور ارزیابی روش‌های شناخت چهره منتشر شد که دارای بیش از یک میلیون عامل پرت در مجموعه تصویر گالری است. این مجموعه‌داده آموزشی‌ شامل 4.7 میلیون عکس متعلق به 672057 شخصیت می‌باشد. با این وجود، میانگین تنها 7 تصویر برای هر شخصیت سبب می‌شود این مجموعه‌داده تفاوت چهره برای هر شخصیت را محدود می‌کند. ، چالش MegaFace به منظور مطالعه تأثیر تفاوت‌های قیافه و سن در شناخت چهره‌ها از زیرمجموعه‌های FaceScrub که حاوی 4000 تصویر از 80 شخصیت است و FG-NET دارای 975 تصویر از 82 نفر برای ارزیابی استفاده می‌کند.

پیش بینی مقاومت فشاری بتن بازیافت شده مبتنی بر یادگیری عمقی

Compressive strength prediction of recycled concrete based on deep learning

چکیده
1- مقدمه
2- شبکه های عصبی مصنوعی و نظریه یادگیری عمقی
2-1 نورون های مصنوعی و شبکه عصبی مصنوعی
2-2 شبکه های عصبی چند لایه ای
3- مواد
3-1 مواد سیمانی
3-2 سنگدانه ها
3-3 طراحی ترکیب بتن و مقاومت فشاری
4- مدل پیش بینی مقاومت بتن بازیافتی مبتنی بر یادگیری عمقی
4-1 ایجاد مدل پیش بینی شبکه عصبی پیچشی
4-2 تمرین مدل پیش بینی
4-3 نتایج و تحلیل پیش بینی ها
5-جمع بندی

چکیده

با در نظر داشتن دشواری های فعلی برای پیش بینی مقاومت فشاری بتن های سنگدانه ای بازیافت شده، این مقاله یک مدل پیش بینی را مبتنی بر نظریه ی یادگیری عمقی ارائه می دهد. نخست، ویژگی های عمقی نسبت آب به سیمان، نسبت جایگذاری سنگدانه های درشت بازیافت شده، نسبت جایگذاری سنگدانه های ریز بازیافت شده ، نسبت جایگذاری خاکستر بادی و ترکیب های آن ها از طریق شبکه های عصبی پیچشی ( کانولوشنی) مشخص می شود. سپس یک مدل پیش بینی با استفاده از رگرسیون سافتمکس ایجاد می شود. 74 مجموعه از بلوک های بتنی با نسبت ترکیب های مختلف در این آزمایش مورد استفاده قرار گرفته است و نتایج نشان می دهد که مدل پیش بینی مبتنی بر یادگیری عمقی ، دقت، کارایی و قابلیت تعمیم بالاتری در مقایسه با روش های متداول مدل های عصبی ایجاد می کند و می توان از آن به عنوان یک روش جدید برای محاسبه ی مقاومت بتن های بازیافت شده، استفاده کرد.

5-جمع بندی

به دلیل تغییر در مشخصات RAC ها ، یک رابطه ی غیر خطی بین مقاومت فشاری RAC ها و نسبت های ترکیب آن وجود دارد. ازین رو ، یک مدل پیش بینی مبتنی بر CNN ها در این مقاله ارائه شده است. مدل CNN می تواند با یادگیری عمیق ویژگی های نسبت آب به سیمان ، نسبت جایگذاری سنگدانه های درشت بازیافت شده، نسبت جایگذاری سنگدانه های ریز بازیافت شده ، و نسبت جایگذاری خاکستر بادی ، مقدار مقاومت RAC ها را پیش بینی کند . برای اثبات ظرفیت روش پیشنهاد شده، 74 مجموعه از بلوک های بتن ساخت و ساز با ترکیب های مختلف در آزمایش استفاده شد. نتایج نشان می دهد که مدل پیش بینی مبتنی بر روش یادگیری عمقی مزیت هایی از جمله دقت بالاتر، کارایی بالاتر و حالت تعمیم بهتر در مقایسه با مدل های شبکه های عصبی متداول دارد.

Abstract

Considering on the current difficulties of predicting the compressive strength of recycled aggregate concrete, this paper proposes a prediction model based on deep learning theory. First, the deep features of water-cement ratio, recycled coarse aggregate replacement ratio, recycled fine aggregate replacement ratio, fly ash replacement ratio as well as their combinations are learned through a convolutional neural networks. Then, the prediction model is developed using the softmax regression. 74 sets of concrete block masonry with different mix ratios are used in the experiments and the results show that the prediction model based on deep learning exhibits the advantages including higher precision, higher efficiency and higher generalization ability compared with the traditional neural network model, and could be considered as a new method for calculating the strength of recycled concrete.

5- Conclusion

Due to the variability in the characteristics of RAC, it is a nonlinear relationship between the compressive strength of RAC and its mixing ratio. Therefore, a predictive model based on CNN is proposed in this paper. The CNN model can predict the strength by learning the deep features of the water-cement ratio, the recycled coarse aggregate replacement ratio, the recycled fine aggregate replacement ratio, the fly ash replacement ratio as well as their combinations. In order to prove the capability of the proposed method, 74 sets of concrete block masonry with different mixing ratios are used in the experiments. The results show that the prediction model based on deep learning exhibits the advantages including higher precision, higher efficiency and higher generalization ability compared with the traditional neural network model.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

پیش بینی مقاومت فشاری بتن بازیافت شده مبتنی بر یادگیری عمقی

Compressive strength prediction of recycled concrete based on deep learning

امنیت با استفاده از پردازش تصویر و شبکه‌های عصبی کانولوشنال عمیق

Security using image processing and deep convolutional neural networks

چکیده

1 مقدمه

2 انگیزه

3 بررسی مقالات

4 کار پیشنهادی

5 پیاده سازی و تحلیل سیستم پیشنهادی

6 نتایج و بحث

7 نتیجه گیری و کار آتی

منابع

چکیده

     ایمنی از مواردی است که تمامی افراد نگران آن هستند. نقض امنیت مکان های خصوصی به تهدیدی تبدیل شده است که هر فردی تمایل دارد آن را از بین ببرد. سیستم های سنتی امنیتی هنگامی که یک نقض امنیتی را شناسایی می کنند، زنگ های هشداردهنده خود را فعال می کنند. با این حال، به کارگیری پردازش تصویر همراه با یادگیری عمیق  با استفاده از شبکه های عصبی پیچشی (کانولوشنی)  برای تشخیص و دسته بندی تصویر در شناسایی یک نقض به روشی ارتقاء یافته کمک می کند و در نتیجه سبب افزایش امنیت به میزان بسیار زیادی می شود. این به دلیل قابلیت آن در استخراج ویژگی های پیچیده از تصاویر با استفاده الگوریتم های دقیق و پیچیده تشخیص چهره و بدن است. نرخی که در آن یادگیری ماشین و به ویژه یادگیری عمیق تبدیل می شود، بسیار زیاد است. با استفاده از چنین فناوری، انتقال سیستم ها و مدل های موجود به سطح بعدی گام عظیمی در راستای پیشرفت ها در هر حوزه علم و فناوری است. چنین روندی در حوزه رایانه نیز وجود دارد. این دو به یکدیگر پیوسته و در حوزه امنیت مورد استفاده قرار می گیرند که منجر به دستیابی به نتایج بهتری نسبت به آنچه که تصور می گردید می شود که هدف این مقاله نیز می باشد.

2- انگیزه
     فناوری در حال تکامل است و پیشرفت های بسیاری در حوزه اینترنت اشیا (IoT) همانند حوزه امنیت ایجاد شده است. هدف این سیستم ارائه امنیت بهتر و بسیار قدرتمندتری است. استفاده از نمایش رایانه ای و یادگیری ماشین کمک زیادی به ارتقاء این سیستم کرده است. این کمک منجر به کاهش تعداد حسگرهای نصب شده در محل برای ایجاد امنیت شده است و بنابراین راه اندازی سخت افزاری را با حداقل تجهیزات امکان پذیر ساخته است. این سیستم توسط الگوریتم های بهینه پردازش تصویر و یادگیری ماشین که در دو سطح متوالی از معماری نرم افزاری سیستم قرار می گیرند پشتیبانی می شود؛ در این سطح فریم های متوالی از یک فایل ویدیویی به عنوان ورودی گرفته می شود و پس از پردازش به یک داده فرمت شده تبدیل می شود که حاوی اطلاعات نفوذ در سیستم است (البته در صورت وجود).

     هوش ماشینی (مصنوعی) یکی از داغ ترین موضوعات در این حوزه فناوری است که به رایانه ها توانایی یادگیری را می دهد که ورودی را از محیط اطراف خود دریافته کنند و اقداماتی برای حداکثر کردن احتمال خروجی موفق به کار گیرند. این فرآیند شمابه با روش اجرا شده در داده کاوی است. داده کاوی داده ها را استخراج می کند در حالی که یادگیری ماشین سعی می کند تا الگوهایی را در داده پیدا کند. در اینجا تصاویر کاربرانی که امکان دسترسی مجاز به داده های امن فراهم شده است، به عنوان مجموعه داده اولیه در آموزش مدل های شبکه عصبی مورد استفاده در شناسایی یک چهره به کار گرفته می شود. سپس این سیستم می تواند چهره افراد مورد نظر را شناسایی کند که در تصمیم گیری ها به ما کمک می کند و به نوبه خود سبب افزایش اثربخشی سیستم امنیتی می شود. در نتیجه، افزودن کاربران جدید به سیستم نیازمند آموزش شبکه عصبی است تا به قابلیت شناسایی چهره های اضافه شده جدید دست یابد. این کار مقادیر جدیدی را برای پارامترهای مورد استفاده در مدل شبکه عصبی تعیین می کند.

     استفاده از نمایش رایانه ای اخیراً به دست آمده است و الگوریتم های مورد استفاده در این حوزه با گذشت زمان بهتر و بهتر می شوند و در دستیابی به نتایج بهتر کمک می کنند. همچنین این مقاله بر پردازش تصویر تمرکز می کند به طوری که قصد داریم چهره ها را از فریم های به دست آمده با استفاده از ماژول های سخت افزاری دوربین که داده ها را به ماژول های کنترل کننده می فرستند، شناسایی کنیم. الگوریتم های پردازش تصویر به نوبه خود تصاویری که از نظر ویژگی غنی هستند را برای پردازش توسط مدل شبکه عصبی در لایه بعدی انتقال می دهد. این سیستم از یک معماری سه لایه ای تبعیت می کند که هر لایه دارای اهمیت خاص خود است؛ لایه اول لایه گیرنده سخت افزاری است، لایه دوم لایه پردازش تصویر است و در نهایت لایه شبکه عصبی قرار دارد.