مبتدی (مناسب برای درک مفهوم کلی مطلب) (ترجمه به صورت خلاصه انجام شده است)

2. مدل شکست آبشاری با نزدیکی هارمونیک
برای غلبه برمشکل درجه و فاصله(میانی بودن)، وزن گره توسط نزدیکی هارمونیک محاسبه می شود که می تواند بیانگر مشکل رسیدن گره به گره های دیگر در شبکه باشد. به طور کلی، هرچه نزدیکی هارمونیک بزرگتر باشد، درجه آن نیز بزرگتر است.
در گسترش شکستهای آبشاری، گره های وزنی بزرگتر متصل به گره شکسته ،بار بیشتری را به خود می گیرند. در شبکه راهنمایی و رانندگی، راننده در جاده پرازدحام مستعد ورود به جاده مجاور با ظرفیت بالای ترافیک است تا بتواند از ازدحام احتمالی جلوگیری کند و به سرعت به مقصد برسد. این بدان معنی است که این فرض با واقعیت مطابقت دارد. از این رو، بار اضافی ΔLij (t) دریافت شده از گره شکسته i در مرحله t متناسب با وزن آن Wj است.

3. نتایج شبیه سازی و تجزیه و تحلیل
از آنجا که ساختار توپولوژیکی یک شبکه به استحکام در برابر شکست آبشارها مربوط می شود، لازم است روش ما را در ساختارهای مختلف توپولوژیکی بررسی کنیم. سه شبکه کلاسیک با N = 1000 ساخته شده است، یعنی شبکه های بارابسی – آلبرت) شبکه های BA) [37]، شبکه) Newman-Watts شبکه های NW) [38]، و شبکه های Erdos-Renyi (شبکه هایER ) [39 ]، به ترتیب.
شبکه های BA به شرح زیر ساخته می شوند: با شروع از شبکه گره های m0، گره جدید متصل به گره های موجود در هر مرحله از زمان به شبکه اضافه می شوند. با توجه به پیوست ترجیحی مبنی بر اینکه احتمال اتصال به گره های موجود متناسب با درجه گره موجود است.
شبکه های NW به شرح زیر ساخته می شوند: از شروع حلقه های معمولی، هر گره به گره های مجاورh وصل می شود و لبه هایی با احتمال خاصی بین گره هایی که به هم وصل نمی شوند اضافه می شوند.
شبکه های ER به شرح زیر ساخته شده اند: در میان گره های جدا شده، لبه هایی با احتمال خاص به طور تصادفی بین گره ها اضافه می شوند.
از آنجا که سه مدل معمولی شبکه ذکر شده در بالا اختلاف کمی برای هر ساخت دارند، داده های ما میانگین شبیه سازی در 20 شبکه مستقل است.
اول از همه، ما روی مقدار Tc تحت تأثیر پارامتر وزن θ تحت مقادیر مختلف از میانگین درجه k تمرکز می کنیم. همانطور که در شکل 1 (a) (b) (c) نشان داده شده است، برای سه شبکه مصنوعی ابتدا مقدار Tc کاهش می یابد و سپس با افزایش مقدار θ افزایش می یابد. این امر به این دلیل است که Tc به گره هاب(گره قطب) و گره های مجاور آن بستگی دارد. هنگامی که مقدار θ کم است، گره درجه کوچکتر گره هاب است و گره های مجاور آن به دلیل دریافت بارهای بیشتر، احتمالاً از کار نمی افتند. در مقابل، برای مقدار بزرگتر θ، گره ای با بار بیشتر گره هاب است. بنابراین، هنگامی که θ یک مقدار معقول برای به حداقل رساندن Tc وجود دارد،ما می توانیم مقدار بهینه پارامتر وزن را بدست آوریم، *θ.در شبکه های BA، NW و ER با مقادیر مختلفی از به ترتیب. علاوه بر این، می توان دریافت که بین Tc و k رابطه منفی وجود دارد. از شکل 1 (d)، در مورد θ *، مقدار Tc در شبکه های BA از مقدار داده شده در شبکه های NW و ER برای مقدار داده شده k کوچکتر است، در حالی که مقدار Tc در شبکه های NW مشابه با شبکه های ER است.
این بدان معنی است که با استفاده از روش ما درشبکه های BA راحت تر از خرابی آبشاری از شبکه های NW و ER جلوگیری می کنند. به منظور کشف رابطه بین CFN و θ، CFN با استفاده از روش ما در سه شبکه مصنوعی برای مقادیر مختلف θ محاسبه می شود زمانی که ⟨k⟩ = 6 .
در شکل 2 (a) مشخص است که بین CFN و θ در شبکه های BA همبستگی منفی وجود دارد، این بدان معنی است که مقدار بزرگتر θ برای تقویت استحکام کل شبکه در برابر شکست های آبشاری تا حدی مفید است.
دلیل اصلی این است که برای شبکه های BA در دامنه θ بزرگتر، بارهای چند گره و تفاوت بارهای اولیه بیشتر است. در این حالت، به دلیل وجود بارهای اولیه کوچک در میان گره ها، حمله به آن گره ها نمی تواند باعث شکست آبشاری شود. یعنی وقتی مقدار θ کوچکتر است، میانگین گره های شکسته ناشی از حمله به هر گره کوچکتر است و لازم است از گره ها با بار بیشتر محافظت شود.
با توجه به تجزیه و تحلیل CFN در شبکه های BA، ما متوجه می شویم که به نظر می رسد تضاد وجود دارد که در مورد ⟨k⟩ = 6، مقدار Tc کم یا حداقل است زمانی که θ = 7.8 باشد از شکل 1 (a) . هرچه مقدار θ بزرگتر باشد، مقدار CFN کوچکتر است از شکل 2 (a). سوالی پیش می آید که چرا Tc از نظر اندازه گیری استحکام با CFN متفاوت است. برای رفع این مشکل، تجزیه و تحلیل زیر در این مقاله وجود دارد.
از شکل 2 (b) (c) دریافت می شود که مقدار CFN با مقدار θ هنگامی که دامنه T بین 1.05 و 1.15 باشد، ارتباط منفی دارد، که به طور ناقص با نتایج شبکه های BA موافق است. با این حال، مقدار CFN زیر θ = 10 در محدوده T> 1.15 از سایرین کوچکتر است. علاوه بر این، ما دریافتیم که مقدار CFN برای مقدار کوچکتر و بزرگتر T در شبکه های NW و ER کمی تغییر می کند. وقتی دامنه T بین 1.1 تا 1.15 باشد، مقدار CFN کاهش قابل توجهی را نشان می دهد. بر اساس تجزیه و تحلیل CFN در سه شبکه، این شباهت وجود دارد که مقدار CFN زیر θ = 6 بزرگترین است، به این معنی که شبکه در برابر خرابی های آبشار، برای مقدار کوچکتر θ آسیب پذیر است.

مبتدی (مناسب برای درک مفهوم کلی مطلب) 

3. مراحل اصلی TLBO
TLBO نیز مانند EA مبتنی بر جمعیت می باشد که فلسفه آموزش و یادگیری در یک گروه را تقلید می کند. دو مرحله اصلی در TLBO وجود دارد: که مرحله آموزش دهنده و مرحله یادگیرنده می باشند. از آنجا که تنها ایده های یادگیری در الگوریتم پیشنهادی یادگیری BSA (LBSA) استفاده می شود، تنها دو مرحله اصلی الگوریتم TLBO در این بخش شرح داده شده است.

3.1 مرحله آموزش دهنده
در مرحله آموزش دهنده، آموزش دهنده دانش خود برای همه ی یادگیرنده ها در گروه توزیع می کند و یادگیرنده ها موقعیت خود را با توجه به آموزش دهنده و موقعیت میانگین گروه حاضر بروز رسانی می کنند. یادگیرنده با بهترین برازش برای آموزش دهنده شدن انتخاب می شود. برای یک مسئله بهینه سازی با ابعاد D، فرض کنید موقعیت یادگیرنده iام X_i={x_1.x_2.….x_(i.D)} باشد، که در آن x_mean نشان دهنده راه حل میانگین گروه حاضر است و x_teacher نشان هنده موقعیت آموزش دهنده می باشد. یادگیرنده iام موقعیت خود را باتوجه به تفاوت بین آموزش دهنده و موقعیت میانگین بروز رسانی می شود

که x_(new.i) و x_(old.i) به ترتیب موقعیت های جدید و پیشین یادگیرنده iام می باشند و rand(•) عددی تصادفی در محدوده [0 , 1] می باشد. مکانیزم انتخاب حریصانه برای پذیرش بهتر x_(new.i) و x_(old.i) استفاده می شود. پس از آنکه موقعیت پذیرفته شود به مرحله یادگیرنده انتقال می یابد. ضریب آموزش T_F ، مقدار میانگین را برای تغییر داده شدن تعیین می کند. مقدار T_F بصورت ابتکاری بر روی 1 یا 2 تنظیم می شود.

3.2 مرحله یادگیرنده
در هر تکرار، یادگیرنده k ام بصورت تصادفی به عنوان هدف یادگیری، یادگیرنده i ام انتخاب می شود. روش یادگیری، یادگیرنده i ام می تواند بصورت ریاضی به شرح زیر بیان شود: که x_(new.i)، موقعیت جدید فرد i ام است و x_(old.i) و x_(old.k) ، به ترتیب موقعیت های پیشین i ام و k ام یادگیرنده ها هستند. علاوه بر این، اگر برازش x_(new.i) نسبت به x_(old.i) بهتر باشد x_(new.i) پذیرفته می شود. ساختار TLBO ساده می باشد و از طرفی پارامترهایی که باید در معادلات بروز رسانی از پیش تعیین شده باشند در این الگوریتم وجود ندارد. به همین دلیل از این الگوریتم بطور گسترده برای حل مسائل بهینه سازی که داری قطعیت می باشند استفاده می شود. با این حال، این الگوریتم نیز دارای دو عیب می باشد. عیب اول آن است که دو F_E برای هر فرد در هر نسل وجود دارد و از این رو هزینه محاسبه یک نسل نسبت به الگوریتمی با یک F_E برای هر فرد در هر نسل بزرگتر است. عیب دوم آن است که دانش یادگیری از بهترین یادگیرنده ها و دو گزینش حریصانه از یک فرد ممکن است تنوع جمعیت را به سرعت کاهش دهد. به منظور بهبود عملکرد BSA، مکانیزمی برای یادگیری TLBO و یک عملگر مقابله کننده برای بهبود تنوع جمعیت در این مقاله پیشنهاد شده است. علاوه بر این، تنها یک F_E از هر فرد در یک نسل وجود دارد، که در بخش بعدی توضیح داده می شود.

4. LBSA
4.1 انگیزه
انگیزه اصلی در ایجاد LBSA ، ترکیب ایده های یادگیری TLBO در BSA بنیادی برای بهبود عملکرد سراسری آن است. در الگوریتم BSA اولیه، زمانی که تنوع جمعیت در آنافاز ( مرحله‌ای از تقسیم میتوز ، که در آن دو نوار سازنده کروموزوم ، از هم جدا می‌شوند) تکاملی تضعیف می شود، توانایی تکامل افراد شروع به ضعیف شدن می کند. این پدیده فرد را از پیدا کردن بهینه سازی سراسری منصرف می کند. علاوه بر این، این عمل نشان می دهد که عملگر یادگیری می تواند سازگاری جمعیت را بهبود بخشد و یادگیری از بهترین فرد می تواند سرعت همگرایی الگوریتم را بهبود دهد و همچنین ظرفیت بهره برداری از الگوریتم را افزایش دهد. در هر حال، این پدیده تنوع جمعیت و ظرفیت شناسایی الگوریتم را با سرعت همگرائی سریعی کاهش خواهد داد. چگونگی افزایش توانایی شناسایی الگوریتم از طریق بهبود تنوع جمعیتی با اصلاح فرآیند بروز رسانی افراد برای بهبود ویژگی های کلی الگوریتم بهینه سازی بسیار مهم می باشد. از این رو، LBSA پیشنهادی عملکرد سراسری BSA بنیادی را توسط اصلاح فرآیند های جهشی بهبود می بخشد.

4.2 جهش LBSA
در BSA بنیادی، تنها از اطلاعات پیشین و موقعیت فعلی یک فرد برای تولید موقعیت جدید استفاده می شود. در این الگوریتم افراد نمی توانند دانش را از آموزش دهنده کل گروه یادبگیرند. برخی از روش های EA که می توانند بهترین فرد را ردیابی می کنند ممکن است سرعت همگرائی الگوریتم را افزایش دهند. برای بهبود توانایی یادگیری BSA، هدایت کننده یادگیری بهترین فرد را در فرآیند جهش الگوریتم معرفی می کند.

روش های یادگیری TBLO قبل از آنکه اصلاح شود در LBSA به کار رفته است . روش جدید شامل 3 بخش می باشد. بخش اول، هر فرد دانش را از یک فرد تصادفی و از جمعیت حاضر ، مانند همان چیزی که در روش TBLO است یاد می گیرد. بخش دوم، هر فرد دانش را از بهترین فرد، که متفاوت از TBLO است یاد می گیرد زیرا از موقعیت میانگین جمعیت حاضر استفاده نمی شود. علاوه بر این، برای افزایش تنوع افراد تولید شده، اجتناب از بدترین فرد نسل حاضر در معادله بروز رسانی درنظر گرفته می شود. در مقابل TBLO، سه روش ذکر شده در LBSA را در یک معادله یکپارچه کرده است و هر فرد تنها یک F_E را در هر نسل کنترل می کند.

4.3 تجزیه و تحلیل تنوع BSA و LBSA
به منظور بررسی تنوع، BSA بنیادی با عملگرهای اصلاح شده بهبود یافته اند و توابع F5 , F6 , F9 و F15 در CEC2005 برای آزمایش تغییر تنوع به عنوان نسل های افزایشی استفاده شده اند. بسیاری از اندازه گیرهای گوناگون، مانند SPD، HPD [38] ، روش های مبتنی بر میانگین فاصله همینگ (Hamming) همه ی افراد، فاصله بین موقعیت همه ی افراد و موقعیت مرکزی جمعیت و آنتروپی [4] وجود دارند. به سادگی و بطور مستقیم تنوع BSA و LBSA تجزیه و تحلیل می شود، روشی ساده شده براساس متوسط فاصله همینگ همه افراد در این مقاله انتخاب شده است. برای مقایسه منصفانه تنوع الگوریتم های BSA و LBSA، فاصله بین دو فرد در محدوده [0 , 1] نرمال سازی می شود.

پارامترهای آموزش عبارتند از: مقدار جمعیت 50 نفر است، شرط پایان الگوریتم حداکثر تعداد تکرار ها است، مقدار تکرار 6000 است، ابعاد توابع 30 است و دو الگوریتم آزمایش شده بیش از 30 بار بطور مستقل از هم اجرا شده اند. تغییرات تنوع میانگین در شکل 1 نشان داده شده است و بیان می کند که تنوع میانگین LBSA نسبت به BSA بنیادی برای بسیاری از تکرارها بهتر است. این کار به LBSA کمک می کند تا براحتی از نقطه بهینه محلی دور شود. شکل 1 (الف) و (ب) نشان می دهد که تنوع LSBA تقریبا نسبت به BSA بهتر است، و تنوع دو الگوریتم در تمام مسیر تکامل مرتعش می باشد. شکل 1 (ج) و (د) نشان می دهند که تنوع LBSA نسبت به BSA در مرحله شروع تکامل بدتر می باشد اما نتایج مخالفی در آنافاز تکاملی بدست آمده است. شکل 1 (ج) و (د) نشان می دهند که تنوع الگوریتم ها در پایان تکامل برای الگوریتم هایی که به نقطه بهینه محلی یا سراسری می رسند تقریبا بدون تغییر هستند.

طبقه بندی تصویر بیولوژیکی با استفاده ازشبکه عصبی مصنوعی راف-فازی

Biological image classification using rough-fuzzy artificial neural network

Abstract

This paper presents a methodology to biological image classification through a Rough-Fuzzy Artificial Neural Network (RFANN). This approach is used in order to improve the learning process by Rough Sets Theory (RS) focusing on the feature selection, considering that the RS feature selection allows the use of low dimension features from the image database. This result could be achieved, once the image features are characterized using membership functions and reduced it by Fuzzy Sets rules. The RS identifies the attributes relevance and the Fuzzy relations influence on the Artificial Neural Network (ANN) surface response. Thus, the features filtered by Rough Sets are used to train a Multilayer Perceptron Neuro Fuzzy Network. The reduction of feature sets reduces the complexity of the neural network structure therefore improves its runtime. To measure the performance of the proposed RFANN the runtime and training error were compared to the unreduced features.

1 Introduction

In complex problems as biological cells image classification, the capture of the essential features must be carried out without a priori knowledge of the image. The increased amount of attributes requires computational complexity and runtime even bigger. Moreover, due to noise in the database caused by excessive image features can cause a reduction in capacity of representation. According to Shang and Qiang (2008), the employment of Rough-Fuzzy features selection mechanism allows the reduction for a low dimensionality features sets from samples descriptions.

For these complex cases from the real life the use of Rough Sets (RS) in the pre-processing of the database has been efficient, since only the most relevant features are used as input parameters for the neural network. The RS has recently emerged as another major mathematical approach for managing uncertainty that arises from inexact, noisy, or incomplete information. It is found to be particularly effective in the area of knowledge reduction (Petrosino & Salvi, 2006).

In these cases, Fuzzy Set theory (FS) and RS represent two different approaches to vagueness. FS addresses gradualness of knowledge, expressed by the fuzzy membership, whereas rough set theory addresses granularity of knowledge, expressed by the indiscernibility relation (Affonso & Sassi, 2010).

An option to simplify the structure of the Artificial Neural Network (ANN) and reduce the noise caused by non-significant features is to use the Rough Set (RS) approach in order to select the most important features. The present paper proposes a new algorithm to realize the feature selection, with the intention to use RS as a tool for structuring the ANN. The methodology consisted of generating rules from training examples by rough-set learning, and mapping the dependency factors of the rules into the connection weights of a four-layered neural network.

The advantage of the Rough-Fuzzy Artificial Neural Network (RFANN) approach consists in the synergy achieved by combining two or more technical capabilities to achieve a more powerful system regarding to learning and generalization (Gomide, Figueiredo, & Pedrycz, 1998). A sequential architecture is used in this work, in which RS and the FS have distinct functions: RS identifies the most critical features, while the FS generates the surface response (input, output) since the Neuro Fuzzy Network (NFN) has Learnability and can adapt itself to the real world.

The paper is organized as follows: Section 2 presents the Literature review, Section 3 presents the Experimental Methodology and Section 4 presents the Conduct of Experiments. The Conclusion is presented in Section 5.

تقسیم بندی معنایی تصویر با CRF های کاملا متصل و شبکه های پیچیده عمیق

Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFs

چکیده
1- معرفی
2 کار مرتبط
3 شبکه های عصبی مصنوعی برای برچسب زدن تصویر مصنوعی
3-1 کارآیی استخراج ویژگی اسلاید کردن مصنوعی پنجره با الگوریتم حفره
3-2 کنترل اندازه فیلد پذیرنده و محاسبه تراکم تسریع کننده با شبکه های پیچیده
4 بازیابی مرزی جزئی: فیلدهای تصادفی شرطی کاملا متصل و پیش بینی چند مقیاسی
4-1 شبکه های پیچیده عمیق و چالش محلی سازی
4-2 فیلدهای تصادفی شرطی کاملا متصل با محلی سازی دقیق
4-3 پیش بینی چند بعدی
5 ارزيابي تجربي
6 بحث

چکیده
شبکه های عصبی مصنوعی عمیق (DCNNs) اخیرا وضعیت عملکرد هنری در وظایف بصری سطح بالا مانند طبقه بندی تصویر و تشخیص شی را نشان دادند .این کار روش های متفاوتی از DCNN ها و مدل های گرافیکی احتمالی برای رسیدگی به وظیفه طبقه بندی سطح پیکسل (همچنین “تقسیم بندی تصویر معنایی” نامیده می شود) را به ارمغان می آورد .ما نشان می دهیم که پاسخ ها در لایه نهاییDCNNs برای تقسیم بندی دقیق شیئ به اندازه کافی متمرکز نیستند. علت آن ویژگی های بسیار تغییرناپذیری ست که DCNNها را برای وظایف سطح بالا مناسب می سازد.ما با ترکیب پاسخ ها در لایه DCNN نهایی با یک فیلد تصادفی محرمانه کاملا متصل(CRF) بر این ویژگی محلی سازی نامرغوب شبکه های عمیق غلبه می کنیم. از لحاظ کیفیت، سیستم “DeepLab” ما قادر به محاسبه تقسیم مرزها به سطح دقت فراتر از روش های قبلی است . از لحاظ کیفیت ،روش ما جدیدترین حالت هنر را در PASCAL VOC-2012 وظیفه تقسیم بندی تصویر معنایی معین می کند، رسیدن به 71.6٪ دقت IOU در مجموعه آزمون. ما نشان می دهیم چگونه این نتایج را می توان به طور موثری به دست آورد: اهداف دقیق شبکه وکاربرد جدید از الگوریتم “سوراخ” از جامعه موجک محاسبه تراکم پاسخهای شبکه عصبی با 8 فریم در ثانیه بر روی GPU مدرن را اجازه می دهد.
1 معرفی
شبکه های عصبی مصنوعی عمیق (DCNNs) روش انتخابی برای شناخت سند از LeCun و همکاران بوده است (1998)، اما اخیرا تبدیل به جریان اصلی پژوهش بصری سطح بالا شده است. در طول دو سال گذشته، DCNNها عملکرد سیستم های بینایی کامپیوتر را به افزایش ارتفاع در یک مجموعه گسترده از مشکلات سطح بالا تحت تاثیر قرار داده اند، از جمله طبقه بندی تصویر(Krizhevsky و همکاران، 2013؛ Sermanet و همکاران، 2013؛ Simonyan و Zisserman، 2014؛ Szegedy و همکاران، 2014؛ Papandreou et al.، 2014)، تشخیص شی (Girshick و همکاران، 2014)، رده بندی دقیق دانه (Zhangو همکاران، 2014)، در میان دیگران. موضوع مشترک در این آثار این است که DCNN ها در وضعیت پایان تا پایان آموزش دیده اند تا تحویل دهند به طرز قابل ملاحظه ای نتایج بهتر را نسبت به سیستم های تکیه بر بازنمودهای دقت مهندسی ارائه می دهد، مانند ویژگی های SIFT یا HOG. این موفقیت می تواند تا حدودی حمل بر تغییرناپذیریDCNNها به تحولات تصویر محلی باشد، که توانایی آنها در یادگیری انتزاع سلسله مراتبی از اطلاعات را پشتیبانی می کند(Zeiler & Fergus، 2014). در حالی که این تغییرات به وضوح برای وظایف بینایی سطح بالا مطلوب است،این می تواند مانع انجام وظایف در سطوح پایین مانند برآورد آستانه (Chen & Yuille، 2014؛ Tompson et al.،2014) و تقسیم بندی معنایی – جایی که ما می خواهیم دقیق تر محلی سازی کنیم، سریعتر از انتزاع جزئیات مکانی باشد.
6 بحث
کار ما ترکیبی از ایده های شبکه های عصبی پیچیده عمیق و زمینه های تصادفی شرطی به طور کامل متصل است، ارائه یک روش جدید قادر به تولید پیش بینی های دقیق معنایی و نقشه های تقسیم بندی مفصل است ، در حالی که از نظر محاسباتی کارآمد باشد. نتایج تجربی ما نشان می دهد که روش پیشنهادی به طور قابل ملاحظه ای پیشرفت داشته این state-of-art در وظیفه تقسیم بندی تصویر معنایی PASCAL VOC 2012 در حال رقابت است.
در مدل ما چندین جنبه وجود دارد که ما قصد داریم آن را اصلاح کنیم، مثلا به طور کامل این دو اجزای اصلی را با هم ادغام کنیم (CNN و CRF) و تمام سیستم را در حالت end-to-end آموزش دهیم، شبیه بهKr¨ahenb¨uhl & Koltun (2013)؛ چن و همکاران (2014)؛ ژنگ و همکاران (2015). ما همچنین قصد داریم با مجموعه داده های بیشتر آزمایش کنیم و روشمان را با منابع دیگر داده مانند نقشه های عمیق و یا فیلم ها امتحان کنیم. به تازگی ما آموزش مدل پیشنهادی را با حاشیه نویسی ضعیف تحت نظارت دنبال کرده ایم، به شکل محدود کردن جعبه یا برچسب سطح تصویر (Papandreou et al.، 2015).
در سطح بالایی، کار ما در تقاطع شبکه های عصبی پیچیده و مدل های گرافیکی احتمالی قرار دارد ما قصد داریم تا بیشتر در مورد تعامل میان این دو طبقه قدرتمند از روش ها تحقیق کنیم و پتانسیل خود را برای به چالش کشیدن وظایف دیداری کامپیوتر کشف کنیم.

Abstract

Deep Convolutional Neural Networks (DCNNs) have recently shown state of the art performance in high level vision tasks, such as image classification and object detection. This work brings together methods from DCNNs and probabilistic graphical models for addressing the task of pixel-level classification (also called ”semantic image segmentation”). We show that responses at the final layer of DCNNs are not sufficiently localized for accurate object segmentation. This is due to the very invariance properties that make DCNNs good for high level tasks. We overcome this poor localization property of deep networks by combining the responses at the final DCNN layer with a fully connected Conditional Random Field (CRF). Qualitatively, our “DeepLab” system is able to localize segment boundaries at a level of accuracy which is beyond previous methods. Quantitatively, our method sets the new state-of-art at the PASCAL VOC-2012 semantic image segmentation task, reaching 71.6% IOU accuracy in the test set. We show how these results can be obtained efficiently: Careful network re-purposing and a novel application of the ’hole’ algorithm from the wavelet community allow dense computation of neural net responses at 8 frames per second on a modern GPU.

1 INTRODUCTION

Deep Convolutional Neural Networks (DCNNs) had been the method of choice for document recognition since LeCun et al. (1998), but have only recently become the mainstream of high-level vision research. Over the past two years DCNNs have pushed the performance of computer vision systems to soaring heights on a broad array of high-level problems, including image classification (Krizhevsky et al., 2013; Sermanet et al., 2013; Simonyan & Zisserman, 2014; Szegedy et al., 2014; Papandreou et al., 2014), object detection (Girshick et al., 2014), fine-grained categorization (Zhang et al., 2014), among others. A common theme in these works is that DCNNs trained in an end-to-end manner deliver strikingly better results than systems relying on carefully engineered representations, such as SIFT or HOG features. This success can be partially attributed to the built-in invariance of DCNNs to local image transformations, which underpins their ability to learn hierarchical abstractions of data (Zeiler & Fergus, 2014). While this invariance is clearly desirable for high-level vision tasks, it can hamper low-level tasks, such as pose estimation (Chen & Yuille, 2014; Tompson et al., 2014) and semantic segmentation – where we want precise localization, rather than abstraction of spatial details.

6 DISCUSSION

Our work combines ideas from deep convolutional neural networks and fully-connected conditional random fields, yielding a novel method able to produce semantically accurate predictions and detailed segmentation maps, while being computationally efficient. Our experimental results show that the proposed method significantly advances the state-of-art in the challenging PASCAL VOC 2012 semantic image segmentation task.

There are multiple aspects in our model that we intend to refine, such as fully integrating its two main components (CNN and CRF) and train the whole system in an end-to-end fashion, similar to Krahenb ¨ uhl & Koltun (2013); Chen et al. (2014); Zheng et al. (2015). We also plan to experiment ¨ with more datasets and apply our method to other sources of data such as depth maps or videos. Recently, we have pursued model training with weakly supervised annotations, in the form of bounding boxes or image-level labels (Papandreou et al., 2015).

At a higher level, our work lies in the intersection of convolutional neural networks and probabilistic graphical models. We plan to further investigate the interplay of these two powerful classes of methods and explore their synergistic potential for solving challenging computer vision tasks..

مبتدی (مناسب برای درک مفهوم کلی مطلب)

F1874

تشخیص مرسوم ژست دست: روش های مبتنی بر سنسور RGB
2.1 تشخیص ژست های پویای دست
تکنیک های مورد استفاده برای HGR پویا را می توان به صورت زیر دسته بندی نمود: الف) HMM [10-23] و سایر روش های آماری [24-31]، ب) ANN [32-34] و سایر روش های مبتنی بر یادگیری [35، 36]، c) [37، 38]، d) روش های مبتنی بر فضای ویژه, تناسب منحنی [39]، و e) برنامه نویسی پویا [40] / انحراف زمان پویا [41، 42] (شکل 3).

2.1.1 HMM و سایر روش های آماری
HMM پراستفاده ترین تکنیک HGR است. HMM یک مدل آماری است که در آن سیستم مدلسازی شده به عنوان یک فرآیند مارکوف با پارامتر های مجهول فرض می شود. HMM, نشان دهنده رفتار آماری توالی نماد قابل مشاهده با استفاده از شبکه ای از حالات پنهان با احتمالات انتقال و انتشار است. HMM را زمانی می توان برای تشخیص الگو استفاده کرد که پارامترهای پنهان با استفاده از داده های قابل مشاهده شناسایی شوند.
روشهای پویای تشخیص ژست مبتنی بر HMM عمدتاً از ویژگیهای زمانی و فضایی تصاویر ورودی استفاده می کنند. Chen و همکاران [14] از توصیفگر فوریه و تحلیل حرکت مبتنی بر جریان اپتیک به ترتیب به منظور مشخص کردن ویژگی های فضایی و زمانی استفاده نمودند. این الگوریتم با استفاده از ردیابی دست در زمان واقعی، شکل دست را از پس زمینه های پیچیده استخراج می کند. شناساگرهای مبتنی بر HMM, بهترین مدل ژست احتمال را برای یک الگوی معین شناسایی می کنند. تغییرات در ژست از یک الگوی مرجع، احتمال این ژست را با مدل کاهش می دهند.
Lee و Kim [10] یک مفهوم مدل آستانه مبتنی بر HMM را برای فیلتر کردن الگوها با احتمال کمتر معرفی کردند. جهت حرکت دست برای نشان دادن توالی های فضایی-زمانی ژست ها استفاده می شود. این روش به طور قابل اعتماد نقطه پایانی یک ژست را تشخیص می دهد و نقطه شروع را با ردیابی به عقب می یابد.
HMM مبتنی بر زنجیره های مارکف همگن است زیرا پویایی سیستم تنها توسط احتمالات گذار مستقل زمان تعیین می شود. Marcel و همکاران [15] یک فرمت HMM، یعنی مدل ورودی / خروجی مخفی مارکوف (IOHMM) را برای HGR پیشنهاد کردند. IOHMM مبتنی بر یک زنجیره غیرهمگن مارکوف است که احتمالات انتقال و انتشار آن به ورودی بستگی دارد. IOHMM یاد می گیرد تا توالی های ورودی، مشاهدات، توالی های خروجی و کلاس های ژست را برای همه مشاهدات با استفاده از یادگیری اختیاری تحت نظارت یاد بگیرد. در مقایسه با HMMها، IOHMM یک رویکرد تبعیض آمیز است زیرا به طور مستقیم احتمالهای خلفی را مدلسازی می کند. مطالعه در [15] محدود به 2 کلاس بود. Just و همکاران [13], این مطالعه را برای شناختن حرکات تک و دوبل دست گسترش دادند و یک مقایسه از HMM و IOHMM ارائه کردند. آزمایشات انجام شده بر روی پایگاه های داده بزرگتر، اعم از 7 تا 16 کلاس ژست، نتیجه گرفتند که برای تعداد زیادی از کلاس ها, HMM عملکرد خوبی نسبت به IOHMM دارد.
ویژگی های موقعیت دست، زاویه و سرعت در [11] برای پیاده سازی HMM در HGR ترکیب می شوند. دست توسط تجزیه و تحلیل رنگ-پوست موقعیت یابی می شود و با اتصال مرکز حرکت ناحیه های دست ردیابی می شود. این مقاله، مطلوبیت سه ویژگی، موقعیت، زاویه و سرعت را مقایسه کردند و نتیجه گرفتند که ویژگی های زاویه ای, موثرترین هستند و دارای قدرت تشخیص بهتر هستند. ویژگی های مکان و سرعت, به ترتیب رتبه دوم و سوم را دارند. یک پیاده سازی HMM مشابه با استفاده از زوایای حرکت در امتداد مسیر مرکز دستی در [16] ارائه شده است.
Ramamoorthy و همکاران توسط ترکیب طرح مشخص سازی زمانی مبتنی بر HMM با یک سیستم تشخیص شکل استاتیک [12], یک سیستم HGR را توسعه دادند. آنها از یک ردگیر خط دستی مبتنی بر فیلتر کالمن استفاده کردند که ویژگی های زمانی ژست را ارائه می کند. اشکال با استفاده از طبقه بند مبتنی بر متمایزکننده خط شناخته می شوند. این توصیفگرهای نمادین ژست ها برای آموزش HMM استفاده می شوند. این سیستم می تواند به طور قابل اطمینان, ژست های دینامیک را به رغم تغییرات حرکت و گسسته در ژست های دست تشخیص دهد. همچنین این الگوریتم توانایی تشخیص نقاط شروع و پایان توالی های ژست را دارد.
الگوریتم های تشخیص ژست پویا از یک طرح نقطه یابی رو به عقب استفاده می کنند که ابتدا نقطه پایان یک ژست را تشخیص می دهد و سپس به سمت نقطه شروع ردیابی می شود. Kim و همکاران [17] یک روش جایگزین، یک طرح نقطه گذاری مستقیم را پیشنهاد کردند که به طور همزمان بخش بندی و تشخیص ژست را اجرا می کند. نقاط شروع و پایان ژست ها توسط عبورهای از صفر احتمال دیفرانسیل سیگنال شناسایی می شوند. مجموعه ای از ویژگی های مبتنی بر تشریح سه بعدی با استفاده از روش نگاشت ارتباطی استخراج می شوند که داده های شکل دو بعدی را به داده های مفصل سه بعدی متصل می کند. ژست ها با یک رای اکثریت با استفاده از HMM تجمعی طبقه بندی می شوند.
Davis و Shah [31] ژست ها را به چهار مرحله متمایز تقسیم نمودند که در یک نظم ثابت اتفاق می افتد و یک مدل ماشین حالت متناهی (FSM) را برای تشخیص توسعه دادند. نشانه زماني حرکت دست استخراج می شود و ژست های دست با استفاده از FSM در [29] مدلسازی می شود. مفهوم انرژی حرکت برای تخمین حرکت غالب از یک توالی تصویر استفاده می شود. Hong و همکاران [30] از موقعیت های دوبعدی مراکز سر و دستان افراد برای توسعه FSM استفاده نمودند. مدل پویای شبکه بیزی در [24] برای تشخیص ژست های جدا شده و پیوسته دست ارائه شده است. ویژگی های استفاده شده عبارتند از کدهای جهت برای حرکت دست، رابطه موضعی بین دو دست و رابطه موقعیتی بین صورت و دست.
Chen و همکاران [25] از یک روش دو مرحله ای تجزیه و تحلیل آماری و نحوی به ترتیب برای تشخیص ژست های دستی استاتیک و پویا پیشنهاد کردند. سطح اول، تجزیه و تحلیل آماری، بر اساس یک الگوریتم یادگیری AdaBoost و ویژگی های Haar-مانند است. سطح دوم، تجزیه و تحلیل نحوی، مبتنی بر یک گرامر تصادفی عاری از زمینه (SCFG) است. ویژگی های Haar-مانند به طور موثر الگوی وضعیت دست را توصیف می کنند و الگوریتم AdaBoost, یک طبقه بند قوی را با ترکیب یک دنباله ای از طبقه بندهای ضعیف ایجاد می کند. موقعیت های شناسایی شده توسط سطح اول به دنباله ای از رشته های ترمینال با توجه به دستور زبان، در مرحله دوم تبدیل می شوند.

2.1.2 ANN و سایر روشهای مبتنی بر یادگیری
Yang و همکاران [32، 33] از یک شبکه عصبی تاخیر زمانی (TDNN) برای یادگیری مسیرهای حرکت دو بعدی استفاده کردند. TDNN, یک شبکه چند لایه تغذیه-مستقیم است که از پنجره های جابجایی بین تمام لایه ها برای نشان دادن روابط زمانی بین وقایع استفاده می کند. طبقه بندی در TDNN, پویا است، زیرا این شبکه, تنها یک پنجره کوچک از الگوی حرکت ورودی را می بیند و پنجره بر روی داده های ورودی لغزش می کند در حالی که شبکه, یک سری تصمیمات موضعی می گیرد. این تصمیمات موضعی به صورت زمانی با یک تصمیم کلی در لایه خروجی یکپارچه می شوند.

مبتدی (مناسب برای درک مفهوم کلی مطلب) 

1.1 خوشه بندی: K-mean: یک تصویر را به گروه ها یا خوشه های K با اضافه کردن نقاط تقسیم می کند، p خوشه ای است که در آن تفاوت بین نقطه و میانگین کوچکترین است. [22، 12،19، 3]. خوشه بندی سخت مرزهای شکل را بین خوشه ها [5] فرض می کند. خوشه فازی: الگوریتم تقسیم بندی تصویر مبتنی بر شکل [3، 5].برنامه های کاربردی: تصویربرداری پزشکی و سیستم های امنیتی. مزایا: تقسیم بندی تصویر مبتنی بر شکل. معایب: برخی از الگوریتم های خوشه بندی مانند خوشه بندی K-means مناطق مستمر را تضمین نمی کند. این نقص در روش Split و Merge غالب است [3].

1.2 تقسیم و ادغام: دو بخش: در ابتدا کل تصویر که به عنوان یک منطقه تنها گرفته شده است، بارها تقسیم می شود تا زمانی که هیچ شکاف بیشتری وجود نداشته باشد، درخت چهارگوش یک ساختار داده تقسیم شده است، سپس دو منطقه با هم ادغام می شوند اگر مجاور و مشابه باشند، ادغام تکرار می شود تا زمانی که امکان ادغام وجود نداشته باشد [7، 5، 3]. سه مرحله:استفاده از درخت چهار گوش بهبود یافته (IQM) ، مرحله1 تصویر را درهم می شکافد، مرحله دوم لیست همسایه ها را راه اندازی می کند و مرحله 3 ادغام مناطق تقسیم شده است. مزایا: مناطق متصل تضمین شده و IQM مشکلات همسایگی طولانی در طول ادغام را کاهش می دهد. معایب: موقعیت و جهت گیری تصویر منجر به تقسیم نهایی بلوکی می شود و تقسیم منظم به وسیله شکافتن به تقسیم بندی زیاد (مناطق بیشتر) منجر می شود [3]. این نقص می تواند غلبه بر استفاده از برش های نرمالیزه باشد[20، 18، 3].

1.3 برش های نرمال شده: هدف برش های نرمالیزه در تقسیم مطلوب کاهش تعداد مناطق است. این روش مبتنی بر نظریه گراف است. هر پیکسل یک رأس در یک گراف است، لبه ها با پیکسل های مجاور پیوند دارند. وزن با توجه به شباهت، فاصله، رنگ، سطح خاکستری یا بافت در لبه است و به همین ترتیب بین دو پیکسل متناظر اختصاص داده شده است [3، 5، 18، 20]. برنامه های کاربردی: تصاویر پزشکی [20، 18، 3]. مزایا: بدون نیاز به ادغام مناطق بعد از تقسیم، تعریف بهتر لبه ها، معیار جدید بهینه برای پراکندگی یک گراف به خوشه ها و ویژگی های تصویر متفاوت مانند شدت، بافت رنگ، پیوستگی کانتور در یک شبکه یکنواخت مورد بررسی قرار می گیرند. معایب: محاسبات پیچیده [3].

1.4 منطقه رو به رشد: منطقه رو به رشد یکی از روش های محبوب است. با یک پیکسل شروع می شود و به اضافه کردن پیکسل ها بر اساس شباهت، به منطقه ادامه می دهد، تا زمانی که تمام پیکسل ها به یک منطقه تعلق دارند، تکرار می شود. [3، 5 … 7]. برنامه های کاربردی:بخش هایی از بدن انسان را تقسیم می کند. مزایا: مناطق متصل معیارهای متعدد در زمان مشابه که نتایج بسیار خوبی را با سر و صدای کمتر می دهد، تضمین می کند. معایب: تقسیم بندی زیاد زمانی که تصویر و یا تغییرات بشدت پر سر و صدا است، نمی تواند سایه ای از تصاویر واقعی و قدرت و زمان مصرفی را تشخیص دهد [3].

1.5. Threshold: پیش زمینه یا شی را از پس زمینه [3 … 14] به مجموعه های همپوشانی [13] جداسازی می کند.
تکنیک های تجزیه آستانه گروه بندی شده در کلاس ها:
• تکنیک های محلی که بر اساس خواص محلی از پیکسل ها و همسایگی آنها است.
• تکنیک های جهانی یک تصویر را بر پایه اطلاعات به دست آمده در سطح جهانی تقسیم می کنند (به عنوان مثال با استفاده از هیستوگرام تصویر ؛ خواص بافت جهانی)
• تکنیک های تقسیم، ادغام و رشد هر دو مفهوم همگنی و مجاورت هندسی را برای به دست آوردن نتایج تقسیم بندی مطلوب [8] استفاده می کنند.
فازی C-means: الگوریتم و استراتژی های روش ها می تواند تقسیم بندی آستانه تصویر و سنجش از دور را با بارها تکرار و ثبات و استحکام مطلوب[5، 8، 22] بهبود بخشد. یک مجموعه فازی مجموعه ای از نقاط پیوسته کلاس نمرات عضویت بدون مرز تیز است [11] شکل 3 را ببینید.
تصاویر سطح خاکستری با انتخاب یک مقدار آستانه تنها به تصاویر باینری تبدیل می شوند (T)، بنابراین تصویر باینری باید حاوی اطلاعات در مورد موقعیت و شکل اشیاء، پیش زمینه باشد [5، 8].
در مناطق آستانه طبقه بندی شده بر اساس مقادیر محدوده، به مقدار شدت پیکسل تصویر اعمال می شود[3، 5].
پیکسل ها با استفاده از مقادیر محدوده یا مقادیر Threshold طبقه بندی می شوند به:
آستانه جهانی که در آن یک مقدار آستانه واحد در کل تصویر استفاده می شود، 2. محلی، (سازگار) [8]، مقدار آستانه به هر پیکسل برای تعیین اینکه آیا آن متعلق به پیکسل پیش زمینه یا پیکسل پس زمینه است اختصاص داده شده است [3، 5، 6، 8]، 3.مقدار آستانه T توسط هیستوگرام های تجزیه و تحلیل تصویر انتخاب شده است که می تواند یکی از این دو مدل باشد:
هیستوگرام های Bimodal دو قله و دره روشن را نشان می دهند، T نقطه دره است [13، 8، 3]، 2.هیستوگرام های چندگانه، شکل 2را ببینید، پیچیده ترهستند، با بسیاری از قله ها و دره های غیر روشن، بنابراین آسان نیست انتخاب این مقدار T [13، 8].

تکنیک آستانه
• تکنیک میانگین: از مقدار میانگین پیکسل ها به عنوان مقدار آستانه استفاده می کند [8].
• P-Tile Technique: یکی از قدیمی ترین روش های آستانه است، از دانش در مورد اندازه مساحت شیء، بر اساس
هیستوگرام سطح خاکستری استفاده می کند ، فرض می کند که اشیا روشن تر از پس زمینه هستند و یک درصد ثابت، شناخته شده به عنوان P٪، از منطقه عکس را اختصاص می دهد. برنامه های کاربردی: مناسب برای تمام اندازه های اشیاء. مزایا: قابلیت های ضد صوتی خوب و ساده . معایب: در صورتی که نسبت مساحت شیء ناشناخته باشد یا تغییر کند، قابل اجرا نیست [8].
• تکنیک هیستوگرام وابسته (HDT): وابسته به موفقیت برآورد مقدار آستانه که دو منطقه همگن از شی و پس زمینه را جدا می کند. برنامه های کاربردی: برای تصویر با homogenous بزرگ و مناطق را جدا می کند [8].
• تکنیک حداکثر سازی لبه (EMT): به حداکثر لبه بستگی دارد ، تکنیک های تشخیص لبه، آستانه برای شروع تقسیم بندی و عملکرد آستانه خودکار ‡ بسیار بهتر می شود [5، 8، 15].برنامه های کاربردی: برای تصویر با بیش از یک منطقه همگن. مزایا: اجتناب از ادغام بین شی و پس زمینه [8].
• تکنیک بصری: راه جدید، به عنوان P-Tile. معایب: فعال نیست زمانی که، به طور کلی، تکنیک های آستانه مناسب برای برنامه های کاربردی ساده هستند [3]. دلیل تصویر باینری [8]، و راه تقسیم بندی، محاسباتی ارزان و سریع است [3] ساده ترین است و به طور گسترده برای تقسیم بندی تصویر استفاده می شود [8]. آستانه چند مرحله برای جداسازی تصاویر پیچیده [3] بکار می رود.

مبتدی (مناسب برای درک مفهوم کلی مطلب) 

افراد مستلزم شدند که حرکات محدود ایزتونیکی را که مرتبط با دو Dof مچ شامل، کشش، انعطاف ، درون گردانی و چرخش ، در کنار چهار DoF از دست شامل قدرت، فشار داردن ، حرکات کلیدی، و گرفتن های کروی بود.ترکیب حرکات دست و مچ، هم صورت گرفت.افراد نیرو ها را در حالتی که روی یک صندلی نشته بودند و دست راستشان را در یک جایگاه دست قرار داده بودند، نیرو ها را ایجاد کردند.یک پشتیبانی دستی سفارشی ساخته شده به همراه یک دینامومتر تجاری (Gamma FT-130-10, ATI Industries) برای ثبت و فراهم کردن فیدبک به فرد در مورد سطح فعال سازی مچ برای هر کار، مورد استفاده قرار گرفت.نیروی گرفتن با استفاده از اندازه گیری نیرو های انگشتان ، همانطور که توسط دیگران به خوبی انجام شده بود، انجام پذیرفت.برای انجام کار های گرفتنی، چهار فرد برای یک مدل گرفتن، انتخاب شدند تا یک شی را نگه دارند.این اشیا با سنسور های FSR ( به صورت سفارشی 1 سانتی متر ) روی سطحشان قرار گرفتن تا نیرو های اعمال شده توسط انگشتان را اندازه گیری کند.تمام سیگنال ها، با نرخ 1000 نمونه، در ثانیه، نمونه برداری شدند.

2.2 روند آزمایشی
مزیان حداکثر انقباض ارادی، (MVC) برای هر فرد، به منظور نرمال کردن سطح نیروی مورد نیاز، در طول آزمایش ثبت شد.نرم افزار های مبتنی بر متلب، برای اکتساب اطلاعات مورد نیاز از فرد ، مورد آزمایش قرار گرفت.هر جلسه آزمایشی شامل 96 جلسه آزمایشی بود که هر کدام شامل دو تکرار یک 1_Dof و 2-DoF وظیفه بود که از افراد خواسته میشد تا 4 نیروی انقباضی پایین (25% MVC) و متوسط (50%MVC) در هر کار انجام دهند که بین هر 12 تمرین، یک مرحله استراحت 5 دقیقه ای به افراد داده میشد.هر کار نهایتا، 6 ثانیه طول میکشید؛ زمان دقیق ، بر عملکرد فرد تاثیر داشت .

2.3 استخراج نیرو های هم نیروزایی عضلات
بر اساس فرضیه هم افزایی عضلات، هر پاسخ عضلانی باید به صورت یک ترکیب خطی یا تعداد کمی از الگوهایی فعال سازی عضلات و هم افزایی عضلات ، توصیف شود.به علاوه، المان های هم نیروزایی و وزن آن ها در هر پاسخ، باید ثبت شود.زیرا فعال سازی عضلات، مد نظر است.Tresch و همکارانش، پیشنهاد دادند که فرضیه هم افزایی عضلات میتواند فرموله شود.

تشخیص هم افزایی عضلات، میتواند از طریق روش های مختلفی مانند آنالیز اجزای اصلی (PCA) ، آنالیز عامل ماکسیموم احتمالی ( FA) ، فاکتور سازی غیر منفی ماتریکس ( NMF) ، و آنالیز اجزای مستقل (ICA) انجام شود.NMF رایج ترین روش برای شناسایی، هم افزایی عضلات و ضرایب فعال سازی آنها هنگامی که مجموعه ای از الگوهای فعال سازی را ایجاد میکنند، است، زیرا، هم نیروزایی های مشخص شده با استفادها ز این روش ، نه تنها از نظر فیزیولوژیکی ، به خاطر محدودیت منفی بودن، صحت بیشتری داد، بلکه همرنیروزایی های شناسایی شده، محدودیت های از لحاظ تعداد یا استقلال استاتیکی ، همانطور که در روش های PCA و ICA وجود دارد، ندارند.
تعداد مناسب هم نیروزایی، مشابه کمترین تعداد اجزای لازم برای توضیح 90% واریانس ثبت شده EMG ، برای هر فرد با استفاده از NMF، تعیین شد.شکل 1 نشان میدهد که این چگونه واریانس، با افزایش تعداد هم نیروزایی ها برای یک فرد معمولی، افزایش میابد.برای هر فرد، 6 و یا 7 هم نیروزایی برای توصیف 90% واریانس ، کافی است.برای نگه داشتن آن ها در پهنای باند نیروهای اندازه گیری شده، ورودی های عصبی به صورت پایین گذر در 2Hz فیلتر شدند و قبل از فراهم شدن برای تخمین زننده، این کار انجام شد.

2.4 آنالیز اطلاعات
بعد از استخراج هم نیروزایی ها، ورودی های عصبی مربوطه و اینکه آن ها برای یک ANN ، فراهم شدند، هدف ANN، نیروی اندازه گیری شده ی در هر DoF در طول تمرین، بود.؛ANN ها ، بر اساس استفاده ی از الگوریتم پس انتشار ، آموزش داده شد.50 % اطلاعات MVC ، برای توسعه تمرین و مجموعه های تاییدی، در راستای یافتن ساختار بهینه برای ANN ، توسعه یافت.
مجموعه اعتبار یابی، برای تعیین مقادیر بهنیه لایه های عصبی پنهان (8) مورد استفاده قرار گرفت و برای تعیین شرایط توقف برای آموزش ANN ، مورد استفاده قرار گرفت. ( هنگامی که خطاهای اعتباری برای 6 دور پشت سر هم افزایش یابد، یا خطاهای زیر یک سر حد 0.001 کاهش یابد)
اطلاعات با استفاده از پنجره های 200ms با افزایش های 50ms ،بخش بندی شد.ANN ها ، 50 بار امتحان شد و ANN با کمترین اخطار روی اطلاعات اعتبار یابی، برای تست در راستای تخمین 25% mvc ، تست شد.
آنالیز تست روی پنجره آنالیز با طول 200ms ، اجرا شد.تاخیر پردازشی روی این پنجره ms 200 حداقل است( کمتر از 1ms) و به طور عمومی پذیرفته شده است که برای استفاده همرمان پروتز ، زمان جذب باید از 300ms بیشتر نباشد.
2.4.1 تخمین نیرو
پروفایل های انقباضات پایین ( 25%MVC) برای تست و از پروفایل های انقباضی (50%MVC) برای تمرین و اعتبار دهی مدل تخمین زدن نیرو، مورد استفاده قرار گرفت.از اطلاعات انقباض متوسط (مجموعه تمرینی)، 80 % (انتخاب شده به صورت رندوم)در طول تمرین استفاده شد و 15 % باقی مانده، برای اعتبار دهی مورد استفاده قرار گرفتند.مجموعه تمرینی شامل فقط 1-DoF یا هم1-DoF و 2-DoF بودند، بر اساس سناریو تخمینی که در زیر توضیح داده میشود.
دو سناریو تخمینی در نظر گرفته شد، که هر کدام از کارهایی از پیش تعریف شده ای استفاده میکردند که برای استخراج هم نیرو زایی ها مورد استفاده قرار میگرفت.سپس از هم نیرو زایی های برای محاسبه ورودی ها عصبی اطلاعات تست، مورد استفاده قرار میگرفت.زیرا، برای هر فرد، 8 تکرار از هر کار ثبت میشد ، و مجموعه های تمرینی مخالف میتواند برای هر فرد ایجاد شود.
در سناریو اول ( تمیرینات 2-DoF) ، مدل تخمینی (در سطح متوسط) تمرین داده شده و ( برای سطح پایین) ، با استفاده از وظایف DoF منفرد و ترکیبی، تست شد.مجموعه تمرینی این سناریو شامل تمام 1Dof ها و 2-DoF های 50% mvc در کار های بودند.در سناریو دوم، وظایف 2-DoF از مجموعه های تمرینی حذف شده بودند ؛ که این کار باعث میشود سناریو برای یک فرد قطع عضو، از نظر زمان و تلاش ، عملی تر باشد.این یک سناریو تخمینی چالشی تر را ایجاد میکند، زیرا تخمین زننده نیرو باید برای کار های 2-DoF تعمیم داده شود.اما، مجموعه تست هنوز شامل انقباضات 1-DoF و 2-DoF بود
اجرا آنالیز تخمین نیرو با استفاده از هم نیرو زایی ها، بررسی شد، و با مورد استفاده از مقادیر مطلق میانگین مبتنی بر کانال از EMG مشابه ورودی های ANN، مقایسه شد.
توانایی ANN برای تخمین نیرو با استفاده از ضریب تعیین (R2 ) و اخطار مجذور ریشه میانگین (RMSE) ، کمی سازی شد.اینجا، RMSE به عنوان اخطار بین مقدار واقعی و مقدار تخمین زده ی نیرو، تعریف شده است.

تخمین خلوص تری اتیلن گلیکول یا TEG در واحدهای دهیدراسیون گاز طبیعی با استفاده از شبکه عصبی فازی

Estimation of triethylene glycol (TEG) purity in natural gas dehydration units using fuzzy neural network

Abstract

Natural gas usually contains a large amount of water and is fully saturated during production operations. In natural gas dehydration units’ water vapor is removed from natural gas streams to meet sales specifications or other downstream gas processing requirements. Many methods and principles have been developed in the natural gas dehydration process for gaining high level of triethylene glycol (TEG) purity. Among them, reducing the pressure in the reboiler at a constant temperature results in higher glycol purity. The main objective of this communication is the development of an intelligent model based on the well-proven standard feed-forward back-propagation neural network for accurate prediction of TEG purity based on operating conditions of reboiler. Capability of the presented neural-based model in estimating the TEG purity is evaluated by employing several statistical parameters. It was found that the proposed smart technique reproduces the reported data in the literature with average absolute deviation percent being around 0.30%.

1 Introduction

Generally, large amount of water is accompanied by natural gas (NG) in the reservoir. Because of this, the produced NG is completely saturated or at the water dew point. With the aim of meeting sales specifications or other downstream gas processes like gas liquid recovery, gas dehydration operation is employed in NG industry to remove the water vapor (Bahadori, 2009a; Bahadori, 2009b; Bahadori et al., 2008). From economic and safety points of view, the water moisture content of NG must be maintained below a certain threshold (Bahadori, 2007; Bahadori and Vuthaluru, 2009a,b; Gharagheizi et al., 2013; Ghiasi, 2012; Ghiasi and Mohammadi, 2013; Masoudi et al., 2005; Mohammadi et al., 2005). In cases where dew point depressions should be of the order of 15
to 49
C, glycols are commonly used (Lubenau and Mothes, 2009). Amongst different glycols such as diethylene glycol (DEG), triethylene glycol (TEG), and tetraethylene glycol (TREG), that are used as liquid desiccants, the most common choice for NG dehydration is TEG (Piemonte et al., 2012). Operation and maintain of liquid desiccant dehydration equipment is simple (Gironi et al., 2010; Nivargi et al., 2005). This type of dehydration could be easily automated for unattended operation; glycol dehydration at a remote production well is such an example (Bahadori, 2009b; GPSA, 2004).

Fig. 1 shows the gas stripping section in NG dehydration unit. It is well-known that pressure reduction in the reboiler (reconcentrator) at a constant temperature contributes to higher glycol purity. Operating range of most reconcentrators is between 1.7 and 5.2 kPa of pressure (Stewart and Arnold, 2011; Wichert and Wichert, 2004). On standard atmospheric reconcentrators, pressures more than 7 kPa could lead to glycol loss from the still column and reduction of both lean glycol concentration and dehydration efficiency (Bahadori et al., 2014). Furthermore, pressures more than 7 kPa are commonly associated with excess water in the glycol. Consequently, a vapor velocity exiting the still great enough to sweep glycol out will be created (Stewart and Arnold, 2011). On the other hand, pressures less than atmospheric are responsible for increase in the concentration of lean glycol. This is a consequence of decrease in boiling temperature of rich glycol/water mixture (Stewart and Arnold, 2011).

As a result of aforementioned issues, it is crucial to calculate TEG purity as a function of reconcentrator pressure and temperature. The main objective of the presented study is evolving a neural-based model for accurate prediction of TEG purity on the foundation of multilayer perceptron (MLP) artificial neural network (ANN) as a well-proven algorithm of machine learning approach. To the best of author’s knowledge, there is no published work on the subject of TEG purity modeling versus reboiler temperature at various levels of pressure in gas dehydration systems by means of MLP neural networks. Overview of ANNs, computational procedure to develop a proper model, and results of the presented model constitute the rest of the manuscript. The last part concludes this communication.

مروری بر فنون مختلف تشخیص جعل کارت اعتباری

A Revived Survey of Various Credit Card Fraud Detection Techniques

چکیده
I. مقدمه
.II تکنیک های مورد استفاده توسط کلاه برداران از کارت اعتباری
.III روش های تشخیص کلاه برداری از کارت اعتباری
(I) روش ترکیبی با استفاده از تئوری دمپستر شافر و یادگیری بیزی
(II) هیبریداسیون Blast-Ssaha
(III) مدل پنهان مارکف (مدل پنهان مارکف)
(IV) تشخیص کلاه برداری از کارت اعتباری با استفاده از الگوریتم ژنتیک
(V) تشخیص داده پرت بر اساس نزدیک ترین همسایه معکوس (K (SODRNN
(VI) شبکه عصبی مصنوعی
(I) شبکه عصبی پس انتشار (BPNN)
(II) شبکه عصبی نقشه خود سازماندهی (SOMNN)
(VII) درخت های تصمیم گیری و ماشین آلات بردار پشتیبان
(VIII) سیستم بر اساس منطق فازی
(II) سیستم فازی داروینی
(IX) تشخیص کلاه برداری با استفاده از آموزش متا
IV. نتیجه گیری و کارهای آینده

چکیده
استفاده از کارت های اعتباری به عنوان یک پیشرفت گسترده در فن آوری تجارت به وجود آمده و رشد کرده است. کارت اعتباری به یک روش بسیار مهم پرداخت تبدیل شده است ، بنابراین با افزایش معاملات با کارت اعتباری، کلاه برداری از کارت اعتباری نیز امروزه مکرر انجام می شود. [1] بنابراین، یک سیستم تشخیص کلاه برداری برای حفظ قابلیت اطمینان در سیستم پرداخت ضروری است. معیار اطمینان در معاملات برای صاحبان کارت اعتباری مهم است به طوری که آن ها بتوانند برای خدمات و محصولات که در اینترنت ارائه شده است با خیال راحت پرداخت الکترونیکی انجام دهند. در یک پست بانک بسیاری از معاملات به طور همزمان انجام می شود، بنابراین یک سیستم تشخیص کلاه برداری باید بین معامله مشروع، کلاه برداری مشکوک و معامله نامشروع تمایز قائل شود. [4] بسیاری از تکنیک های مدرن و جدید که در شبکه عصبی، هوش مصنوعی، شبکه بیزی ، داده کاوی، سیستم ایمنی مصنوعی، الگوریتم سیستم نزدیکترین همسایه K ، درخت تصمیم، اساس منطق فازی ، بردار پشتیبانی ماشین ، ماشین یادگیری ، برنامه نویسی ژنتیک و غیره بر این اساس وجود دارد ، که در تشخیص کارت های اعتباری مختلف در معاملات جعلی توسعه یافته اند. این مقاله نشان دهنده یک نظرسنجی از تکنیک های مختلف که مکانیزم تشخیص کلاه برداری در کارت اعتباری استفاده می شود.

I. مقدمه
سیستم های پرداخت الکترونیکی تجارت با توجه به استفاده گسترده از خرید مبتنی بر اینترنت و بانکداری به طور فزاینده ای محبوبیت پیدا کرده است. [4] کلاه برداری از کارت اعتباری یکی از بزرگترین تهدیدها برای سازمان تجارت امروز است. با این حال، غلبه بر کلاه برداری ، درک مکانیسم های اجرای یک کلاه برداری به طور موثر مهم است. به عنوان مثال ما نیاز به درک تکنیک های سایبری کلاه برداری از کارت اعتباری داریم. [1] از آنجا که پیش از این کلاه برداری فقط با شناسایی صورت حساب کارت اعتباری انجام شده است، جلوگیری از معاملات جعلی بسیار سخت بوده . بنابراین نیاز به اطمینان در معاملات بدون مواجهه برای صاحبان کارت اعتباری در هنگام استفاده از کارت های اعتباری خود در پرداخت های الکترونیکی برای کالاها و خدمات ارائه شده در اینترنت یک معیار است.
انواع کلاه برداری:
کلاه برداری از کارت اعتباری به دو نوع تقسیم بندی می شوند؛
(I) کلاه برداری آنلاین از کارت اعتباری (و یا کلاه برداری بدون کارت) و
(II) کلاه برداری آفلاین از کارت اعتباری (کلاه برداری با کارت)
کلاه برداری آنلاین از کارت اعتباری (همچنین به عنوان کلاه برداری سایبری از کارت اعتباری شناخته می شود) که بدون حصور کارت اعتباری انجام می شود اما در عوض، از اطلاعات کارت اعتباری برای خرید الکترونیکی کالاها و خدمات را بر روی اینترنت استفاده می شود. [4] کلاه برداری آنلاین از کارت اعتباری با یک کارت اعتباری که در بیشتر موارد دزدیده شده است یا جعلی است انجام می شود و در نتیجه در یک فروشگاه محلی و یا یک مکان فیزیکی برای خرید برخی از کالا و یا خدمات مورد استفاده قرار می گیرد.
در بسیاری از کلاهبرداری های سایبری کارت اعتباری وجود دارد. برخی از آن ها]1 [ :
(I) اطلاعات خریداران با کارت اعتباری : این کلاهبرداران با مهارت های رایانه ای حرفه ای کمی مانند برنامه نویسی کامپیوتر، شبکه و غیره با سرقت یا هک اطلاعات کارت اعتباری در وب سایت غیر قانونی فروش کارت اعتباری، به سرعت خرید کالا و محصولات آنلاین انجام می دهند.
(II) دزد فیزیکی کارت اعتباری: این کلاهبرداران از لحاظ جسمی کارت های اعتباری را سرقت میکنند و ممکن است با استفاده از اطلاعات موجود در آن پرداخت الکترونیکی در اینترنت انجام دهند.
(III) هکرها کلاه سیاه : کسانی که امنیت کامپیوتر را نقض و به دنبال نیت بدخواهانه و یا منافع شخصی هستند. آن ها اهداف خود را با استفاده از یک فرآیند دو جانبه شناخته شده به عنوان “مرحله قبل از هک کردن” انتخاب می کنند؛ که شامل هدف قرار دادن، تحقیقات و جمع آوری اطلاعات و در نهایت حمله است. این هکرها در برنامه نویسی کامپیوتر و شبکه های کامپیوتری بسیار ماهر و با چنین مهارت های آن ها می توانند یک شبکه از رایانه را هدف قرار دهند. هدف اصلی آن ها نفوذ و یا هک کردن و سرقت اطلاعات شخصی و خصوصی مانند اطلاعات کارت اعتباری، اطلاعات حساب بانکی و غیره برای منافع شخصی است.

Abstract

As there is a vast advancement in the E-commerce technology, the use of credit cards has grown up. The credit card has become the crucial mode of payment so with the rise in the credit card transactions, the credit card frauds have also become frequent nowadays. [1] Thus, an improved fraud detection system has become essential to maintain the reliability of the payment system. The criterion is to assure secured transactions for credit card owners so that they can make electronic payment safely for the services and goods which are provided on internet. In an e-bank many transactions undergo simultaneously, so a fraud detection system should distinguish between legitimate, suspicious fraud and an illegitimate transaction.[4] There are many modern and new techniques which are based on Neural Network, Artificial Intelligence, Bayesian Network, Data mining, Artificial Immune System, K- nearest neighbor algorithm, Decision Tree, Fuzzy Logic Based System, Support Vector Machine, Machine learning, Genetic Programming etc., that has developed in detecting various credit card fraudulent transactions. This paper represents a survey of various techniques which are used in credit card fraud detection mechanisms.

I. INTRODUCTION

E-commerce payment systems have become increasingly popular due to the widespread use of the internet-based shopping and banking. [4] Credit Card Fraud is one of the largest threats to business organizations today. However, to overpower the fraud effectively, it is important to first understand the mechanisms of executing a fraud i.e. we need to understand the techniques of cyber credit card frauds. [1] Since earlier the fraud is detected only when the billing for credit card is done, it is very hard to prevent fraudulent transactions. Therefore the need to assure unexposed transactions for credit-card owners when using their credit cards to make electronic payments for goods and services provided on the internet is a criterion. Types of Frauds:- The credit-card fraud is divided into two types; (i) The online credit card fraud (or no card present fraud) and (ii) The offline credit card fraud (card present fraud) The online credit-card fraud (also known as cyber credit card fraud) is committed with no presence of a credit-card but instead, the use of a credit-card information to make electronic purchase for goods and services on the internet. [4] The offline credit-card fraud is committed with the presence of a credit-card which in most cases have been stolen or fake and thereby used at a local store or a physical location for the purchase or some goods or services. There are many cyber credit card fraudsters. Some of them are [1]: (i) Credit-card information buyers: these are the fraudsters who either have little or no professional computer skills like computer programming, networking etc. They buy stolen or hacked credit card information on an illegal credit card sales website, with the intension of buying goods and products online. (ii) Physical credit-card stealers: these are the fraudsters who physically steal credit cards may be by pick pocketing and use the information on it for making e-payment on internet for shopping. (iii) Black hat hackers: “Black hat hackers” which are also known as a cracker are those who violate computer security with malevolent intentions or for personal gains. They choose their targets using a two-pronged process known as the “pre-hacking stage”; which includes Targeting, Research and Information Gathering and finally finishing the Attack. These hackers are highly skilled in Computer Programming and Computer Networking and with such skills they can barge in a network of computers. The main purpose of their act of intrusion or hacking is to steal personal or private information such as credit-card information, bank-account information, etc. for their own personal gains.

مقاله انگلیسی رایگان

ترجمه فارسی رایگان 

بخشی از ترجمه فارسی مقاله:

چکیده
تکنولوژی های شبکه های عصبی مصنوعی (ANNها) ظرفیت های شناسایی شبکه های عصبی مغز را مدل سازی میکند. مشابه با نورون ها داخل مغز، شبکه های عصبی ورودی ها را از بسیاری از منابع خارجی دریافت کرده، آن ها را پردازش کرده و بر اساس آن ها تصمیم گیری میکنند. بسیار جالب است که بدانیم که ANN ها سیستم نورون های عصبی را شبیه سازی کرده و مقایسه های نورون های تطبیقی عصبی را انجام میدهد. این شبکه های مصنوعی نیازمند ساختار های صلب و آزمایشی نیستند و میتوانند توابع را تنها با استفاده از داده های پیش زمینه ای و یا داده های ناقص نیز نگاشت کنند که این موضوع موجب میشود این شبکه ها ابزار بسیار قوی برای شبیه سازی سیستم های مختلف غیر خطی باشند. این شبکه های عصبی مصنوعی در زمینه های مختلف کاربرد دارند، مانند زمینه های مهندسی، زمینه های تشخیص الگو، و مدل سازی. ANN ها در بسیاری از ابعاد داروسازی شامل مدل سازی شبکه های عصبی مغزی، تحلیل داده ها ، مدل سازی دارویی، ساختار پروتئین ها و عملکرد آن ها، بهینه سازی دوز دارو ها و تولید دارو، مدل سازی های شناسایی و تحویل دارو و تحقیقات دارویی نیز به صورت گسترده مورد استفاده قرار میگیرد.
1. مقدمه
در دهه ی گذشته، شبکه های عصبی مصنوعی توجه بسیار زیادی را از طرف دانشمندان و مهندسان دریافت کرده اند و به عنوان یکی از بزرگترین ابزار محاسباتی در این زمینه مورد استفاده قرار میگیرد. بسیاری از این توجه به این دلیل است که این شبکه ها میتوانند توانایی مغز انسان را شبیه سازی کنند تا فرآیند یادگیری را انجام دهند. این شبکه میتواند تصمیم گیری کرده و زمانی که در معرض اطلاعات ناقص قرار میگیرد نتیجه گیری مناسب انجام دهند. علاوه بر این، در بعضی از سطوح اولیه، شبکه های عصبی میتوانند روند های خلاقیت مغز انسان را برای تطبیق با شرایط جدید، تقلید کنند. این ابزار، یکی از بهترین روش ها برای محاسبات عددی و همچنین محاسبات غیر عددی میباشد. به صورت خاص، ANN ها یکی از ابزار قوی برای شبیه سازی سیستم های غیر خطی مختلف هستند و در بسیاری از روش ها و مسائل عددی با پیچیدگی زیاد، از این شبکه ها استفاده میشود، در زمینه هایی شامل مهندسی، روان شناسی، شیمی دارویی، تشخیص بیماری، و تحقیقات دارویی.

2. مدل سازی شبکه های عصبی مصنوعی
مدل های محاسبه ای که از فر آیند های زیستی الهام گرفته است ، موجب شده که این ANN ها بتوانند بسیاری از توانایی های پردازشی عصبی مغز انسان را شبیه سازی کنند. به صورت میانگین مغز انسان شامل 100 میلیارد نورون عصبی است که هر کدام از آن ها با هم 1000 تا 10000 اتصال دارند. یک نورون شامل سه بخش اصلی میباشد – دندریت ها ( که به شاخه های زیادی منشعب میشود) که سیگنال ها را به سلول منتقل میکند، بدنه ی سلولی که اطلاعات را دریافت و آن ها را پردازش میکند، وآکسون ( یک دنباله ی طولانی) میباشد. ( شکل 1) . این آکسون سیگنال ها را از سلول خارج کرده و آن را به دندریت های نورون بعدی و یا دریافت کننده ی یک سلول ، منتقل میکند. سیگنال ها در همه و یا هیچ کدام از نورون ها تفسیر میشوند . تمام اتصالات در مغز ، این قابلیت را به مغز داده است تا الگو ها را شناسایی کرده و خروجی ها را پیش بینی کند. به صورت مشابه با مغز، ANN ها شامل نورون هایی هستند که به عنوان واحد های پردازشی فعالیت میکنند که به آن ها نورون های مصنوعی گفته میشود. اتصالات میان تمام این نورون ها از نظر قوت تفاوت دارد که این تفاوت توسط وزن های لایه مشخص میشود. ANN ها عملکرد مغیز انسان را تقلید کرده و به صورت پتانسیل میتواند رویای دانشمندان برای ایجاد ماشین هایی که بتوانند مانند انسان فکر کنند را محقق سازد. ANN ها یادگیری و عمومی سازی رفتار مغز انسان را از طریق مدل سازی داده ها و شناسایی الگو های مغزی برای حل مسئله های پیچیده، شبیه سازی میکنند. یک تفاوت بسیار محسوس بین شبکه های عصبی و یک مدل آماری این است که ANN ها میتوانند روابط بین متغیر های مستقل و وابسته را بدون توابع خاص ریاضی ، عمومی سازی کنند. ازین رو، یک ANN برای حل مسئله های غیر خطی با متغیر ها و پاسخ های مختلف حل کنند، مانند تحلیل های فضایی در روابط فعالیت های ساختاری کمی در مطالعه های دارویی و پیش بینی ساختار در توسعه ی دارو ها.
انواع بسیار متفاوتی از شبکه های عصبی وجود دارد و در عین حال بسیاری از شبکه های جدید نیز اختراع میشود : اما، تمام پویش ANN را میتوان با تابع تبدیل شان در واحد پردازش (PE) ، قوانین یادگیری و فرمول های اتصالات آن توصیف کرد. PE که بخش ساختاری ANN است، بسیاری از سیگنال ها را به عنوان متغیر های فرآیندی وزن دار از پاسخ دیر واحد ها دریافت میکند و پردازش را روی آن ها انجام میدهد. رایج ترین ANN هایی که مورد استفاده قرار میگیرد ، شبکه های پیش انتشار هستند که توسط روش پس انتشار خطا تمرین داده میشوند.

بخشی از مقاله انگلیسی:

Abstract

Artificial neural networks (ANNs) technology models the pattern recognition capabilities of the neural networks of the brain. Similarly to a single neuron in the brain, artificial neuron unit receives inputs from many external sources, processes them, and makes decisions. Interestingly, ANN simulates the biological nervous system and draws on analogues of adaptive biological neurons. ANNs do not require rigidly structured experimental designs and can map functions using historical or incomplete data, which makes them a powerful tool for simulation of various non-linear systems.ANNs have many applications in various fields, including engineering, psychology, medicinal chemistry and pharmaceutical research. Because of their capacity for making predictions, pattern recognition, and modeling, ANNs have been very useful in many aspects of pharmaceutical research including modeling of the brain neural network, analytical data analysis, drug modeling, protein structure and function, dosage optimization and manufacturing, pharmacokinetics and pharmacodynamics modeling, and in vitro in vivo correlations. This review discusses the applications of ANNs in drug delivery and pharmacological research.

1. INTRODUCTION

In the past decade, neural networks have received a great deal of attention among scientists and engineers and they are being touted as one of the greatest computational tools ever developed. Much of this excitement is due to the ability of neural networks to emulate the brain’s ability to learn by example. This network makes decision and draws conclusionseven when presented with incomplete information. Moreover, at some primitive level, neural network imitates brain’s creative process in adapting to a novel situation [1]. It is a very good statistical tool for many numeric as well as nonnumeric calculations. Specifically, ANNs are known to be a powerful tool to simulate various non-linear systems and have been applied to numerous problems of considerable complexity in many fields, including engineering [1], psychology, medicinal chemistry [2, 3], diagnostics [4, 5], and pharmaceutical research [6].

2. ARTIFICIAL NEURAL NETWORKS MODELING As biologically inspired computational model, ANN is capable of simulating neurological processing ability of the human brain. Average human brain contains about 100 billions of neurons with each neuron being connected with 1000-10,000 connections to others. A single neuron consists of three major parts—dendrites (fine branched out threads) carrying signals into the cell, the cell body receiving and processing the information, and the axon (a single longer extension) (Fig. 1). The axon carries the signal away and relays it to the dendrites of the next neuron or receptor of a target cell. The signals are conducted in all-or-none fashion through the cells. All the connections in the brain enable it to learn, recognize patterns, and predict outcomes.Similarly to the brain, ANN is composed of numerous processing units (PE), artificial neurons. The connections among all the units vary in strength, which is defined by coefficients or weights. The ANN mimics working of human brain and potentially fulfills the cherished dream of scientists to develop machines that can think like human beings.ANNs simulate learning and generalization behavior of the human brain through data modeling and pattern recognition for complex multidimensional problems. A significant difference between an ANN model and a statistical model is that the ANN can generalize the relationship between independent and dependent variables without a specific mathematical function. Thus, an ANN works well for solving nonlinear problems of multivariate and multiresponse systems such as space analysis in quantitative structure-activity relationships in pharmacokinetic studies [7] and structure prediction in drug development [8]. There are many types of neural networks with new ones being continually invented; however, all ANNscan be characterized by their transfer functions of their processing units (PE), the learning rules, and by the connections formulas. PE, building component of ANN, receives many signals as weighted process variables from the response of other units [9]. The most commonly applied ANN layout is forward propagating network trained by error backpropagation developed by Rumehart et al. [10]. The forward propagation network consists of input layer, one or more hidden layers and one output layer (Fig. 2) [11]. The input layer provides data from the external source. The mapping of the input data occurs by neural network hidden layers, then the final representative signal is generated by the output layer [10, 12]. The ability of neural networks to classify information depends on hidden layers, which are fully connected by the synapses to the neighboring layers.