دانلود ترجمه مقاله Deep learning در شبکه های عصبی – مجله الزویر

• فهرست مطالب:

 چکیده
پیشگفتار
۱ مقدمه ای بر یادگیری عمیق (DL) در شبکه های عصبی (NN)
مخفف ها به ترتیب حروف الفبا
علامتگذاری رویداد گرا برای گسترش فعالسازی در NN
۳ عمیق مسیرهای تخصیص اعتبار (CAP) و مسائل
۴ موضوعات تکراری یادگیری عمیق
۱ ۴ برنامه ریزی پویا برای یادگیری نظارت شده/ تقویتی (SL/RL)
۲ ۴ تسهیل SL و RL با یادگیری نظارت نشده (UL)
۳ ۴ نمایش سلسله مراتبی یادگیری از طریق SL، UL، RL عمیق
۴ ۴ فشرده سازی و طول توصیف حداقل یا کمینه (MDL)
۵ ۴ واحدهای پردازش گرافیکی سریع (GPU) برای DL در NN
۵ NN های نظارت شده با کمک NN های نظارت نشده
۱ ۵ NN های اولیه از دهه ۱۹۴۰ ( و ۱۸۰۰)
۲ ۵ حول و حوش ۱۹۶۰ قشر دیداری برای DL الهام بخش است ( بخش های ۴ ۵، ۱۱ ۵)
۳ ۵ ۱۹۶۵ شبکه های عمیق مبتنی بر روش گروهی داده گردانی
۴ ۵ ۱۹۷۹ پیچش+ تکرار وزن+ زیرنمونه گیری (Neocognitron)
۵ ۵ ۱۹۸۱ ۱۹۶۰ و بعد از آن توسعه پس انتشار (BP) برای NN
۱ ۵ ۵ BP برای NN های پیشرو به اشتراک گذاشتن وزن (FNN) و NNهای بازگشتی (RNN)
الگوریتم ۱ ۵ ۵ یک تکرار از BP برای FNN یا RNNهای به اشتراک گذاشتن وزن
۶ ۵ اواخر ۲۰۰۰ ۱۹۸۰ و بعد از آن بهبودهای متعدد NN
۱ ۶ ۵ ایده هایی برای مقابله با تاخیرهای زمانی طولانی و CAP های عمیق
۲ ۶ ۵ BP بهتر از طریق نزول گرادیان پیشرفته ( مقایسه بخش ۲۴ ۵)
۳ ۶ ۵ جستجوی NN های حل مسئله آسان و ساده (بخش ۲۴ ۵)
۴ ۶ ۵ مزایای بالقوه UL برای SL (مقایسه بخشهای ۷ ۵، ۱۰ ۵، ۱۵ ۵ )
۷ ۵ ۱۹۸۷ UL از طریق سلسله م۸ ۵ ۱۹۸۹ BP برای NN های پیچشی
راتب ( مقایسه بخش ۱۵ ۵)
۹ ۵ ۱۹۹۱ مسئله یادگیری عمیق بنیادی نزول گرادیان
۱۰ ۵ ۱۹۹۱ فشرده سازی تاریخچه مبتنی بر UL از طریق پشته عمیق RNN
۱۱ ۵ ۱۹۹۲ در راستای MPCNN ( مقایسه بخشهای )
۱۲ ۵ ۱۹۹۴ NN های اولیه برنده رقابت
۱۳ ۵ ۱۹۹۵ فراگیر بسیار عمیق بازگشتی نظارت شده
۱۴ ۵ ۲۰۰۳ NN های برنده رقابت/ تعیین کننده رکورد NN های عمیق موفق
۱۵ ۵ ۲۰۰۶/۲۰۰۷ UL برای شبکه های باور عمیق/ پشته های AE تنظیم شده با BP
۱۶ ۵ ۲۰۰۶/ ۲۰۰۷ بهبود یافته برای پشته های
۱۷ ۵ ۲۰۰۹ اولین رقابت های رسمی که RNN ها با MPCNN فاتح آن بودند
۱۸ ۵ روی GPU، رکورد MNIST را در هم می شکند
۲۰ ۵ ۲۰۱۱ بهینه سازی آزاد هسی برای RNN
۲۱ ۵ ۲۰۱۲ اولین رقابت های برنده شده روی ، تشخیص شی و قطعه بندی
۲۲ ۵ ۲۰۱۳ رقابت های بیشتر و رکوردهای محک
۲۳ ۵ تکنیک های در حال حاضر موفق و
۲۴ ۵ ترفندهای اخیر برای بهبود NN های عمیق SL ( مقایسه بخشهای ۲ ۶ ۵ و ۳ ۶ ۵)
۲۵ ۵ نتایج عصب شناسی
۲۶ ۵ DL با نورون های اسپایکی؟
۶ DL در FNN و RNN برای یادگیری تقویتی (RL)
۱ ۶ RL از طریق مدلهای جهانی NN RNN هایی با CAP های عمیق حاصل می کند
۲ ۶ FNN های عمیق برای RL سنتی و فرایند تصمیم گیری مارکو (MDP)
۳ ۶ RL RNN های عمیق برای MDP های قابل مشاهده در حد جزئی (POMDP)
۴ ۶ RL تسهیل شده با UL عمیق در FNN و RNN
۵ ۶ RL سلسله مراتبی عمیق (HRL) و یادگیری زیرهدف با FNN و RNN
۶ ۶ RL عمیق با جستجوی مستقیم NN/ گرادیان سیاست/ تکامل
۷ ۶ RL عمیق با جستجوی غیر مستقیم سیاست/ جستجوی فشرده NN
۸ ۶ RL جهانی
۷ نتیجه گیری و چشم انداز

• بخشی از ترجمه:

یادگیری عمیق (DL) در شبکه های عصبی (NN) به یادگیری نظارت شده (SL)، یادگیری نظارت نشده (UL) و یادگیری تقویتی (RL) ربط دارد. با حل مسائل مسیرهای تخصیص اعتبار عمیق (CAP)، UL نه تنها SL توالی ها و الگوهای ایستا بلکه همچنین RL را تسهیل می نماید. برنامه ریزی پویا (DP) روشی مهم برای SL عمیق و RL سنتی با NN های عمیق می باشد. جستجو برای NN هایی با پیچیدگی پائین، مقاوم در برابر اختلال برای محاسبه راه حل که توسط چند بیت اطلاعات وصف می شوند، می تواند برازش بیش از حد را کاهش داده و عمیق و همچنین RL را حتی در مورد محیط های قابل مشاهده در حد جزئی بهبود بخشد.
عمیق اغلب سلسله مراتبی از نمایش های مجرد تر داده های ایستا، داده های ترتیبی، یا سیاست های RL ایجاد می کنند. درحالیکه UL می تواند SL را تسهیل نماید، SL خالص برای NN های پیشرو (FNN)، و NN های بازگشتی (RNN) نه تنها در رقابت های اولیه بلکه در اکثر رقابت های اخیر برنده شدند. به ویژه DL در FNN از پیاده سازی GPU سود برد. به ویژه NN های پیچشی، و مبتنی بر GPU در رقابت های مربوط به تشخیص الگو و همچنین قطعه بندی تصویر و تشخیص شی برنده شدند.
برخلاف این سیستم ها، انسان ها یاد می گیرند الگوها را با توجه به اجزای مربوطه داده های موجود، فعالانه درک کنند. NN های عمیق آینده نزدیک، نیز این کار را انجام داده و کار قبلی از سال ۱۹۹۰ پیرامون NN هایی که توجه انتخابی را از طریق RL (a) اعمال حرکتی نظیر کنترل جهشی و (b) اعمال درونی که نورافن های توجه در RNN ها را کنترل کرده و حلقه حسی حرکتی عمومی را از طریق بازخورد برونی و درونی می بندند، یادمی گیرند، توسعه می دهند.

• بخشی از مقاله انگلیسی:

Preface This is the preprint of an invited Deep Learning (DL) overview. One of its goals is to assign credit to those who contributed to the present state of the art. I acknowledge the limitations of attempting to achieve this goal. The DL research community itself may be viewed as a continually evolving, deep network of scientists who have influenced each other in complex ways. Starting from recent DL results, I tried to trace back the origins of relevant ideas through the past half century and beyond, sometimes using ‘‘local search’’ to follow citations of citations backwards in time. Since not all DL publications properly acknowledge earlier relevant work, additional global search strategies were employed, aided by consulting numerous neural network experts. As a result, the present preprint mostly consists of references. Nevertheless, through an expert selection bias I may have missed important work. A related bias was surely introduced by my special familiarity with the work of my own DL research group in the past quarter-century. For these reasons, this work should be viewed as merely a snapshot of an ongoing credit assignment process. To help improve it, please do not hesitate to send corrections and suggestions to juergen@idsia.ch. 1. Introduction to Deep Learning (DL) in Neural Networks (NNs) Which modifiable components of a learning system are responsible for its success or failure? What changes to them improve performance? This has been called the fundamental credit assignment problem (Minsky, 1963). There are general credit assignment methods for universal problem solvers that are time-optimal in various theoretical senses (Section 6.8). The present survey, however, will focus on the narrower, but now commercially important, subfield of Deep Learning (DL) in Artificial Neural Networks (NNs). A standard neural network (NN) consists of many simple, connected processors called neurons, each producing a sequence of real-valued activations. Input neurons get activated through sensors perceiving the environment, other neurons get activated through weighted connections from previously active neurons (details in Section 2). Some neurons may influence the environment by triggering actions. Learning or credit assignment is about finding weights that make the NN exhibit desired behavior, such as driving a car. Depending on the problem and how the neurons are connected, such behavior may require long causal chains of computational stages (Section 3), where each stage transforms (often in a non-linear way) the aggregate activation of the network. Deep Learning is about accurately assigning credit across many such stages. Shallow NN-like models with few such stages have been around for many decades if not centuries (Section 5.1). Models with several successive nonlinear layers of neurons date back at least to the 1960s (Section 5.3) and 1970s (Section 5.5). An efficient gradient descent method for teacher-based Supervised Learning (SL) in discrete, differentiable networks of arbitrary depth called backpropagation (BP) was developed in the 1960s and 1970s, and applied to NNs in 1981 (Section 5.5). BP-based training of deep NNs with many layers, however, had been found to be difficult in practice by the late 1980s (Section 5.6), and had become an explicit research subject by the early 1990s (Section 5.9). DL became practically feasible to some extent through the help of Unsupervised Learning (UL), e.g., Section 5.10 (1991), Section 5.15 (2006). The 1990s and 2000s also saw many improvements of purely supervised DL (Section 5). In the new millennium, deep NNs have finally attracted wide-spread attention, mainly by outperforming alternative machine learning methods such as kernel machines (Schölkopf, Burges, & Smola, 1998; Vapnik, 1995) in numerous important applications. In fact, since 2009, supervised deep NNs have won many official international pattern recognition competitions (e.g., Sections 5.17, 5.19, 5.21 and 5.22), achieving the first superhuman visual pattern recognition results in limited domains (Section 5.19, 2011). Deep NNs also have become relevant for the more general field of Reinforcement Learning (RL) where there is no supervising teacher (Section 6). Both feedforward (acyclic) NNs (FNNs) and recurrent (cyclic) NNs (RNNs) have won contests (Sections 5.12, 5.14, 5.17, 5.19, 5.21, 5.22). In a sense, RNNs are the deepest of all NNs (Section 3)— they are general computers more powerful than FNNs, and can in principle create and process memories of arbitrary sequences of input patterns (e.g., Schmidhuber, 1990a; Siegelmann & Sontag, 1991). Unlike traditional methods for automatic sequential program synthesis (e.g., Balzer, 1985; Deville & Lau, 1994; Soloway, ۱۹۸۶; Waldinger & Lee, 1969), RNNs can learn programs that mix sequential and parallel information processing in a natural and efficient way, exploiting the massive parallelism viewed as crucial for sustaining the rapid decline of computation cost observed over the past 75 years.