دانلود ترجمه مقاله خود-سازماندهی شبکه عصبی عمیق (ساینس دایرکت – الزویر ۲۰۱۷) (ترجمه ویژه – طلایی ⭐️⭐️⭐️)

یادگیری مادام العمر از اعمال انسانی با خود-سازماندهی شبکه عصبی عمیق

Lifelong learning of human actions with deep neural network self-organization

چکیده
۱- مقدمه
۲- کارهای مرتبط
۱- ۲- مدلهای محاسباتی خود سازمان دهنده عصبی
۲- ۲- شبکه های خود سازمان دهنده بازگشتی
۳- ۲- یادگیری مادام العمر
۳- روش پیشنهادی
۱- ۳- خود سازمان دهنده عصبی سلسله مراتبی
۲- ۳- شبکه Gamma-GWR
۳- ۳- یادگیری مادام العمر
۴- ۳- لایه های پولینگ
۵- ۳- یادگیری انجمنی و طبقه بندی
۴- آزمایشات و نتایج
۱- ۴- پارامترهای آموزشی
۲- ۴- صحت طبقه بندی با یادگیری دسته ای
۳- ۴- طبقه بندی با برچسب های گم شده یا خراب
۴- ۴ – پویایی یادگیری
۵- ۴- تداخل فجیع و جبران ناپذیر
۵- بحث
۱- ۵- خلاصه
۲- ۵- خود سازمان دهنده عصبی عمیق
۳- ۵- یادگیری مادام العمر نمایش های عمل
۶- نتیجه گیری

چکیده

یادگیری مادام العمر در حوزه رباتیک مستقل برای دستیابی و تنظیم مناسب دانش با کسب تجربه نقش بنیادین دارد. با این حال، مدل های متداول شبکه های عصبی عمیق برای تشخیص عمل از روی ویدیو یادگیری مادام العمر را در نظر نمی گیرند اما در عوض مجموعه، داده های آموزش را همراه با تعداد پیش تعریف شده از دسته ها و نمونه های عمل یاد می گیرد. بنابراین، نیاز به توسعه سیستم های یادگیری همراه با توانایی پردازش تدریجی نشانه های ادراکی و تنظیم پاسخ های آن ها در طی زمان وجود دارد. ما معماری شبکه عصبی خود سازمان دهی را برای یادگیری تدریجی به منظور طبقه بندی اقدامات انسان براساس دنباله های ویدیویی پیشنهاد می دهیم. این معماری شامل شبکه های در حال رشد خود سازمانی است که با نرون های بازگشتی برای پردازش الگوهای متغیر با زمان تجهیز شده است. ما از مجموعه شبکه های بازگشت مجدد با ساختار سلسله مراتبی استفاده می کنیم که برای یادگیری غیر نظارتی نمایش های اقدام همراه با حوزه های پذیرش فاصله زمانی به طور فزاینده بزرگ ترتیب داده شده است. یادگیری مادام العمر براساس پویایی عصبی مبتنی بر پیش بینی به دست می آید به طوری که رشد و پذیرش شبکه های بازگشتی توسط قابلیت آن ها در بازسازی موقت دنباله های ورودی راه اندازی می شود. نتایج تجربی براساس یک کار دسته بندی با استفاده از دو مجموعه داده (دیتاست) معیار عمل نشان می دهد که مدل پیشنهادی با بهترین روش های موجود برای یادگیری گروهی قابل رقابت است، حتی زمانی که تعداد قابل توجهی از برچسب های نمونه در طی جلسات آموزش گم شده یا خراب و معیوب شده است. آزمایش های بیشتر توانایی مدل پیشنهادی در سازگاری با ورودی غیر ساکن با اجتناب از تداخل فاجعه بار را نشان می دهد.

۶- نتیجه گیری

برخلاف رویکردهای یادگیری دسته ای، یادگیری مادام العمر برای توسعه تدریجی دانش براساس نشانه های ادراکی تدریجاً بدست آمده حیاتی است. در این مقاله، نشان دادیم یادگیری مادام العمر می تواند برحسب پویایی عصبی مبتنی بر پیش بینی توسعه یابد و نمایش های عمل در سلسله مرتبه ای از شبکه های عصبی خود سازمان دهنده ظهور می کنند. مدل یادگیری پیشنهادی نسبت به مدلهای یادگیری عمیق پیشرفته ای که با تعداد از پیش تعریف شده ای از کلاس های عمل آموزش دیده اند ، عملکرد رقابتی نشان داده، و در مورد برچسب های نمونه گم شده یا معیوب و خراب نیز عملکرد استواری نشان داده و با توزیع متغیر ورودی تطبیق می یابد. معماری پیشنهادی را می توان یک گام دیگر به سوی مدلهای شبکه عصبی انعطاف پذیرتر برای یادگیری نمایش های دیداری استواری درنظر گرفت که با گذشت زمان و براساس تجربه دیداری (بصری) توسعه و به دقت تنظیم می شوند. سایر اصولی که در یادگیری مادام العمر نقش ایفا می کنند، نظیر تاثیر خود سازمان دهنده مبتنی بر پاداش (Aswolinskiy و Pipa، ۲۰۱۵) و توابع attentional (Ivanov، Liu، Clerkin، Schulz، Friston، Newcorn،و Fan، ۲۰۱۲) در توسعه نگاشت های توپولوژیکی، موضوع تحقیق آتی خواهند بود.

Abstract

Lifelong learning is fundamental in autonomous robotics for the acquisition and fine-tuning of knowledge through experience. However, conventional deep neural models for action recognition from videos do not account for lifelong learning but rather learn a batch of training data with a predefined number of action classes and samples. Thus, there is the need to develop learning systems with the ability to incrementally process available perceptual cues and to adapt their responses over time. We propose a self-organizing neural architecture for incrementally learning to classify human actions from video sequences. The architecture comprises growing self-organizing networks equipped with recurrent neurons for processing time-varying patterns. We use a set of hierarchically arranged recurrent networks for the unsupervised learning of action representations with increasingly large spatiotemporal receptive fields. Lifelong learning is achieved in terms of prediction-driven neural dynamics in which the growth and the adaptation of the recurrent networks are driven by their capability to reconstruct temporally ordered input sequences. Experimental results on a classification task using two action benchmark datasets show that our model is competitive with state-of-the-art methods for batch learning also when a significant number of sample labels are missing or corrupted during training sessions. Additional experiments show the ability of our model to adapt to non-stationary input avoiding catastrophic interference.

۶- Conclusion

In contrast to batch learning approaches, lifelong learning is crucial for the incremental development of knowledge based on progressively available perceptual cues. In this paper, we showed that lifelong learning can be developed in terms of predictiondriven neural dynamics with action representations emerging in a hierarchy of self-organizing neural networks. Our learning model exhibits competitive performance with respect to state-of-the-art deep learning models trained with a predefined number of action classes, showing robust performance also in the case of missing or corrupted sample labels and adapting to non-stationary input distributions. The proposed architecture can be considered a further step towards more flexible neural network models for learning robust visual representations that develop and fine-tune over time on the basis of visual experience. Additional principles that play a role in lifelong learning such as the influence of reward-driven self-organization (Aswolinskiy & Pipa, 2015) and attentional functions (Ivanov, Liu, Clerkin, Schulz, Friston, Newcorn, & Fan, 2012) in the development of topological maps will be subject to future research.

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

یادگیری مادام العمر از اعمال انسانی با خود-سازماندهی شبکه عصبی عمیق

Lifelong learning of human actions with deep neural network self-organization