دانلود ترجمه مقاله یادگیری برنامه درسی – CiteSeerX

یادگیری برنامه درسی

Curriculum Learning

چکیده

1- مقدمه

2- نکاتی در خصوص مسئله بهینه سازی سخت یادگیری شبکه های عصبی عمیق

3- برنامه درسی به عنوان روش مستمر

4- آزمایشات اسباب بازی با معیار محدب

4-1 مثال های شفاف تر به تعمیم بهتر و سریع تر کمک می کنند

4-2 معرفی تدریجی مثال های سخت تر موجب تسریع آموزش انلاین می شود

5- آزمایشاتی بر روی تشخیص شکل

6- آزمایشات بر روی مدل سازی زبان

6-1 معماری

6-2 آزمایشات

7- بحث و کار های آینده

چکیده

انسان ها و حیوانات زمانی بهتر یاد می گیرند که مثال هایی به طور سازمان دهی شده و به شکلی معنی دار( نه به طور تصادفی) به آن ها ارایه شود که به تدریج این مثال ها موجب شفاف تر شدن تدریجی مفاهیم پیچیده شود. در این جا ما با این راهبرد های آموزشی در زمینه یادگیری ماشینی آشنا شده و آن ها را یادگیری برنامه آموزشی می نامیم. در مطالعات تحقیقاتی اخیر، سختی آموزش در حضور معیار های آموزشی غیر محدب ( برای شبکه های عصبی تصادفی و قطعی عمیق)، ما به بررسی آموزش برنامه درسی در شرایط مختلف می پردازیم.آزمایشات نشان می دهند که پیشرفت های قابل توجهی را می توان در زمینه تعمیم و کلیت بخشی حاصل کرد. فرضیه ما این است که آموزش برنامه درسی هم بر روی سرعت همگرایی فرایند آموزشی به میزان حداقل اثر داشته و هم در حضور معیار های غیر محدب، بر روی کیفیت کمینه محلی اثر دارد. آموزش برنامه درسی یک شکل ویژه از روش مستمر است( یک راهبرد عمومی برای بهینه سازی جهانی توابع غیر محدب است).

7- بحث و کار های آینده

ما با یک سوالی شروع می کنیم که از مطالعات علوم شناختی قبلی هنوز به صورت بی پاسخ مانده است( المان 1993، راد و پلات 1999):آیا الگوریتم های یادگیری ماشینی می توانند از راهبرد برنامه درسی منتفع شوند؟ نتایج آزمایش ما در شرایط مختلف شواهدی را در خصوص پاسخ مثبت به این سوال نشان می دهد. به این ترتیب برخی از راهبرد های برنامه درسی بهتر از راهبرد های دیگر هستند و برخی نیز برای کار های دیگر بی اهمیت هستند( راد و پلات 1999) و این که نتایج بهتر را می توان با مجموعه داده های مربوط به راهبرد های آموزشی مناسب تر بدست اورد. با این همه، هنر آموزش سخت است و انسان ها در مورد ترتیب معرفی مطالب به دانش اموزان به توافق نرسیده اند. از دیدگاه یادگیری ماشینی، سوالات مهم به صورت چرایی و چگونگی است. این برای کمک به طراحی بهتر راهبرد های برنامه درسی در راستای خودکار سازی فرایند مهم است. در این جا فرضیاتی برای توجیه مزایای بالقوه راهبرد برنامه اموزشی ارایه می شود

Abstract

Humans and animals learn much better when the examples are not randomly presented but organized in a meaningful order which illustrates gradually more concepts, and gradually more complex ones. Here, we formalize such training strategies in the context of machine learning, and call them “curriculum learning”. In the context of recent research studying the difficulty of training in the presence of non-convex training criteria (for deep deterministic and stochastic neural networks), we explore curriculum learning in various set-ups. The experiments show that significant improvements in generalization can be achieved. We hypothesize that curriculum learning has both an effect on the speed of convergence of the training process to a minimum and, in the case of non-convex criteria, on the quality of the local minima obtained: curriculum learning can be seen as a particular form of continuation method (a general strategy for global optimization of nonconvex functions).

7 Discussion and Future Work

We started with the following question left from previous cognitive science research (Elman, 1993; Rohde & Plaut, 1999): can machine learning algorithms benefit from a curriculum strategy? Our experimental results in many different settings bring evidence towards a positive answer to that question. It is plausible that some curriculum strategies work better than others, that some are actually useless for some tasks (as in Rohde and Plaut (1999)), and that better results could be obtained on our data sets with more appropriate curriculum strategies. After all, the art of teaching is difficult and humans do not agree among themselves about the order in which concepts should be introduced to pupils. From the machine learning point of view, once the success of some curriculum strategies has been established experimentally, the important questions are: why? and how? This is important to help us devise better curriculum strategies and maybe automate that process to some extent. Here we proposed a number of hypotheses to explain the potential advantages of a curriculum strategy:

تصویری از مقاله ترجمه و تایپ شده در نرم افزار ورد

یادگیری برنامه درسی

Curriculum Learning