مبتدی (مناسب برای درک مفهوم کلی مطلب) (ترجمه به صورت ناقص انجام شده است)

به یک معنا این روال با یادگیری تکرارشونده بر طبق قاعده Hebb قابل درک است،که سیناپسی ها با مقدار۱/Nσ_i^μ σ_j^μ افزایش می یابند،همان طور که اغلب به عنوان پایداری لازم برای همه الگوهای ذخیره شده ضروری است.این روند یادآورتجربه یادگیری یک واژه جدید از زبان خارجی است که معمولا لازم است چندین باز آن کلمات را تکرار کنید تاوارد حافظه بلندمدت شما بشوند.همان طور که همه می دانید،این روش قطعا کارخواهد کرد،البته بعد از تکرار های زیاد آزاردهنده.
بنابراین بسیارمهم است که سرعت یادگیری را تا حدامکان بهینه کنیم.برای این هدف،آبوت و کپلر(Abbott and Kepler) رابطه (۱۰٫۲۵) را بامعرفی تابع جدید f(γ) تصحیح کردند که اندازه تغییرات سیناپسی را بر طبق انحراف باقی مانده از هدف پایداری مورد نظر تنظیم میکند(تعدیل میکند).

سرعت همگرایی برای شبیه سازی نمونه ای با پارامترهای ĸ=۰٫۴۳ و δ=۰٫۰۱ و N=100 در شکل ۱۰٫۳ نشان داده شده است.تراکم(چگالی) ذخیره گاه α=۰٫۷۵ است یعنی ۷۵ الگو توسط شبکه ذخیره شده است.منحنی a به الگوریتم استاندارد(۱۰٫۲۸ ) اشاره دارد در حالی که منحنی های b و c به الگوریتم بهینه شده (۱۰٫۲۸) به ترتیب با تابع f_L و f_NL اشاره دارد.مزیت الگوریتم های تصحیح شده کاملا واضح است.عبارت تحلیلی برای سرعت همگرایی الگوریتم استاندارد (۱۰٫۲۵) با استفاده از[Op88] بدست آمده است،که نشان می دهد همگرایی به طور چشمگیری کند می شود وقتی تراکم حافظه به مقدار بحرانی نزدیک می شود.

آستانه پایداری ĸ چقدر باید بزرگ انتخاب شود؟اگرĸ بسیار بزرگ انتخاب شود هیچ جوابی از شرط γ_i^μ>ĸ وجود ندارد.در نتیجه الگوریتم همگرا نخواهد شد.اگرĸ خیلی کوچک باشد الگوریتم (۱۰٫۲۵) به سرعت همگرا خواهد شدو الگوهای ذخیره شده پایدار خواهند بود؛اما محدوده جذب کوچک است و شبکه عصبی لزوما الگویی که کمی منحرف شده باشد را تشخیص نخواهد داد.مقدارمشخصی از تجربه برای پیدا کردن مجموعه ای بهینه از پارامترهای یادگیری لازم است.وابستگی شعاع متوسط جذب از الگوهای ذخیره شده به انتخاب ĸ توسط آبوت و کپلر مطالعه شدو مشخص شد که برای شبکه اشباع شده به R=0.1 در ĸ=۱ کاهش می یابد.

ازبرنامه ASSO استفاده کنید(فصل ۲۲)برای یادگیری همه ۲۶ حرف الفبا با طرح های یادگیری بهبودیافته ۲-۵٫سرعت همگرایی و پایداری الگوها را در برابر اختلال و نوسانات گرمایی مقایسه کنید.
تمرین بخش ۳٫۴ را با برنامه ASSCOUNT (فصل ۲۳) و استفاده از پروتکل یادگیری Diederich-Opper تا ۱۰ عدد تکرار کنید.آزمایش با پارامترها تاخیر زمانی را کنترل می کند.

۱۰٫۲ قانون یادگیری خاص
۱۰٫۲٫۱ ارتقاء حافظه را فراموش کنید!
همان طور که در بخش ۳٫۳ بحث کردیم قانون یادگیری استاندارد(قانون Hebb) منجر به بروز فراموشی کلی ناخواسته در تابع انرژی E[s]می شد.در عمل به این معناست که تکامل شبکه می تواند گرفتارجعلی بودن،پیکربندی های پایدار محلی،نظیر آنچه که در (۳٫۲۳) بود؛بشود.شبکه های بزرگ معمولا تعداد وسیعی از اعداد نظیر حالت های پایدار جعلی می شود که بسیاری از آنها حتی ترکیب خطی نقاط پایدار مورد نظرهم نیست.قانون یادگیری برای الگوهای همبسته که در بخش ۱۰٫۱ بحث شد،از این مشکل در امان نیستند.نوسانات حرارتی کمک می کنند تا پیکربندی های جعلی بی ثبات شوند،اما با مصرف ظرفیت حافظه.علاوه بر آن ناپدیدکردن همه وضعیت های جعلی در دمای نهایی T تضمین شده نیست.
استراتژی بسیار بهتر،از بین بردن پیکربندی های پایدار ناخواسته با تصحیحات مناسب پیوندهای سیناپسی است.هوپفیلد(Hopfield) پیشنهاد داد تا از این حقیقت که فراموشی جعلی تابع انرژی E[s] معمولا بسیار کم سطح تر از فراموشی متناظر با الگوهای یادگیری است استفاده کنیم.ایده های قرض گرفته،در مطالعه رویاهای انسان توسعه پیدا کرده است و در بخش ۲٫۳ مورد بحث واقع شده است؛دنبال کردن این حالت ها با شروع شبکه در یک پیکربندی اولیه تصادفی و اجرای آن تا زمانی که به یک حالت پایدارs_i^∞ متعادل برسد. این امر ممکن است یکی از الگوهای منظم یادگیری ،یا یکی از بسیار حالت های جعلی باشد.فارغ از این که حالت بدست آمده چه باشد،سیناپس ها بر طبق رابطه Hebb به طور جزئی ضعیف می شوند.

λ≪۱ انتخاب شده است.این روال فراموشی دو اثر مثبت دارد.بیشتر حالت های متعادل جعلی از شبکه “فراموش شدنی” هستند،چون آنها قبلا با تغییرات کوچک در پیوندهای سیناپسی ω_ij بی ثبات شده اند.علاوه بر آن ناحیه مختلف پایداری الگوهای ذخیره شده،در اندازه بسیار شبیه هم خواهد شد،چون آنهایی که پایداری بیشتری دارند اغلب بیشتر رخ می دهند نسبت به پیکربندی نهایی و بنابراین بیشتراز بقیه ضعیف تر می شوند.
تاثیر این فراموشی عمدی به خصوص در اندازه حوزه جذب آشکار می شود.این جمله نشان می دهد که مجموعه ای از حالت ها از شبکه های پویا(دینامیک) منجر به الگوی خاصی می شوند.تغییر اندازه حوزه جذب الگوی ذخیره شده،همانند بار کل حافظه افزایش می یابد،که در شکل ۱۰٫۴ نشان داده شده است.دو محورکه Hk و HN-k نام گذاری شده است در این شکل ها نمایانگر اندازه خام فاصله حالت آزمایشی اول si از حالت حافظه مورد نظرσ_i^μ می باشد.همچنین فاصله جزیی Hamming بین حالت اولیه و حالت حافظه را نشان می دهد که به ترتیب برای اولین ĸ و آخرین آن (N-ĸ) و تمام ۲۰۰ نورون ارزیابی شده است.
در این مورد خاص k=N/2 گرفته شده است برای مثال محوراول نمایشگر فاصله Hamming ودیگری نمایشگر نصف نورون های شبکه است.اگر حالت آزمایشی si به الگوی ذخیره شده μ توسعه پیدا کند،لکه سیاه رسم می شود.برای حالت حافظه تنها مشخص خواهد شد (شکل ۱۰٫۴a) نصف حالت های آزمایش به سمت الگوی ذخیره شده σ_i تکامل پیدا خواهند کرد،نصف دیگر در الگوی مکمل (-σ_i) منتهی خواهند شد.بنابراین حوزه جذب نمایشگر مثلث سیاه است.برای بیشتر حالت های حافظه این ناحیه به سرعت کاهش می یابد و در محدوده α_c شکل بسیار ناهموارخواهد گرفت همان طورکه به ترتیب در شکل ۱۰٫۴b,c برای ۲۸ و ۳۲ حالت حافظه ناهمبسته نشان داده شده است.شکل ۱۰٫۴d نتیجه هزار بار کاربرد الگوریتم فراموشی(۱۰٫۳۱) برای شبکه لود شده با ۳۲ الگو را نشان می دهد.(شدت فراموشی برابر است با:λ=۰٫۰۱ ). حوزه جذب به شدت افزایش می یابد(با ضریب ۱۰یا بیشتر)و یک شکل بسیار منظم به خود می گیرد.احتمال بازیابی الگوهای ذخیره شده بسیار بهبود یافته است.
در بعضی از نسخه های ویرایش شده از این روش،شبکه مجاز است از الگوی های ذخیره شده که با اختلال تصادفی رو به وخامت رفته است،فراتر رود.بنابراین نه تنها پیوندهای سیناپسی توسط حالت های نهاییs_i^∞ ضعیف تر می شوند،بلکه همزمان بازآموزی الگوی صحیح شروع v نیز انجام می شود.
اگر الگو بدون خطا یادآوری شود،سیناپس ها بر طبق این دستور بدون تغییر می مانند.با این روش ظرفیت ذخیره گاه تا α=۱ افزایش می یابد و ذخیره الگوهای وابسته شدید امکان پذیر می شود.
متاسفانه این روش ها حالت های پایدار جعلی متناظر با ترکیب خطی الگوهای ذخیره شده نظیر (۳٫۲۳) را از بین نمی برند. تصحیح سیناپسی کل برای همه ۸ حالت گرفته شده،دقیقا ناپدید می شود چون مجموع تغییرات (۱۰٫۳۱)به صفر می رسد.با این حال این روش با کمی اختلاف به خوبی کار میکند که فراموشی با قانون زیر کنترل می شود در اینجا μ و vو λ هر سه نشان دهنده الگوهای ذخیره شده هستند.برای ɳ>1/3 یک یافته این است که همه هشت حالت جعلی (۳٫۲۳) قبلا در T=0 ناپایدار شده اند.در محدود مقداری از پارامتر دما مقدار کم λ برای بی ثبات کردن کفایت می کند و بالاتر از T=0.46 این پیکربندی های جعلی ناپایدار می شوند چون عمل نوسانات حرارتی تنهاست.