دانلود ترجمه مقاله درباره فشرده سازی مدل های عمیق با رتبه پایین و تجزیه کم رتبه (آی تریپل ای 2017)

در مورد فشرده سازی مدل های عمیق با رتبه پایین و تجزیه کم رتبه

On Compressing Deep Models by Low Rank and Sparse Decomposition

چکیده
1 مقدمه
2 کار مرتبط
3 مدل فشرده‌سازی عمیق
4 بهینه‌سازی
5 تجزیه و تحلیل نظری
6 آزمایشات
1 6 تجزیه و تحلیل در کل شبکه‌ها
2 6 تجزیه و تحلیل در لایه‌های پیچشی
7 نتیجه‌گیری
منابع

چکیده
فشرده‌سازی عمیق اشاره به حذف افزونگی پارامترها و نقشه‌های ویژگی برای مدل‌های یادگیری عمیق دارد. تقریب رتبه پایین و هرس‌‌سازی برای ساختارهای تنک در بسیاری از کارهای فشرده‌سازی نقش مهمی ایفا می‌کند. با این حال، فیلترهای وزن تمایل دارند هم رتبه پایین و هم تنک باشند. نادیده‌گیری هر بخشی از این اطلاعات ساختاری در روش‌های قبلی منجر به آموزش مجدد تکرارشونده، به خطر انداختن دقت و نرخ فشرده‌سازی پایین خواهد شد. در اینجا ما چارچوبی یکپارچه را برای ادغام تجزیه تنک و رتبه پایین از ماتریس‌های وزنی با بازسازی نقشه‌های ویژگی را پیشنهاد می‌دهیم. مدل ما شامل روش‌هایی مانند اتصالات هرس‌کننده به عنوان موارد خاص است و توسط یک الگوریتم SVDfree سریع بهینه‌سازی شده است. به لحاظ نظری ثابت شده است که با استفاده از نمونه کوچک، به علت قابلیت تعمیم‌دهی آن، مدل ما می‌تواند نقشه‌های ویژگی‌ را در هر دو مجموعه آموزشی و تست بازسازی کند که در نتیجه آن شاهد در معرض خطر قرارگیری دقت کمتری پیش از آموزش مجدد بعدی خواهیم بود. با چنین «شروع گرمی» برای بازآموزی، روش‌ فشرده‌سازی همواره دارای چندین کیفیت و ویژگی خاص است از جمله: الف) نرخ فشرده‌سازی بالاتر (ب) اتلاف کم دقت و (ج) دور‌هایی کمتر برای فشرده‌سازی مدل‌های عمیق نیاز دارد. نتایج تجربی در چندین مدل محبوب مانند AlexNet، VGG-16 و GoogLeNet حاکی از آن است که مدل ما می‌تواند به طور قابل توجهی پارامترهای هر دو‌ی لایه‌های پیچشی و کاملا متصل را کاهش دهد. در نتیجه، مدل ما اندازه VGG-16 را 15 برابر کاهش می‌دهد و بهتر از سایر روش‌های فشرده سازی جدیدی است که از یک استراتژی واحد استفاده می‌کنند.

2- کار مرتبط
فشرده‌سازی توسط هرس‌‌سازی
هان و همکاران [8] روش هرسی ساده اما موثر را پیشنهاد کردند که با استفاده از آستانه سخت تعیین شده توسط انحراف معیار وزنی بود که در یک اسکالر ضرب شده بود. این آستانه کمک می‌کند تا کم‌اهمیت‌ترین وزنها با مقادیر مطلق کوچک را حذف کنید. یک مورد خاص از مدل ما زمانی است که ما شرایط بازسازی داده‌ها و رتبه پایین را نادیده می‌گیریم، سادگی روش ما به اندازه روش آستانه‌سازی سختی کاهش‌ می‌یابد که در [8] به آن اشاره شده است.

با این حال، رویکرد ما دارای دو مزیت عمده است [8]. نخست، به دلیل شرایط بازسازی نقشه ویژگی ما، مدل ما مقداردهی اولیه بهتری برای آموزش مجدد را فراهم می‌سازد. ما معمولا می‌توانیم همه لایه‌های پیچشی را در مدل‌هایی مانند AlexNet و VGG-16 به جای تکرار هرس و آموزش مجدد در یک دور فشرده کنیم. دوما با بهره‌گیری از هر دوی مولفه هموار و وزن‌های مهم، ما وزن‌های دیگری را در لایه های پیچشی کاهش می‌دهیم و مولفه‌های حاصل از آنها بسیار ضعیف‌تر از آنچه است که در [8] وجود داشته است. این مقدار بالقوه برای شتاب‌دهی مراحل استنتاج در مدل‌های عمیق است.

فشرده‌سازی با تقریب رتبه پایین: کاهش ابعاد پارامترها به وسیله تقریب رتبه‌پایین سبب حفظ فضای ‌ذخیره‌سازی می‌شود و در عین حال سبب کاهش پیچیدگی زمانی در حین آموزش و تست می‌شود. بیشتر روش‌ها [4، 12] به تخمین یک تانسور با کمینه‌سازی خطای بازسازی پارامترهای اصلی می‌پردازند. با این حال، این رویکردها هنگامی که لایه‌های چندگانه فشرده به صورت متوالی تکرار می‌شوند، خطاهای تجمعی دارند، و نقشه‌های ویژگی‌های خروجی از مقادیر اولیه با افزایش لایه های فشرده‌شده فاصله می‌گیرند.