دانلود ترجمه مقاله شبکه های فشرده سازی و تحریک (آی تریپل ای 2018)

شبکه های فشرده سازی و تحریک

Squeeze-and-Excitation Networks

چکیده

1 مقدمه

2 کارهای مرتبط

3 بلوک‌های تحریک و فشار

4 مدل و پیچیدگی محاسباتی

5 آزمایش‌ها

6 مطالعه فرسایشی

7 نقش بلوک SE

8 نتیجه‌گیری

منابع

چکیده

بلوک مرکزی ساختار شبکه‌های عصبی پیچشی  (CNN) اپراتور پیچیدگی است که شبکه‌ها را قادر می‌سازد تا ویژگی‌های اطلاعاتی را با ادغام هر دوی اطلاعات کانال‌وار و فضا درون حوزه‌های پذیرنده محلی در هر لایه ایجاد کنند. طیف گسترده‌ای از تحقیقات پیشین، مولفه‌های فضایی این رابطه را بررسی کرده‌اند و به دنبال تقویت قدرت بازنمایی  یک CNN با بهبود کیفیت کدگذاری‌هایی  فضایی از طریق سلسله مراتب ویژگی‌های آن بوده‌اند. در عوض ما در این کار به بر رابطه کانال تمرکز می‌‌کنیم و یک واحد معماری جدید را پیشنهاد می‌دهیم که آن را با نام بلوک «فشردگی و تحریک» (SE) نام‌گذاری می‌کنیم که به شکل تطبیقی پاسخ‌های ویژگی‌های کانال‌وار را با مدل‌سازی صریح وابستگی‌های متقابل  بین کانال‌ها مجددا کالیبره می‌کند. ما ثابت می‌کنیم که این بلوک‌ها می‌توانند با یکدیگر انباشته شوند تا معماری SENet را تشکیل دهند که به طور کلی در مجموعه‌داده‌های  مختلف بسیار موثر است. سپس ما ثابت می‌کنیم که بلوک‌های SE سبب بهبود چشمگیری در عملکرد پیشرفته‌ترین CCNهای موجود با حداقل هزینه محاسبات اضافی خواهد شد. شبکه‌های فشار و تحریک، بنیاد طرح طبقه‌بندی  ما است که رتبه نخست را در ILSVRC 2017 کسب کرده است و سبب کاهش 5 خطای برتر تا 251 .2% شده است و از برنده سال 2016 نیز با بهبود نسبی 25% برتری دارد. مدل‌ها و کد طرح ما در لینک زیر روبرو در دسترس است: https://github.com/hujie-frank/SENet

2 کارهای مرتبط

معماری‌های عمیق‌تر: VGGNets[11] و مدل‌های آغازین [5] ثابت کردند که افزایش عمق یک شبکه می‌تواند به طور قابل توجهی کیفیت بازنمایی‌هایی را افزایش دهد که قادر به یادگیری هستند. با تنظیم توزیع ورودی‌ها به هر لایه، نرمال‌سازی دسته‌ای (BN) [6] ثبات را به فرآیند یادگیری در شبکه‌های عمیق می‌افزاید و سطوح بهینه‌سازی نرم‌تری را تولید می‌کند [12]. بر اساس این کارها، RESNETS نشان دادند که امکان دارد به شکل عمیق‌تری یادگیری را داشت و از شبکه‌های قوی‌تری از طریق اتصالاتی فارغ از مبتنی بر هویت داشت [13][14]. شبکه‌های بزرگراه [15] ساز و کار گیت‌سازی جدیدی برای تنظیم جریان اطلاعات را در طی میانبرهای اتصالات ارائه دادند. به دنبال این آثار، اصلاحاتی در مورد ارتباطات بین لایه‌های شبکه وجود دارد [16]، [17]، که نشان‌دهنده پیشرفت‌های قابل توجهی در خواص یادگیری و بازنمایی شبکه‌های عمیق است.

یک روش جایگزین، اما نسبتا نزدیک به محدوده مطالعاتی ما بر روی رویکردهایی به منظور بهبود شکل عملکرد عناصر محاسباتی موجود در شبکه متمرکز شده است. ثابت شده است که پیچیش‌های گروه‌بندی شده رویکردی محبوب برای افزایش اندازه تبدیلات آموخته شده است [18]، [19]. ترکیبات انعطاف‌پذیر‌تر از اپراتورها می‌توانند با پیچش‌های چند‌شاخه ای به دست آیند [5]، [6]، [20]، [21] که این قابلیت را می‌توان به عنوان توسعه طبیعی اپراتور گروه‌بندی در نظر گرفت. در کارهای قبلی، همبستگی‌های بین کانالی را معمولا به عنوان ترکیبی از ویژگی‌های جدید به صورت مستقل از ساختار فضایی در نظر می‌گرفتند [22]، [23] یا با استفاده از فیلترهای پیچشی استاندارد [24] با پیچ 1 × 1، نگاشت می‌شدند. بخش عمده‌ای از این تحقیق بر هدف کاهش مدل و پیچیدگی محاسباتی تمرکز کرده است و منعکس‌کننده این ویژگی‌ است که روابط کانال را می‌توان به شکل ترکیبی از توابع نمونه‌ای ندانم‌گرا با حوزه‌های پذیرنده محلی فرموله‌سازی کرد. در مقابل ما ادعا می‌کنیم که با ارائه واحدی با ساز و کاری برای مدل‌سازی صریح پویا، وابستگی‌های متقابل غیرخطی بین کانال‌ها با استفاده از اطلاعات جهانی، می‌توانیم فرآیند یادگیری را تسهیل ببخشیم و به طور چشمگیری قدرت بازنمایی شبکه را بهبود ببخشیم.

جستجوی معماری الگوریتمی: در راستای کارهایی که در بالا شرح داده شد، تاریخچه‌ای غنی وجود دارد که هدف آن چشمپوشی از طراحی معماری دستی است و به جای آن به دنبال ساخت ساختار شبکه به شکلی خودکار است. بسیاری از کارهای اولیه در این حوزه در حوزه تکامل نورونی بوده است که رویکردهایی برای جستجوی توپولوژی‌های شبکه را با روشهای تکاملی ایجاد کرده است [25]، [26]. در حالیکه اغلب تقاضاهای محاسباتی جستجوی تکاملی موفقیت‌های قابل توجهی را به همراه داشت که شامل یافتن سلول‌های حافظه مناسبی برای مدلهای توالی [27]، [28] و یادگیری معماری پیچیده برای طبقه‌بندی تصویر ‌بزرگتر بوده است [29] – [31]. با هدف کاهش بار محاسباتی این روش‌ها، جایگزین‌های کارآمدی برای این رویکرد بر مبنای وراثت لامارکیسم [32] و جستجوی معماری تمایزی [33] پیشنهاد شده است.