مبتدی (مناسب برای درک مفهوم کلی مطلب)

F1887

در مطالعه حاضر، شناسایی بافت پارچه تحت عنوان حوزه بررسی به منظور اجرا و پیاده سازی این مکانیزم به اشتراک گذاری ویژگی بین حس بینایی و لامسه در روبات ها، در نظر گرفته شده است: حس لامسه قادر به درک بافت های بسیار دقیق نظیر الگوی توزیع نخ در لباس می باشد در حالیکه حس بینایی الگوهای مشابه موجود در بافت (هرچند گاها این بافت درک شده کاملا تار می باشد) را شناسایی می نماید. علاوه بر این، عواملی که تنها در یک ویژگی (خصوصیت) وجود دارند منجر به بدتر شدن عملکرد شناسایی شده اند. به عنوان مثال، مغایرت رنگی در پارچه از طریق بینایی قابل مشاهده بوده اما از منظر حس لامسه قابل درک نمی باشد. هدف از مطالعه حاضر استخراج اطلاعات مشترک از این دو ویژگی و در عین حال حذف این عوامل، می باشد. به منظور فراگیری فضای نهان مشترک حس بینایی و لامسه، در مطالعه حاضر، چارچوبی جدید از ائتلاف عمیق مبنی بر شبکه های عصبی عمیق و تجزیه و تحلیل حداکثر واریانس، معرفی شده است. مجموعه داده ای جدید که شامل جفت داده های بصری و لامسه می باشد نیز در مطالعه، ارائه شده اند.
در مطالعات پیشین به صورت معمول به منظور تایید و تصدیق تماس ها، به جای بهره گیری از حسگر GelSight با وضوح بالا (۹۶۰ در ۷۲۰) از حسگرهای لمسی با وضوح پایین (به عنوان مثال، حسگر لامسه Weiss دارای ۱۴ در ۶ تاکسل) برای ثبت و ضبط بافت های دقیق که مساله ای دشوارتر از تایید وتصدیق تماس ها می باشد، استفاده نموده اند. حسگر GelSight شامل دوربینی در بخش تحتانی و قطعه ژله ای الاستومتریک پوشیده شده با غشای بازتابنده در بخش فوقانی، می باشد. الاستومر به منظور لمس شکل هندسی سطح و بافت اشیایی که در تعامل با آنها می باشد، تغییر شکل می دهد. سپس این تغییر شکل توسط دوربین در زیر اشاعه نور از لدهایی که در جهت های مختلف با هدف هدایت صفحات نوری به سمت پرده (پوسته) جایگذاری شده اند، ثبت و ضبط می گردد. علاوه بر این، بر اساس اطلاعات جمع آوری شده، پژوهش حاضر اولین مطالعه ایست که هم تصاویر لامسه ای و هم داده های بصری را برای شناسایی بافت مورد ارزیابی و بررسی قرار داده است.

۲٫ مجموعه داده های مربوط به لباس وی تک
مجموعه ای از داده های بصری و لامسه ای مربوط به لباس را با بهره گیری از ۱۰۰ قطعه لباس روزانه تحت عنوان مجموعه داده ای لباس وی تک، جمع آوری شده اند. البسه به کار گرفته شده از گونه های مختلف و از پارچه هایی با جنس های متنوع با بافت های مختلف، بوده اند. در مقایسه با داده های موجود که تنها شامل تصاویر بصری [۲] یا برداشت های لامسه ای [۳] از سطوح بافت می باشند، داده هایی که بردرگیرنده دو ویژگی نظیر بینایی و لامسه هستند، هنگامیکه پارچه به مسطح بوده، جمع آوری شده اند. در ابتدا تصاویر رنگی با استفاده از دوربین کانن T20i SLR به صورت تقریبا موازی با خود لباس همراه با چرخش های مختلف در سطح گرفته شده اند تا بدین ترتیب در مجموع بازای هر لباس، ده تصویر در دسترس باشد. در نتیجه، ۱۰۰۰ عکس دیجیتالی در پایگاه داده ای وی تک، موجود می باشد. داده های لامسه ای توسط حسگر GelSight جمع آوری شده اند. همانطور که در شکل ۱a نیز نمایش داده شده، فردی حسگر GelSight را در دست گرفته و بر سطح پاچه لباس مد نظر در جهات معمول، فشار می دهد. همانظور که در شکل ۱b نیز قابل مشاهده می باشد، با فشار حسگر بر سطح پارچه لباس، مجموعه ای از تصایر مربوط به بافت لباس توسط GelSight گرفته و ذخیره می شوند. در مجموع ۹۶۵۳۶ تصویر با بهره گیری از GelSight جمع آوری شده است. تمامی داده ها بر اساس ساختار سطحی پارچه لباس بوده و هرگونه زینت سخت موجود در سطح البسه به منظور جلوگیری از نمایان شدن در تصاویر گرفته شده توسط Gelsight یا تصاویر دیجیتالی، حذف شده است. نمونه هایی از تصاویر دیجیتالی و داده های جمع آوری شده توسط GelSight در شکل۲ف نمایش داده شده است.

۳٫ روش شناسی و نتایج
به منظور مطابقت داده های بصری و لامسه ای که به خوبی جفت نشده اند، با بهره گیری از تجزیه و تحلیل عمیق حداکثر واریانس (DMCA) ابتدا تمثیل های این دو ویژگی از طریق عبور آنها از لایه های چندگانه انباشته جداگانه تبدیل غیرخطی، محاسبه و سپس با پیاده سازی و اجرای تجزیه و تحلیل حداکثر واریانس، فضای پنهان مشترک برای این دو ویژگی به طوریکه کوواریانس بین این دو تمثیل حداکثر مقدار خویش باشد، محاسبه شده است. به منظور ارزیابی و بررسی روش DMCA معرفی شده در شناسایی بافت لباس، از مجموعه داده ای لباس وی تک استفاده شده است.
ابتدا از روش شناسایی تک نمایی کلاسیک با بهره گیری از داده های مربوط به هریک از ویژگی ها، استفاده شده است. هنگام بهره گیری از داده های مربوط به حسگر GelSight و دوربین دیجیتال برای مجموعه آموزش و آزمون، میزان دقت برآورد شده برای شناسایی بافت پارچه برابر با ۸۳٫۴% یا ۸۵٫۹% می باشد. این ارقام نشان دهنده، تمثیل های فراگرفته شده توسط شبکه های عمیق به کارگرفته شده برای شناسایی بافت با استفاده از هریک از ویژگی ها به صورت جداگانه، می باشند. با این حال، به ویژه در حوزه رباتیک، دستیابی به داده های مربوط به ویژگی خاص که برای آموزش به کار گرفته شده اند، امری آسان نمی باشد: داده های لامسه ای اغلب در دسترس نبوده یا جمع آوری آنها بسیار دشوار می باشد؛ علاوه بر این، دسترسی به بافت های دارای جزئیات متعلق به اجسام (اشیا) حتی از طریق دوربین های دیجیتال، امری ممکن و آسان نمی باشد. بدین منظور، به منظور آموزش مدل برای شناسایی بافت متقاطع پارچه با بهره گیری از یک ویژگی حسی در عین حال نیز از داده های ویژگی دیگر برای اجرای مدل استفاده شده است. این امر بر اساس این فرض که ویژگی های مشابه بصری بافت ها به احتمال زیاد دارای بافت های لامسه ای مشابه می باشند و برعکس، شکل گرفته است.
شایان ذکر است که روش مقطعی شناسایی بافت پارچه عملکردی بدتر نسبت به موارد انجام گرفته توسط روش تک نمایی، است. هنگام ارزیابی داده های برگرفته شده از حسگر GelSight برای آموزش با بهره گیری از مدل آموزش داده شده توسط داده های بصری، دقت به دست آمده برابر با ۱۶٫۷% بوده است. از سویی دیگر، در وضعیت برعکس، دقت به دست آمده تنها برابر با ۱۴٫۸% بوده است. دلایل احتمالی این امر، عواملیست که منجر به تفاوت در شکل ظاهری الگوی پارچه مشابه در دو ویژگی مختلف، می باشند. در دوربین، دید، مقیاس، چرخش، انتقال، واریانس رنگ و نور قابل مشاهده می باشند. درمورد احساس لامسه نیز، برداشت های مختلف از الگوهای لباس با توجه به میزان فشارهای مختلف اعمال شده توسط حسگر بر سطح پارچه، تغییر می نمایند. این تفاوت ها بدین معنا می باشند که امکان مناسب نبودن ویژگی های فراگرفته شده توسط یکی از روش ها برای روش دیگر، وجود دارد. به منظور استخراج ویژگی های همبسته بین حس بینایی و لامسه، و حفظ این ویژگی ها برای شناسایی بافت پارچه و در عین حال کاهش تفاوت های بین این دو روش، از روش DMCA معرفی شده به منظور دستیابی به تمثیل مشترک از بافت ها برای این دو ویژگی ها، بهره گرفته شده است.
در طی بررسی ها، چنین فرض شده که داده های جمع آوری شده توسط دوربین و GelSight در طی مرحله فراگیری مدل به کارگرفته شده اند در حالیکه، از داده های GelSight یا دوربین تنها در تحلیل های بعدی انجام گرفته با استفاده از داده های جدید، بهره گرفته شده است. تنظیمات به کار گرفته شده در پی بردن به این مساله که آیا چارچوب DMCA قادر به بهره گیری از تمثیل های دارای ابعاد کمتر که در داده های دونمایی اطلاعات را نسبت به موارد فراگرفته شده توسط داده های تک نمایی، بهتر نمایش می دهند، می باشد یا نه، کمک قابل توجهی می نمایند. ابتدا نحوه طبقه بندی بافت پارچه در صورت در دسترس بودن داده های برگرفته از GelSight، بررسی شده است. به دلیل افزایش ابعاد خروجی هنگام بهره گیری از روش DMCA، عملکرد طبقه بندی نیز بهبود می یابد. با ادامه افزایش ابعاد خروجی، میزان دقت روش DMCA نیز کاهش یافته و میزان دقت طبقه بندی انجام گرفته به ۹۰% می رسد. عملکردی مشابه هنگام طبقه بندی گروه های مختلف پارچه با بهر گیری از روش DMCA در صورت در دسترس بودن تصاویر اتخاذشده از دوربین، نیز قابل مشاهده است. عملکرد طبقه بندی روش DMCA با افزایش ابعاد خروجی، افزایش قابل توجهی از خود نشان داده و هنگام ابعاد خروجی به بیش از ۲۰ می رسد، کاهش شدیدی داشته و بدین ترتیب دقت طبقه بندی برابر با ۹۲٫۶% می گردد.
به طور کلی، نتایج به دست آمده چنین نشان داده اند که رویه فراگیری DMCA معرفی شده هنگام استفاده از تمثیل های مشترک لامسه-بصری چه در شناسایی لامسه ای چه در شناسایی بصری بافت پارچه، عملکرد قابل توجهی از خود ارائه می دهد. این امرثابت می نماید که DMCA نه تنها ابزاری قدرتمند برای ویژگی های ساخت دست بشر می باشد، بلکه، برای ابزاری مناسب و قدرتمند برای ویژگی های فراگرفته شده توسط شبکه های عمیق نیز است. علاوه بر این، چنین نمایش داده شده است که استفاده از داده های مدل دیگر در مرحله یادگیری تنها هنگام بهره گیری از یک ویژگی در مرحله آزمون، منجر به بهبود عملکرد شناسایی می گردد. جزئیات بیشتر در [۴] ارائه شده است.