توصیف تصویر با استفاده از یک معماری توسعه یافته شبکه‌های عصبی عمیق - دانشکده فنی و مهندسی
توصیف تصویر با استفاده از یک معماری توسعه یافته شبکه‌های عصبی عمیق
نوع: Type: پایان نامه
مقطع: Segment: کارشناسی ارشد
عنوان: Title: توصیف تصویر با استفاده از یک معماری توسعه یافته شبکه‌های عصبی عمیق
ارائه دهنده: Provider: زهرا فامیل ستاری
اساتید راهنما: Supervisors: دکتر حسن ختن‌لو
اساتید مشاور: Advisory Professors:
اساتید ممتحن یا داور: Examining professors or referees: دکتر محرم منصوری زاده ، دکتر رضا محمدی
زمان و تاریخ ارائه: Time and date of presentation: 27/11/1400
مکان ارائه: Place of presentation: دانشکده مهندسی
چکیده: Abstract: توصیف تصویر، یک زمینه تحقیق بین‌رشته‌ای بینایی ماشین و پردازش زبان طبیعی است که توجه بسیاری را به خود جلب کرده است. توصیف تصویر به‌عنوان یکی از کاربردهای مورد علاقه در سالیان اخیر در زمینه‌های بسیاری از جمله تشخیص پزشکی، نمایه سازی تصاویر، پیوند تصویر و متن استفاده می‌شود. برای تولید توصیف تصویر نیاز به تشخیص اشیا مهم و ویژگی آن‌ها و ارتباط آن‌ها در یک تصویر است و همچنین باید جملاتی تولید شوند که از لحاظ معنایی و نحوی صحیح باشند. بر اساس نتایج مطالعات و دقتهای گزارش شده، برای ماشین کار دشواری است تا مانند انسان توانایی درک تصویر را داشته باشد. با این حال هوش مصنوعی زمینه این نوع ابتکارها را فراهم کرده است. روش‌های پیشنهادی در زمینه توصیف تصویر معمولا از چارچوب رمزگذار-رمزگشا پیروی می‌کنند. در این روش هرکلمه بر اساس ویژگی‌های تصویر و کلمات تولید شده قبلی ایجاد می¬شود. با توجه به نتایج به‌دست آمده در توصیف تصویر، هنوز زمینه پیشرفت بسیاری برای بهبود نتایج معیارهای ارزیابی و تولید توصیف خوب وجود دارد. همچنین دیگر چالشی که وجود دارد این است که اکثر روش‌های موجود روی قسمت بازگشتی شبکه، تولید جمله، کار کرده‌اند و تاثیر ویژگی‌های استخراج شده را نادیده گرفته‌اند. در این پژوهش به منظور تولید توصیف تصویر از چارچوب رمزگذار-رمزگشا استفاده شده است. بخش رمزگذار مدل از ResNet برای استخراج ویژگی‌های کلی استفاده میکند. و بخش رمزگشا از سه بخش مهم: Attention-LSTM، Attention-Layer، Language-LSTM تشکیل شده است. سازوکار توجه از شواهد محلی برای نشان دادن بهتر ویژگی‌ها و استدلال در تولید توصیف تصویر استفاده میکند. روش ارائه شده توانسته‌است معیارهای رایج ارزیابی ROUGE و METEOR را به خوبی بهبود دهد.
فایل: ّFile: تنزيل فایل
