مکانیسمی کارآمد برای بهبود محاسبات در یادگیری ماشین با استفاده از محاسبات تقریبی

نوع: Type: پایان نامه

مقطع: Segment: کارشناسی ارشد

عنوان: Title: مکانیسمی کارآمد برای بهبود محاسبات در یادگیری ماشین با استفاده از محاسبات تقریبی

ارائه دهنده: Provider: لیلا میرزایی مثبت - رشته کامپیوتر

اساتید راهنما: Supervisors: دکتر مهدی عباسی

اساتید مشاور: Advisory Professors:

اساتید ممتحن یا داور: Examining professors or referees: دکتر میرحسین دزفولیان و دکتر حاتم عبدلی

زمان و تاریخ ارائه: Time and date of presentation: 1402/07/15 ساعت 10:30

مکان ارائه: Place of presentation: آمفی تئاتر مهندسی

چکیده: Abstract: طراحی و پیاده‌سازی شبکه‌های عصبی برای یادگیری عمیق در حال حاضر مورد توجه بسیاری از صنعت‌ها و دانشگاهیان قرار گرفته است. با این حال، سربار محاسباتی، سرعت و منابع مصرفی شبکه‌های عصبی از گلوگاه‌های اصلی پیاده‌سازی مدل در پلتفرم‌های محاسباتی لبه مانند دستگاه‌های تلفن همراه و اینترنت اشیاء هستند. از این رو، استفاده از روش‌هایی که بهبود کارایی انرژی و سرعت عملیاتی شبکه‌های عصبی را بدون به خطر انداختن دقت برنامه یا افزایش هزینه‌های سخت‌افزاری امکان‌پذیر می‌کنند، برای استقرار گسترده شبکه‌های عصبی حیاتی هستند. یکی از روش‌هایی که برای بهبود کارایی و افزایش سرعت در شبکه‌های عصبی مورد استفاده قرار می‌گیرد، روش محاسبات تقریبی است. محاسبات تقریبی به عنوان یک رویکرد جدید برای طراحی بهینه انرژی و همچنین افزایش سرعت عملکرد یک سیستم محاسباتی، با کاهش دقت محدود، پدیدار شده‌است. شبکه‌های عصبی به دلیل ماهیت تکرار‌شونده فرآیند یادگیری، انعطاف پذیری ذاتی در‌برابر خطاهای ناچیز نشان می‌دهند و استفاده از الگوی محاسبات تقریبی برای بهبود ویژگی سرعت و توان مصرفی را به یک تکنیک امیدوارکننده تبدیل می‌کنند. در شبکه‌های عصبی از محاسبات مبتنی بر ضرب و جمع در لایه‌های شبکه عصبی استفاده می‌شود که انجام محاسبات ضرب نیاز به زمان و مصرف انرژی زیادی دارد. در این پایان‌نامه، هدف این است که نیاز زمان، سرعت و منابع مصرفی شبکه‌های عصبی بررسی شود و با ارائه‌ی یک روش محاسباتی جدید بنام DeepAdd این نیازها کاهش داده شود. در این روش، عملیات‌ ضرب وزن‌ها در ورودی‌ لایه‌های مختلف شبکه عصبی به عملیات جمع تقریبی کاهش داده شده‌است. در نهایت، عملکرد پژوهش انجام شده ارزیابی و با روش¬های موجود پیشین مقایسه خواهد شد. استفاده از معماری تقریبی پیشنهادی این پژوهش در چندین شبکه عصبی مورد بررسی قرار گرفته‌است. نتایج تجربی حاصل شده حاکی از آن است که به کار‌گیری مکانیسم پیشنهادی DeepAdd در مقایسه با مدل اصلی و مدل تقریبی مبتنی بر شیفت بیتی، باعث بهبود پارامترهای زمان و سرعت در فازهای آموزش و استنتاج شبکه‌های عصبی و همچنین سبب کاهش منابع مصرفی می‌شود. طبق نتایج تجربی، معماری DeepAdd نسبت به معماری پایه و معماری تقریبی مبتنی بر شیفت از نظر زمان و سرعت در شبکه‌های عصبی ساده پرسپترون چند لایه در فاز آموزش مدل به ترتیب %38/3 و %44/0 بهبود یافته‌ و در فاز استنتاج نیز به ترتیب %30/9 و %5/2 بهبود یافته است. همچنین معماری مبتنی بر جمع DeepAdd نسبت به معماری پایه و معماری تقریبی مبتنی بر شیفت از نظر زمان و سرعت در شبکه‌های CNN نیز در فاز آموزش مدل به ترتیب %91/2 و %6/0 بهبود یافته‌ و در فاز استنتاج نیز به ترتیب %51/5 و %45/2 بهبود یافته است.

فایل: ّFile: تنزيل فایل