زهره قادری
زهره قادری
دانشکده فنی و مهندسی
گروه آموزشی مهندسی کامپیوتر
پایاننامه برای دریافت درجه کارشناسی ارشد در رشته مهندسی کامپیوتر گرایش هوش مصنوعی
عنوان:
شناسایی کنشهای انسان و درک روابط آنها با استفاده از تکنیکهای یادگیری ماشین در تصاویر RGB-D
استاد راهنما:
دکتر حسن ختنلو
داوران :
دکتر محرم منصوری زاده
دکتر مهدی سخایی نیا
پژوهشگر:
زهره قادری
زمان:
دوشنبه مورخ 10/7/1396
ساعت 14
مکان:
آمفی تئاتر مهندسی
چكيده: |
شناسایی فعالیت انسان یکی از موضوعات مهم زمینه تحقیقاتی بینایی ماشین است. شناسایی فعالیتهای روزمره انسان در هوشمندسازی محیط زندگی کاربرد دارد . فعالیت روزمره انسان از چند کنش تشکیل میشود که مرز انجام کنشها در افراد باهم متفاوت است اما روابط و ترتیبی بین آنها وجود دارد که در شناسایی کنش در فعالیت مؤثر است. از طرفی وجود دوربینهای کینکت و تصاویر RGB-D به دلیل دادههای مفصل انسان، تصاویر عمق و رنگی با وضوحبالا شناسایی کنش را بهبود داده است. در این پژوهش با بکار گیری ترتیب کنش در فعالیت در مدل یادگیر نظارتی ضعیف و نیمه نظارتی و استخراج ویژگی دادههای RGB-D به شناسایی کنش و روابط آن پرداخته است و تشخیص تصویر و قطعهبندی در ویدیو را بهبود داده است.برای داشتن سیستم پایدار نیاز به یک استخراج ویژگی متمایزکننده است بدین منظور با استفاده از داده مفصل و عمق ویژگی حالت، حرکت، اطلاعاتی تصویر، اشیا که نسبت به چرخش بدن انسان و مکان دوربین ثابت باشد استخراج کردیم.در مدل یادگیری ارائهشده از رگرسیون خط الراس استفادهشده است.رگرسیون خط الراس شباهت ریاضی به بهینهسازی درجه دوم و محدب دارد.به همین دلیل با داشتن یک بهینه درجه دوم و حاشیه بهعنوان محدودیت از الگوریتم فرانک-ولف که یک الگوریتم بهینهسازی محدب با محدودیت میباشد استفادهشده است.جهت افزایش کارایی سیستم از الگوریتم فرانک-ولف زوجی که یک مدل آماری توسعهیافته الگوریتم فرانک-ولف است استفاده کردیم.الگوریتم فرانک-ولف زوجی محدودیتهای در طول یادگیری را ذخیره میکند و با گام مناسب نسبت به بهترین محدودیتها بهینهترین راهحل مسئله شناسایی کنشهای متوالی را پیدا میکند.ارزیابی این روش پیشنهادی روی پایگاه داده watch-n-patch انجام و تحلیلشده است و با استفاده از روش نوین الگوریتم فرانک-ولف زوجی با محدودیت ترتیب کنش نتایج قابل خوبی رو این پایگاه داده و سایر روشهای پیشنهادی این پایگاه داده داشته است.
واژههای کلیدی: شناسایی کنش انسان، یادگیری ماشین، مدل یادگیری نظارتی ضعیف، رگرسیون خط الراس، الگوریتم فرانک ولف، تصاویر RGB-D ،دوربین کینکت
Abstract: |
Human activity recognition is one of the important issues in the field of machine vision research. The recognition of routine activities of humans is applicable in the smart home. the routine human activity consists of several actions, in which the boundary of actions is different in individuals, but there are relationships and sequences between them that are effective in recognition actions in activity. On the other hand, the existence of Kinect cameras and RGB-D images for having joint data, high-resolution RGB and depth image has improved human action recognition. In this research, by applying for the action order in the weakly supervised and semi-supervised learning model and extracting the RGB-D data feature, it recognizes the actions and relationships and improves frame recognition and segmentation in the video. In order to have a stable system, we need to extract a distinctive feature. We used joint data and depth to extract the pose, motion, image information, objects feature that were constant relative to the rotation of the human body and the location of the camera. The ridge regression model has been used in the learning model. ridge regression has the mathematical similarity to quadratic and convex optimization. because of having a quadratic optimizer and annotation as a constraint, is used the Frank-Wolf algorithm, which is a constrained convex optimization algorithm. We used the pairwise Frank-Wolfe Algorithm to improve the system efficiency, which is a developed statistical model of the Frank-Wolfe algorithm. The pairwise Frank-Wolfe algorithm stores the learning constraints and finds the optimal solution to the problem of recognition sequence actions with the appropriate step toward the best of constraints. The evaluation of this proposed method has been carried out and analyzed on the watch-n-patch database, and using the new pairwise Frank-Wolfe algorithm with a constraint on the ordering of action, the results of this database and other proposed methods of this database have been good.
Key Words: Human action recognition, Machine learning, Weakly supervised leaning, Ridge regression, Frank-Wolfe algorithm, RGB-D image, Kinect camera
Zohreh Ghaderi
Hamedan-Iran
zohre.ghaderi71@gmail.com
ACADEMIC DETAILS
• Diploma math [2010] with aggregate of 19.72 from Buali sina high school
• Bachelor computer engineer [2015] with aggregate of 16.93 from Buali sina university
• Msc Artificial intelligence [2017] with aggregate of 18.0 from Buali sina university
WORK EXPERIENCE
• Worked as Software computer in Ideh pardazan danesh imeni company from Apr 2016 to Apr 2017
Role :programming
• Worked as Training in Buali sina univesity from Jul 2013 to Sep 2013
Role :web desing
• Worked as robot intelligence&vision lab in Bualisina university from Oct 2015 to Sep 2017
Role :Msc student
• Worked as Teaching assistance in Department computer of bualisina univesity from Oct 2016 to Jan 2016
Role :Teaching assistance (machin learning)
PROJECT DETAILS
PROJECT : 1
Title : Application for a health center
Description : design and implementation of a web-based application for a health center
design software&php&bootstrap&sql
Duration : 9
Role : Designer web and programing
Team Size : 3
Objective
PROJECT : 2
Title : Dena website
Description : design and implementation of a web-based application for celebrate class in university
php&HTML&CSS&SQL
Duration : 3
Role : css design and programing
Team Size : 9
Objective
FIELD OF INTERESTS
• Artificial intelligence
• Programming
• Research
SKILLS
• Programming
• C ,c++,c#,sql
• Matlab
• Image processing ,machin learning