زهره قادری

تاریخ انتشار : Publish : نسخه قابل چاپ Print




دانشکده فنی و مهندسی

گروه آموزشی مهندسی کامپیوتر

 

پایان­نامه برای دریافت درجه کارشناسی ارشد در رشته مهندسی کامپیوتر گرایش هوش مصنوعی


عنوان:

 

شناسایی کنش‌های انسان و درک روابط آن‌ها با استفاده از تکنیک‌های یادگیری ماشین در تصاویر RGB-D

 

استاد راهنما:

دکتر حسن ختن‌لو

 

داوران :

دکتر محرم منصوری زاده

دکتر مهدی سخایی نیا

 

پژوهشگر:

زهره قادری


 

زمان:

دوشنبه مورخ 10/7/1396

ساعت 14

 

مکان:

آمفی تئاتر مهندسی

 

چكيده:

         شناسایی فعالیت انسان یکی از موضوعات مهم زمینه تحقیقاتی بینایی ماشین است. شناسایی فعالیت‌های روزمره انسان در هوشمندسازی محیط زندگی کاربرد دارد . فعالیت روزمره انسان از چند کنش تشکیل می‌شود که مرز انجام کنش‌ها در افراد باهم متفاوت  است اما روابط و ترتیبی بین آن‌ها وجود دارد که در شناسایی کنش در فعالیت مؤثر است. از طرفی وجود دوربین‌های کینکت و تصاویر RGB-D به دلیل داده‌های مفصل انسان، تصاویر عمق و رنگی با وضوح‌بالا شناسایی کنش را بهبود داده است. در این پژوهش با بکار گیری ترتیب کنش در فعالیت در مدل یادگیر نظارتی ضعیف و نیمه نظارتی و استخراج ویژگی داده‌های RGB-D به شناسایی کنش و روابط آن پرداخته است و تشخیص تصویر و قطعه‌بندی در ویدیو را بهبود داده است.برای داشتن سیستم پایدار نیاز به یک استخراج ویژگی متمایزکننده است بدین منظور با استفاده از داده مفصل و عمق  ویژگی حالت، حرکت، اطلاعاتی تصویر، اشیا که  نسبت به چرخش بدن انسان و مکان دوربین ثابت باشد  استخراج کردیم.در مدل یادگیری ارائه‌شده از رگرسیون خط الراس استفاده‌شده است.رگرسیون خط الراس شباهت ریاضی به بهینه‌سازی درجه دوم و محدب دارد.به همین دلیل با داشتن یک بهینه درجه دوم  و حاشیه به‌عنوان محدودیت از الگوریتم فرانک-ولف که یک الگوریتم بهینه‌سازی محدب با محدودیت می‌باشد استفاده‌شده است.جهت افزایش کارایی سیستم از الگوریتم فرانک-ولف زوجی که یک مدل آماری توسعه‌یافته الگوریتم فرانک-ولف است استفاده کردیم.الگوریتم فرانک-ولف زوجی محدودیت‌های در طول یادگیری را ذخیره می‌کند و با گام مناسب نسبت به بهترین محدودیت‌ها بهینه‌ترین راه‌حل مسئله شناسایی کنش‌های متوالی را پیدا می‌کند.ارزیابی این روش پیشنهادی روی پایگاه داده watch-n-patch  انجام و تحلیل‌شده است و با استفاده از روش نوین الگوریتم فرانک-ولف زوجی با محدودیت ترتیب کنش نتایج قابل خوبی رو این پایگاه داده و سایر روش‌های پیشنهادی این پایگاه داده داشته است.

 

واژه‌های کلیدی:  شناسایی کنش انسان، یادگیری ماشین، مدل یادگیری نظارتی ضعیف، رگرسیون خط الراس، الگوریتم فرانک ولف، تصاویر RGB-D ،دوربین کینکت

 

Abstract:

         Human activity recognition is one of the important issues in the field of machine vision research.  The recognition of routine activities of humans is applicable in the smart home. the routine human activity consists of several actions, in which the boundary of actions is different in individuals, but there are relationships and sequences between them that are effective in recognition actions in activity. On the other hand, the existence of Kinect cameras and RGB-D images for having joint data, high-resolution RGB and depth image has improved human action recognition. In this research, by applying for the action order in the weakly supervised and semi-supervised learning model and extracting the RGB-D data feature, it recognizes the actions and relationships and improves frame recognition and segmentation in the video. In order to have a stable system, we need to extract a distinctive feature. We used joint data and depth to extract the pose, motion, image information, objects feature that were constant relative to the rotation of the human body and the location of the camera. The ridge regression model has been used in the learning model. ridge regression has the mathematical similarity to quadratic and convex optimization. because of having a quadratic optimizer and annotation as a constraint, is used the Frank-Wolf algorithm, which is a constrained convex optimization algorithm. We used the pairwise Frank-Wolfe Algorithm to improve the system efficiency, which is a developed statistical model of the Frank-Wolfe algorithm. The pairwise Frank-Wolfe algorithm stores the learning constraints and finds the optimal solution to the problem of recognition sequence actions with the appropriate step toward the best of constraints. The evaluation of this proposed method has been carried out and analyzed on the watch-n-patch database, and using the new pairwise Frank-Wolfe  algorithm with a constraint on the ordering of action, the results of this database and other proposed methods of this database have been good.

 

Key Words:  Human action recognition, Machine learning, Weakly supervised leaning, Ridge regression, Frank-Wolfe algorithm, RGB-D image, Kinect camera

 

Zohreh Ghaderi

Hamedan-Iran

zohre.ghaderi71@gmail.com

ACADEMIC DETAILS

Diploma math [2010] with aggregate of 19.72 from Buali sina high school

Bachelor computer engineer [2015] with aggregate of 16.93 from Buali sina university

Msc Artificial intelligence [2017] with aggregate of 18.0 from Buali sina university

WORK EXPERIENCE

• Worked as Software computer in Ideh pardazan danesh imeni company from Apr 2016 to Apr 2017

Role :programming

• Worked as Training in Buali sina univesity from Jul 2013 to Sep 2013

Role :web desing

• Worked as robot intelligence&vision lab in Bualisina university from Oct 2015 to Sep 2017

Role :Msc student

• Worked as Teaching assistance in Department computer of bualisina univesity from Oct 2016 to Jan 2016

Role :Teaching assistance (machin learning)

PROJECT DETAILS

PROJECT : 1

Title : Application for a health center

Description : design and implementation of a web-based application for a health center

design software&php&bootstrap&sql

Duration : 9

Role : Designer web and programing

Team Size : 3

Objective

PROJECT : 2

Title : Dena website

Description : design and implementation of a web-based application for celebrate class in university

php&HTML&CSS&SQL

Duration : 3

Role : css design and programing

Team Size : 9

Objective

FIELD OF INTERESTS

Artificial intelligence

Programming

Research

SKILLS

Programming

C ,c++,c#,sql

Matlab

Image processing ,machin learning