دانشکدة فنی و مهندسی

گروه آموزشی مهندسی کامپیوتر

 

پایان­نامه برای دریافت درجه کارشناسی ارشد در رشته مهندسی کامپیوتر گرایش هوش مصنوعی

 

عنوان:

 

تشخیص فعالیت انسان با استفاده از روش‌های پردازش تصویر در ویدئوهای RGBD

 

استاد راهنما :

دکتر میر‌حسین دزفولیان

 

داور‌ها :

دکتر حسن ختنلو

دکتر محرم منصوری‌زاده

 

نگارش :

سید یونس میری‌نژاد

 

۱۲ مهر ۹۶ ساعت 18:30

مکان: کلاس 27

 

 

Bu-Ali Sina University

 

Faculty of engineering

Department of computer engineering

 

 

Thesis submitted for Master of Science in Computer Engineering-Artificial Intelligence

 

 

 

 

 

 

Title:

 

Human activity recognition using image-processing techniques in RGBD video

 

 

Supervisor:

Dr. MirHossein Dezfoulian

 

 

 

By:

S.Younes MiriNezhad

 

 

October 4, 2017

 

چكيده:

بینایی کامپیوتر یا بینایی ماشین یکی از شاخه‌های علوم کامپیوتر است که شامل روش‌های مربوط به دستیابی تصاویر، پردازش، آنالیز و درک محتوای آن‌ها است. درک و تحلیل تصاویر ، قسمت مشترک اکثریت مسائل مربوط به بینایی ماشین است. امروزه تشخیص فعالیت انسانی یکی از مهم‌ترین و جالب‌‌ترین موضوعات پژوهشی در حوزه بینایی ماشین است. هدف از انجام این پژوهش‌ها، تشخیص و آنالیز فعالیت‌های در حال انجام توسط انسان در یک ویدیو ناشناخته است. سیستم تشخیص فعالیت انسان با استفاده از داده‌‌های عمق، به سیستمی گفته می‌شود که از روی ویدئوهای ضبط شده توسط دوربین‌های عمق بتواند فعالیت انسان را تشخیص دهد. در سال‌های اخیر تشخیص فعالیت انسان مورد توجه پژوهشگران بسیاری در حوزه بینایی ماشین و تشخیص الگو قرار گرفته است.

کار بر روی تشخیص فعالیت انسان از روی داده‌های عمق در دهه 1980 آغاز شد که بیشتر بر روی آموزش و تشخیص فعالیت‌ها از روی توالی تصاویر ویدئو‌های ضبط شده توسط دوربین‌های نور مرئی تمرکز کرده بود. بعد از انتشار سنسور‌های عمق، شاهد رشد تحقیقات بر روی داده‌های سه بعدی بودیم. به تازگی، با ظهور دوربین‌های عمق نسبتا ارزان قیمت و با اندازه‌های کوچک، که دسترسی آسان به داده‌های سه بعدی را با وضوح بالا به ما می‌دهد، منجر به ظهور بسیاری از روش‌های جدید در تشخیص فعالیت انسان از روی داده‌های سه بعدی شده است.

در این پایان‌نامه روشی جدید برای بهبود تشخیص فعالیت انسان از روی ویدئو‌های عمق به وسیله ویژگی‌ اشغال محلی و هیستوگرام گرادیان‌های جهت‌دار و با کمک روشی برای تشخیص اندازه اشیاء در تعامل با انسان ارائه می‌شود. استخراج ویژگی‌های فعالیت از روی تصاویر رنگی و تصاویر عمق به منظور تهیه ویژگی‌های ظاهری انسان و استفاده از یک معیار برای تشخیص اشیاء دارای تعامل با انسان و کلاس‌بندی ویژگی‌های استخراج شده به منظور تشخیص فعالیت، از بخش‌های اصلی این پایان‌نامه می‌باشند.

سپس با ارزیابی روش پیشنهادی نشان می‌دهیم که روش پیشنهادی در مقایسه با روش‌های موجود به دلیل کاهش ویژگی‌های انتخابی با استفاده از ترکیب دو ویژگی وجود اشیاء و الگوی اشغال محلی دارای عملکرد مناسبی است، همچنین استفاده از کلاس‌بند ترکیبی وزن‌دار عملکرد قابل قبولی را نشان داده است.

 

واژه‌های کلیدی: تشخیص فعالیت انسان، تصاویر عمق، هیستوگرام گرادیان‌های جهت‌دار، الگوی اشغال محلی، کلاس‌بندی ترکیبی وزن‌دار

 

Abstract:

Computer vision or vision is one of the branches of computer science, which includes methods for accessing images, processing, analyzing and understanding their content. Understanding and analyzing images, is the common area of the most issues of machine vision. Today, recognizing human activity is one of the most important and exciting research topics in machine vision area. The purpose of this research is to detect and analyze the activities, which humans are doing in an unknown video. The system for detecting human activity using depth data is a system that can detect human activity from videos recorded by depth cameras. In recent years, recognition of human activity has attracted many researchers in the field of machine vision and pattern recognition.

Work on the detection of human activity from depth data began in the 1980s, which focuses on learning and recognizing activities from sequences of images of videos that captured by visible light cameras. After the publication of depth sensors, we saw the growth of research on 3D data. Recently, with the advent of relatively inexpensive and small-sized cameras, Which gives us easy access to high-resolution 3D data, has led to the emergence of many new ways of detecting human activity from 3D data.

In this thesis, a new method has proposed to improve the recognition of human activity from depth video by local occupancy feature and histogram of oriented gradient, and with using a method for determining the size of objects that is in interaction with humans. Extraction of activity feature from color images and depth images in order to provide human apparent features and the use of a special criterion for detecting objects that interact with humans and classify the extracted feature to detecting activity are the main sections of this thesis.

Then, by evaluating the proposed method, we show this method has a good performance, because of the reducing selected feature by using the combination of two features existence of objects and local occupancy patterns, Also, the use of weighted hybrid classification has shown an acceptable performance.

 

Key Words: Human Activity Recognition, Depth Image, Histogram of Oriented Gradients, Local Occupancy Patterns, Weighted Hybrid Classification

 

بسمه تعالي