سید یونس میری - دانشکده فنی و مهندسی
دانشکدة فنی و مهندسی
گروه آموزشی مهندسی کامپیوتر
پایاننامه برای دریافت درجه کارشناسی ارشد در رشته مهندسی کامپیوتر گرایش هوش مصنوعی
عنوان:
تشخیص فعالیت انسان با استفاده از روشهای پردازش تصویر در ویدئوهای RGBD
استاد راهنما :
دکتر میرحسین دزفولیان
داورها :
دکتر حسن ختنلو
دکتر محرم منصوریزاده
نگارش :
سید یونس میرینژاد
۱۲ مهر ۹۶ ساعت 18:30
مکان: کلاس 27
Bu-Ali Sina University
Faculty of engineering
Department of computer engineering
Thesis submitted for Master of Science in Computer Engineering-Artificial Intelligence
Title:
Human activity recognition using image-processing techniques in RGBD video
Supervisor:
Dr. MirHossein Dezfoulian
By:
S.Younes MiriNezhad
October 4, 2017
چكيده:
بینایی کامپیوتر یا بینایی ماشین یکی از شاخههای علوم کامپیوتر است که شامل روشهای مربوط به دستیابی تصاویر، پردازش، آنالیز و درک محتوای آنها است. درک و تحلیل تصاویر ، قسمت مشترک اکثریت مسائل مربوط به بینایی ماشین است. امروزه تشخیص فعالیت انسانی یکی از مهمترین و جالبترین موضوعات پژوهشی در حوزه بینایی ماشین است. هدف از انجام این پژوهشها، تشخیص و آنالیز فعالیتهای در حال انجام توسط انسان در یک ویدیو ناشناخته است. سیستم تشخیص فعالیت انسان با استفاده از دادههای عمق، به سیستمی گفته میشود که از روی ویدئوهای ضبط شده توسط دوربینهای عمق بتواند فعالیت انسان را تشخیص دهد. در سالهای اخیر تشخیص فعالیت انسان مورد توجه پژوهشگران بسیاری در حوزه بینایی ماشین و تشخیص الگو قرار گرفته است.
کار بر روی تشخیص فعالیت انسان از روی دادههای عمق در دهه 1980 آغاز شد که بیشتر بر روی آموزش و تشخیص فعالیتها از روی توالی تصاویر ویدئوهای ضبط شده توسط دوربینهای نور مرئی تمرکز کرده بود. بعد از انتشار سنسورهای عمق، شاهد رشد تحقیقات بر روی دادههای سه بعدی بودیم. به تازگی، با ظهور دوربینهای عمق نسبتا ارزان قیمت و با اندازههای کوچک، که دسترسی آسان به دادههای سه بعدی را با وضوح بالا به ما میدهد، منجر به ظهور بسیاری از روشهای جدید در تشخیص فعالیت انسان از روی دادههای سه بعدی شده است.
در این پایاننامه روشی جدید برای بهبود تشخیص فعالیت انسان از روی ویدئوهای عمق به وسیله ویژگی اشغال محلی و هیستوگرام گرادیانهای جهتدار و با کمک روشی برای تشخیص اندازه اشیاء در تعامل با انسان ارائه میشود. استخراج ویژگیهای فعالیت از روی تصاویر رنگی و تصاویر عمق به منظور تهیه ویژگیهای ظاهری انسان و استفاده از یک معیار برای تشخیص اشیاء دارای تعامل با انسان و کلاسبندی ویژگیهای استخراج شده به منظور تشخیص فعالیت، از بخشهای اصلی این پایاننامه میباشند.
سپس با ارزیابی روش پیشنهادی نشان میدهیم که روش پیشنهادی در مقایسه با روشهای موجود به دلیل کاهش ویژگیهای انتخابی با استفاده از ترکیب دو ویژگی وجود اشیاء و الگوی اشغال محلی دارای عملکرد مناسبی است، همچنین استفاده از کلاسبند ترکیبی وزندار عملکرد قابل قبولی را نشان داده است.
واژههای کلیدی: تشخیص فعالیت انسان، تصاویر عمق، هیستوگرام گرادیانهای جهتدار، الگوی اشغال محلی، کلاسبندی ترکیبی وزندار
Abstract:
Computer vision or vision is one of the branches of computer science, which includes methods for accessing images, processing, analyzing and understanding their content. Understanding and analyzing images, is the common area of the most issues of machine vision. Today, recognizing human activity is one of the most important and exciting research topics in machine vision area. The purpose of this research is to detect and analyze the activities, which humans are doing in an unknown video. The system for detecting human activity using depth data is a system that can detect human activity from videos recorded by depth cameras. In recent years, recognition of human activity has attracted many researchers in the field of machine vision and pattern recognition.
Work on the detection of human activity from depth data began in the 1980s, which focuses on learning and recognizing activities from sequences of images of videos that captured by visible light cameras. After the publication of depth sensors, we saw the growth of research on 3D data. Recently, with the advent of relatively inexpensive and small-sized cameras, Which gives us easy access to high-resolution 3D data, has led to the emergence of many new ways of detecting human activity from 3D data.
In this thesis, a new method has proposed to improve the recognition of human activity from depth video by local occupancy feature and histogram of oriented gradient, and with using a method for determining the size of objects that is in interaction with humans. Extraction of activity feature from color images and depth images in order to provide human apparent features and the use of a special criterion for detecting objects that interact with humans and classify the extracted feature to detecting activity are the main sections of this thesis.
Then, by evaluating the proposed method, we show this method has a good performance, because of the reducing selected feature by using the combination of two features existence of objects and local occupancy patterns, Also, the use of weighted hybrid classification has shown an acceptable performance.
Key Words: Human Activity Recognition, Depth Image, Histogram of Oriented Gradients, Local Occupancy Patterns, Weighted Hybrid Classification
بسمه تعالي
1- مشخصات فردي : |
|||
|
نام و نام خانوادگی: سید یونس میرینژاد رودبنه |
||
محل تولد: آستانه اشرفیه |
تاریخ تولد: ۲۷/۱۲/۱۳۶۷ |
||
نشانی محل سکونت: تهران - حکیمیه – بلوار بهار – خیابان سازمان آب – خیابان رضوان – برج نگارستان – طبقه ۹ – واحد ۴ |
|||
شماره همراه : ۰۹۱۲۲۹۷۴۵۶۶ |
شماره تماس : ۰۲۱۷۷۰۰۴۲۷۲ |
||
نشانی وب سایت : - |
پست الکترونیکی: Younes.MiriNezhad@Gmail.com |
||
2- سوابق تحصيلي : |
||||||
مقطع |
رشته |
گرایش |
تاریخ |
نام دانشگاه |
کشور/شهر |
معدل |
لیسانس |
مهندسی کامپیوتر |
نرمافزار |
۱/۷/۱۳۸۶ |
موسسه آموزش عالی شهاب دانش |
ایران - قم |
۱۳.۲۸ |
فوق لیسانس |
مهندسی کامپیوتر |
هوش مصنوعی |
۱/۷/۱۳۹۳ |
دانشگاه بوعلیسینا |
ایران - همدان |
۱۶.۱۶ |
3- مهارت در زبان خارجی : |
||||
زبان |
Reading |
Writing |
Speaking |
|
انگلیسی |
خوب |
خوب |
متوسط |
|
4- مهارت هاي تخصصي: |
|
نام مهارت |
ميزان تسلط |
ICDL |
میزان تسلط به این مجموعه (Word , Excel , Power Point , … ) : خوب |
آشنایی با زبانهای برنامهنویسی |
مسلط به زبانهای : C# , Matlab و کار با پایگاه داده های مختلف (SQL , LINQ , Access) آشنا با زبانهای : C , C++ , Visual Basic .NET , Java , Pascal , JavaScript , PHP |