زهرا رستمی
زهرا رستمی
دانشکده مهندسی
گروه آموزشی کامپیوتر
اطلاعیه دفاع از طرح پیشنهادی پایان نامه کارشناسی ارشد در رشته مهندسی کامپیوتر
عنوان:
شناسایی کنش و تعامل انسان-انسان در تصاویر RGB-D با بکارگیری تکنیکهای یادگیری ماشین
استاد راهنما:
دکتر حسن ختن لو
اساتید ممتحن:
دکتر محرم منصوری زاده
دکتر حاتم عبدلی
پژوهشگر:
زهرا رستمی
تاریخ دفاع:
شنبه 30/10/96 ساعت 16
مکان:
سمینار 2 (سالن مهندس مرحوم خانمحمدی)
Bu-Ali Sina University
Faculty of Engineering
Department of Computer Engineering
Thesis submitted for Master of Science in computer Engineering-Artificial Intelligence
Title:
Human action and interaction recognition in RGB-D images using machine learning techniques
Supervisor:
Dr.Hassan Khotanlou
Judges:
Dr.Muharram Mansoorizadeh
Dr.Hatam Abdoli
Author:
Zahra Rostami
January 20, 2018
چکیده:
شناسایی فعالیت انسان یکی از موضوعات پر کاربرد و جدید در حوزه یادگیری و بینایی ماشین است که به دلیل مسائلی نظیر تغییرات شرایط نوری، تغییرات زاویه دید، پسزمینه درهم ریخته و ... با چالشهای فراوانی مواجه است. در یک دستهبندی کلی میتوان فعالیتهای انسان را به 4 دسته تقسیم کرد که عبارتاند از: فعالیتهای تک نفره(کنش)، تعامل انسان با شیء، تعامل انسان با انسان و فعالیتهای گروهی. هدف از تشخیص تعامل، درک اتوماتیک کنش و واکنش دو شرکتکننده است. برخلاف فعالیتهای تک نفره که در آن کل تمرکز بر روی اجزای بدن یک شخص است، در تشخیص تعاملات دو نفره نزدیکی و مجاورت افراد باهم، موقعیت نسبی افراد و حالت بدن دو فرد در تشخیص الگوی تعامل مؤثر هستند. در بین روشهای موجود برای شناسایی کنش انسان، روشهای مبتنی بر یادگیری عمیق کارآیی مناسبتری دارند. در بین انواع دادهای مختلف، دنباله اسکلتی که از داده عمق استخراج میشود، شامل مجموعه کوچکی از موقعیت مفاصل بدن انسان است و میتواند به نحو موثری نشاندهنده نوع کنش باشد و در عین حال مستقل از پسزمینه، تغییرات روشنایی محیط و تغییرات زاویه دید باشد. به دلیل ماهیت سری زمانی دنباله اسکلتی، شناسایی کنش مبتنی بر دنباله اسکلتی، اغلب بر مبنای شبکههای عصبی بازگشتی و شبکههای LSTM خواهد بود. شبکههای عصبی کانولوشن برای شناسایی کنش مبتنی بر دادههای ویدئویی با مسئله ضعف مدل کردن وابستگیهای زمانی بلند مدت موجود در کل دنباله مواجه هستند. با در نظر گرفتن نوع نمایشی که به جای استخراج مستقیم اطلاعات زمانی بلند مدت، دنباله را به شکل تصاویر رنگی کد کند، استفاده از شبکههای کانولوشن برای شناسایی کنش امکانپذیر خواهد بود. روش پیشنهادی دو نوع ویژگی مکانی را بر مبنای فاصله اقلیدسی و فاصله برداری موقعیت مفاصل همچنین motion بین موقعیت دو مفصل در دو فریم با اختلاف 8 گام زمانی محاسبه کرده و در یک تصویر رنگی کد میکند. این نوع کد کردن، استفاده از شبکههای عصبی کانولوشن را برای شناسایی کنش امکانپذیر میکند. در این روش ابتدا ویژگیهایی از دنباله اسکلتی استخراج شده، سپس هر دسته ویژگی به عنوان ورودی به یک شبکه عصبی کانولوشن ارسال میشود. شبکه با استفاده از ورودیهای جدید وزنهای موجود در مدل از پیش آموزش دیده را تنظیم دقیق میکند و در نهایت در زمان تست خروجی شبکههای مختلف با یکدیگر ترکیب میشوند. روش پیشنهادی بر روی پایگاه داده NTU RGB+D آزمایش شده است و صحت 84.9% برای روش ارزیابی cross-view و صحت 78.9% برای روش ارزیابی cross-subject بهدست آمده است.
Abstract:
Recognition of human activities is one of the challenging tasks in computer vision and recently attracted increasing attention. Human activity can be categorized according to complexity as partial body action simple action interaction activity or group activity. In human-human interaction recognition the aim is automatically understand human actions and reaction. Compared with RGB-based counterparts, capturing human actions in 3D space due to its similarity to the real world can provide more information. Among the common modalities (RGB, depth, skeleton) skeleton data has the advantage of being invariant to view point, illumination changes and more robust to the noise. Due to time-series property of skeleton sequences, skeleton based action recognition methods are mostly based on recurrent neural networks and Long Short-Term Memory networks. Convolutional neural networks (CNNs) nowadays have achieved great success in image classification. However, for video action recognition, it lacks the capacity to model the long-term temporal dependency of the entire video. Instead of directly exploring the long-term temporal information from the skeleton sequences, we first represent the skeleton sequences as color images. With this representation, the long-term temporal structure of the skeleton sequence can be effectively learned by using deep convolutional neural networks. Proposed method extract two types of spatial features named join-joint distance (JJd) and joint-joint vector (JJv) and motion between two frames with 8 time-step gap into color images. Encoding skeleton sequences into an image made it possible to train a convolutional neural network on each type of images. the proposed method consists of three major components: extraction of three types of spatial-temporal features consist of three types of joint-joint vector, joint-joint distance and motion computation as the input of CNN, CNN training based on encoded images from the extracted features, and score fusion. The proposed method achieved state-of-the-art performance on NTU RGB+D action recognition dataset. The results show an accuracy of 84.9% for cross-view evaluation and an accuracy of 78.9% for cross-subject evaluation on this dataset.
مشخصات فردی | |
نام و نام خانوادگی | زهرا رستمی |
تاریخ تولد | 1/4/1371 |
پست الکترونیکی |
سوابق تحصیلی | |||||
مقطع | رشته | گرایش | فراغت از تحصیل | محل تحصیل | کشور/شهر |
لیسانس | مهندسی کامپیوتر | نرم افزار | 6/94 | دانشگاه اصفهان | ایران-اصفهان |
فوق لیسانس | مهندسی کامپیوتر | هوش مصنوعی | 10/96 | بوعلی سینا | ایران-همدان |
مهارت در زبان خارجی | ||||
زبان | مکالمه | خواندن | نوشتن | درک مطلب |
انگلیسی | متوسط | خوب | خوب | خوب |
مهارتهای تخصصی | |
نام مهارت | میزان تسلط |
آشنا به الگوریتم های یادگیری عمیق | خوب |
آشنایی با زبانهای برنامهنویسی | مسلط به برنامه نویسی MATLAB و Java آشنا به برنامه نویسی با زبان C++ و C# |
سوابق علمی-پژوهشی | |
عنوان مقاله منتشر شده | محل ارائه |
Skeleton-based action recognition using spatio-temporal features with convolutional neural networks | 4th International Conference on Knowledge-Based Engineering and Innovation (KBEI-2017) |
تشخیص کنش انسان در تصاویر RGBD مبتنی بر دادههای اسکلتی بدن با استفاده از شبکههای کانولوشن | دومین کنفرانس ملی محاسبات نرم |
به اطلاع متقاضیان دکترای سال تحصیلی 1404-1403 رشته های مهندسی (مکانیک - کامپیوتر - برق - مواد - عمران - صنایع) دانشگاه بوعلی سینا می رساند، فهرست اساتید پذیرنده دانشکده مهندسی...
به اطلاع می رساند یک شرکت دانش بنیان در اصفهان نیازمند خدمات تحقیقاتی دانش آموختگان رشته های مواد و شیمی بوده و استخدام می کند. علاقمندان جهت کسب اطلاعات بیشتر و هماهنگی با شماره 03133879868 در...
به گزارش بسنا، مراسم افتتاحیه این پروژه با حضور محمدعلی زلفیگل وزیر علوم، تحقیقات و فناوری و دکتر علیرضا قاسمیفرزاد استاندار همدان، معاونان وزارتخانههای علوم و مسئولان استانی و ریاست...
دفتر هدایت استعدادهای درخشان دانشگاه بوعلیسینا فهرست اسامی دانشجویان برگزیده آموزشی پژوهشی پانزدهمین همایش سالانه دفتر هدایت استعدادهای درخشان سال ۱۴۰۲ را منتشر کرد. اسامی دانشجویان...
بهراد توتونچی دبیر انجمن علمی دانشجویی مهندسی عمران دانشگاه بوعلی سینا، در جلسه ای با حضور نمایندگان دانشگاه های سراسر کشور، با کسب اکثریت آرا انتخابات، به عنوان دبیر...
در هشتمین نشست از دوره یازدهم هیأت ممیزه دانشگاه بوعلیسینا، آقای دکتر علیرضا حاتمی دارای مدرک دکتری در رشته مهندسی برق با ر أ ی اعضاء از مرتبه...
بدینوسیله انتخاب آقای دکتر آرش فتاح الحسینی را به عنوان پژوهشگر برگزیده دانشگاه در گروه فنی و مهندسی به ایشان و خانواده علمی دانشکده مهندسی تبریک عرض نموده و از خداوند متعال...
بدینوسیله انتخاب دو تن از دانشجویان دانشکده مهندسی مهندس راضیه چهارمحالی در مقطع دکتری رشته مهندسی مواد شاخه خوردگی و مهندسی سطح و مهندس امین نظری در مقطع...
بدینوسیله انتخاب سه عضو هیات علمی دانشکده مهندسی جناب آقایان دکتر جواد بهنامیان ، دکتر حسن علم خواه و دکتر محسن گودرزی در...
براساس اطلاعات پایگاه شاخصهای اساسی علم (ESI)، حضوردکتر محمد حسن مرادی از گروه مهندسی برق دانشکده مهندسی در زمره پژوهشگران پراستناد یک درصد برتر دنیا استمرار پیدا کرد. ...
بدینوسیله انتخاب اعضا محترم هیات علمی سرکار خانم دکتر سموئی (گروه مهندسی صنایع)، جناب آقایان دکتر بابائی (گروه مهندسی عمران)، دکتر حاتمی (گروه مهندسی برق)، دکتر ختن لو (گروه مهندسی...
بدینوسیله انتخاب چهار عضو هیات علمی دانشکده مهندسی جناب آقای دکتر جواد بهنامیان از گروه مهندسی صنایع به عنوان پژوهشگر اول برگزیده، جناب آقای دکتر حسن علم خواه از گروه...
به گزارش بسنا و به نقل از سازمان سنجش، آزمون مرحله نهایی بیست و هشتمین دوره المپیاد علمی دانشجویی کشور با حضور نفرات برگزیده آزمون کارشناسی ارشد (متمرکز) و آزمون غیرمتمرکز المپیاد در دانشگاههای...
به اطلاع دانشجویان محترم می رساند سایت کامپیوتر کارشناسی دانشکده مهندسی به دلیل انجام ثبت نام دانشجویان کارشناسی ورودی 1402 از شنبه 1402/7/22 به مدت یک هفته تعطیل می باشد.
به گزارش بسنا و به نقل از معاونت علمی فناوری ریاست جمهوری، در هشتمین دوره تجلیل از سرآمدان علمی کشور در سال ۱۴۰۲ که با حضور معاون علمی و فناوری و اقتصاد دانشبنیان رئیسجمهور و وزیر علوم...
به اطلاع دانشجویان ورودی جدید تحصیلات تکمیلی (ارشد و دکترا) می رساند، یکشنبه 23 مهر ساعت 11 الی 13 در محل آمفی تئاتر دانشکده مهندسی جلسه معارفه با هیات رییسه دانشکده برگزار می شود. ...
بر اساس اطلاعات جدید نمایه استنادی معتبر scopus ۲۰۲۳، با بررسی مقالات مربوط به ۲۰۲۲، 4 عضو هیات علمی و 1 دانش آموخته دانشکده مهندسی و با بررسی کل مقالات مربوط به سال های مختلف، 1 نفر از اعضای هیات...
نظر به مراتب تعهد، تخصص و تجارب ارزشمند جناب آقای دکتر حسن علم خواه و بنا به پیشنهاد رئیس دانشکده مهندسی، به موجب ابلاغی ایشان با حفظ سمت آموزشی به مدت 2 سال به عنوان...
در حکمی از طرف ریاست دانشگاه آقای دکتر امیرسامان خیرخواه به عنوان مدیر گروه رشته مهندسی صنایع منصوب گردید. در این حکم آمده است : « با احترام و آرزوی توفیق الهی، نظر به مراتب تعهد و تجارب...
در حکمی از طرف ریاست دانشگاه آقای دکتر صالح رازینی به عنوان مدیر گروه رشته مهندسی برق منصوب گردید. در این حکم آمده است : « با احترام و آرزوی توفیق الهی، نظر به مراتب تعهد و تجارب ارزنده...