امیر حسین براتی

امیر حسین براتی


تاریخ انتشار : Publish : نسخه قابل چاپ Print


چكيده:                                           

بازشناسي حرکت را می­توان به عنوان مقدمه ­ای برای تعامل انسان و ماشین در نظر گرفت. اگر ماشین­ها بتوانند حرکات روزانه مردم را به صورت خودکار تفسیر کنند، انقلابی در حوزه بینایی ماشین به وجود می­ آید. بازشناسی حرکت کاربردهای بسیاری در زمینه ­های مختلف مانند بازی­های رایانه ­ای، توانبخشی افراد سالمند و بیماران دچار سکته مغزی و در اتاق عمل به عنوان ابزار کمکی پزشک برای مشاهده تصاویر دارد. استفاده از دوربین­های RGB نیاز به الگوریتم­های پیچیده برای بازشناسی حرکت دست دارد. با معرفی دستگاه Kinect توسط Microsoft، انقلابی در بازشناسی حرکت و بازی­های رایانه­ ای رخ داد. هدف از این پژوهش استفاده از Kinect برای بازشناسی حرکت دست پزشک در اتاق عمل است. در جراحی­ های مغز، پزشک نیاز دارد که تصاویر مختلف بیمار را مشاهده کند. شیوه مرسوم برای این کار استفاده از نگاتوسکوپ است که مشکلاتی مانند عدم بزرگ­نمایی، تغییر کنتراست و شدت روشنایی دارد. در این پژوهش با استفاده از Kinect کنسول بازی XBOX One، دو روش به منظور بازشناسی حرکت دست ارائه شده است. در روش اول، ویژگی­ های سینماتیکی حرکت دست با استفاده از داده­های Kinect استخراج می­شوند و از کلاسه­ بندهای HMM، DTW، SVM و MLP برای کلاسه­بندی حرکات دست استفاده شده است. با توجه به این که دقت این روش به ویژگی­های استخراج شده، نوع کلاسه­بند و تعداد نمونه­ های آموزشی و آزمایشی بستگی دارد، روش دیگری ارائه شده است که مبتنی بر قوانین طراحی شده به منظور بازشناسی حرکت دستعمل می­کند. معیارهای دقت و یادآوری به همراه ماتریس آشفتگی برای ارزیابی روش­های پیشنهادی به کار رفته­اند. نتایج آزمایشات و مقایسه آن با کارهای پیشین انجام شده در زمینه بازشناسی حرکت دست در اتاق عمل، حاکی از کارایی بالای روش­های پیشنهادی هستند. همچنین نرم­ افزار بازشناسی حرکت دست در اتاق عمل بیمارستان­های عرفان و سینا تهران حین عمل جراحی در 6 نوبت توسط 8 پزشک مورد ارزیابی قرار گرفته است و پزشکان از کارکرد نرم­افزار ابراز رضایت کرده ­اند.

واژه‌های کلیدی: تعامل انسان و کامپیوتر، بازشناسی حرکت، کینکت، ویژگی­های سینماتیکی، کلاسه ­بندی، دقت، یادآوری، ماتریس آشفتگی


Abstract:

Gesture recognition can be considered as the beginning of a way for interaction of human and machine. If the machines be able to interpret people's daily gestures automatically, there comes a revolution in the field of machine vision. Gesture recognition has many applications in various fields such as video games, rehabilitation of elderly people and stroke patients, and using in the operating rooms to assist physicians to view images. Using RGB cameras requires sophisticated algorithms to recognize hand gestures. After introducing the Microsoft's Kinect, a revolution occurred in gesture recognition and video games industry. The purpose of this research is using the Kinect to recognize physician hand gestures in the operating room. In brain surgeries, the surgeons need to see different images of the patient such as MRI, FMRI, and DTI. The conventional way to do this is to use Negatoscope which has difficulties such as lack of zooming ability and change in the contrast and brightness. In this study, two methods have been proposed in order to recognize hand gestures, by using XBOX One Kinect. In the first method, the kinematic features of hand gesture are extracted by using of Kinect data and then various classification algorithms are used to classify hand gestures. As the accuracy of this method depends on the extracted features, classification algorithm and number of train and test samples, another method is proposed. The second method is a rule-based method that designed for gesture recognition. Precision, Recall, and Confusion Matrix are used to evaluate the proposed methods. Experimental results and their comparison with previous works done in the field of recognition of hand gestures in the operating room, show high efficiency and accuracy of the proposed method. It should be noted that hand gesture recognition software was evaluated during surgery in operating rooms in Sina and Erfan hospitals in Tehran and physicians have expressed their consent to this software.


Key Words: Human Computer Interaction, Gesture Recognition, XBOX One, Kinect, Kinematic features, Classification, Precision, Recall, Confusion Matrix