فاطمه عزیز ملایری

دانشکده فنی و مهندسی

گروه آموزشی مهندسی کامپیوتر

ااطلاعیه دفاع از  پایان نامه کارشناسی ارشد در رشته مهندسی کامپیوتر گرایش هوش مصنوعی

عنوان:

ارائه روشی جدید برای آنالیز ابر نقاط مبتنی بر تکنیک­های یادگیری عمیق

استاد راهنما:

جناب آقای دکتر حسن ختن­لو

اساتید ممتحن:

جناب آقای دکتر میرحسین دزفولیان

جناب آقای دکتر محرم منصوری زاده

پژوهشگر:

فاطمه عزیزملایری

زمان:

چهارشنبه 26/10/1397 ساعت 10 صبح

مکان:

سمینار 2 دپارتمان برق (سالن مهندس مرحوم خانمحمدی)

Bu-Ali Sina University

Faculty of Engineering

Department of Computer Engineering

Thesis submitted for Master of Science in computer Engineering-Artificial Intelligence

Title:

A novel method for point cloud analysis based on deep learning techniques 

Supervisor:

Dr.Hassan Khotanlou

Judges:

Dr.Mir Hossein Dezfoulian

Dr.Muharram Mansoorizadeh

Author:

Fatemeh azizmalayeri

January 16, 2019

چکیده:

 امروزه با پیشرفت تکنولوژی حسگرهای سه بعدی، می‌توان مدل‌های سه بعدی اشیاء و محیط را با هزینه‌ی کم تولید کرد .در سال‌های اخیر استفاده‌ی داده‌های سه بعدی هندسی در انواع گوناگونی از کاربردها از جمله رباتیک، مکانیک و خودروهای بدون سرنشین  به شدت افزایش یافته‌است. در این بین، ابر نقطه یکی از مهم‌ترین انواع داده‌ی سه بعدی محسوب می‌شود و علت آن منعطف بودن و دسترس پذیری آن است. در نتیجه نیاز به روش‌هایی که این نوع داده را به طور خودکار آنالیز کنند رو به افزایش است. البته ابر نقطه دارای ذات نامرتبی است و بر خلاف تصاویر دوبعدی، هیچ گونه ساختار شبکه‌ای در آن وجود ندارد و همین مسئله آنالیز آن را چالش برانگیز کرده‌است. در بین روش‌های موجود برای کاربردهای بینایی ماشین، شبکه‌های عصبی کانوولوشنی عمیق از محبوب‌ترین و موفق‌ترین‌ روش‌ها محسوب می‌شوند. گرچه، این شبکه‌ها نیازمند داده‌ی ورودی با ساختار منظم هستند و آنالیز ابر نقطه‌ی نامنظم به طور مستقیم توسط این شبکه‌ها ممکن نیست. به همین علت اکثر محققان ابتدا داده‌ی ابر نقطه را به نوعی نمایش منظم تبدیل می‌کنند و سپس آنالیز آن را انجام می‌دهند. ولی این تبدیل نوع نمایش اغلب با پیش پردازش‌های سنگین و از دست رفتن اطلاعات مکانی همراه است. اخیرا تعدادی از تحقیقات جدید به آنالیز ابر نقطه بدون تغییر نوع نمایش آن پرداخته‌اند ولی هنوز چالش‌های بسیاری پیش روی آن‌هاست. در این پایان‌نامه به بررسی مسئله‌ی آنالیز ابر نقطه بدون تغییر نوع نمایش آن و با استفاده از شبکه‌های عصبی عمیق پرداخته شده‌است. یکی از چالش‌های روبروی آنالیز ابر نقطه‌ی خام، استخراج کارآمد اطلاعات ساختارهای هندسی محلی موجود در ابر نقطه است. روش پیشنهادی یک شبکه‌ی عصبی پشت سرهم است که شامل یک مرحله استخراج ویژگی‌های محلی و یک مرحله‌ی استخراج ویژگی نقاط مستقل است. مرحله استخراج ویژگی محلی از شبکه‌های کانوولوشنی الهام گرفته شده‌است و می‌تواند اطلاعات محلی موجود در ابر نقطه را  به طور خودکار استخراج کند. این مرحله مشابه یک لایه‌ی کانوولوشنی دارای فیلترهایی است که می‌توانند در طی فرآیند آموزش شبکه آزادانه تنظیم شوند با این تفاوت که این فیلترها از جنس ابر نقطه هستند. علاوه بر آن، به جای عمل کانوولوشن (ضرب پیچشی) که در شبکه‌های کانوولوشنی استفاده می‌شود، معیار هاسدورف برای استخراج ویژگی معرفی شده‌است که با محاسبه‌ی شباهت بین فیلترها و ساختارهای محلی ابر نقطه، ویژگی‌های این ساختارها را استخراج می‌کند. استخراج ویژگی‌ نقاط مستقل با استفاده از پرسپترون چندلایه با اشتراک گذاری وزن‌ها انجام می‌شود. در نهایت یک لایه‌ی ادغام بیشینه این ویژگی‌های سطح پایین را در یک ویژگی سطح بالا و جهانی برای شکل ادغام می‌کند که نمایشی سطح بالا از ابر نقطه محسوب می‌شود. برای ارزیابی کارآیی روش پیشنهادی، این روش برای دو مسئله‌ی طبقه‌بندی و قطعه‌بندی بخشی ابر نقطه مورد بررسی قرار گرفته است. نتایج حاصل از پیاده‌سازی برای سه مجموعه‌داده نشان می‌دهد که روش پیشنهادی برای آنالیز ابر نقطه به دقت قابل قبولی دست می‌یابد.

واژه¬های کلیدی: ابر نقطه، یادگیری عمیق ،شبکه‌های کانوولوشنی، داده‌ی نامنظم، معیار هاسدورف

Abstract:

Nowadays with the developments of 3D sensing technologies, objects and environments could be modeled in 3D space at low costs. During recent years, 3D geometric data usage has explosively increased in a variety of applications such as robotic, mechanic, and autonomous driving. One important type of 3D data is point cloud due to its availability and flexibility. Thus the need for methods that automatically analyze such data is increasing. Point cloud data has an irregular format and an unordered instinct and unlike two-dimensional images, it does not have a grid structure which makes its analysis a challenging problem. Between existing methods for computer vision tasks, convolutional neural networks are the most successful ones. Although these networks require input data with regular structure and therefore analyzing point clouds directly by them is not possible. To resolve this issue, most researchers first convert point clouds to a regular presentation and then analyze it. However, this presentation conversion usually requires heavy pre-processing and results in a loss of spatial information. Methods that do not change the point cloud representation has only been studied recently and there are still a lot of challenges in front of them. This thesis focuses on the point cloud analysis without changing its point representation using deep neural networks. One of the main challenges in analyzing raw point cloud data, is how to extract local structure's information effectively. The proposed method is an end-to-end neural network consisting of a local feature extraction step and an individual point feature extraction step. The local feature extraction step is inspired by convolutional neural networks and extracts local features automatically. Similar to convolution layers, this step has a number of filters that can be freely adjusted and learnt during the learning process but these filters have a point cloud nature. In addition, instead of the convolution operation used in convolution layers, the Hausdorff measure is used for feature extraction which calculates the similarity between filters and local structures of point clouds. Individual point features are extracted by a multi layer perceptron with weight sharing. Finally a max pooling layer combines all the local and individual point features into a global feature vector which is a higher dimensional representation of the point cloud. To evaluate the proposed method, this method is examined for both point cloud classification and segmentation tasks. The experimental results for 3 different datasets show the adequate accuracy and efficiency of the proposed method.

Key Words : point clouds, deep learning, convolutional neural network, irregular domain, hausdorff measure

نام و نام خانوادگی : فاطمه عزیزملایری                                                                      

رشته‌ی تحصیلی : هوش مصنوعی و رباتیک

مقطع تحصیلی : کارشناسی ارشد          

اطلاعات تحصیلی :

1-    کارشناسی ارشد :

کارشناسی ارشد مهندسی کامپیوتر گرایش هوش مصنوعی ، دانشگاه  بوعلی سینا همدان (در حال تحصیل ورودی 1395)

 معدل : 18.19

2-    کارشناسی :

کارشناسی مهندسی کامپیوتر گرایش نرم افزار ، از دانشگاه بوعلی سینا همدان (1395-1391)

معدل : 16.34

عنوان پروژه : طراحی و پیاده‌سازی یک بازی دوبعدی با استفاده از موتور بازی سازی یونیتی

3-    دیپلم  :

دیپلم ریاضی ،  از دبیرستان نمونه دولتی سعدی ملایر (1391-1387)

معدل : 19.47

سابقه‌ی پژوهشی:

          مقاله با عنوان  Kernel correlation based CNN for point cloud classification task در کنفرانس ICCKE2018

مهارت‌ها :

          برنامه نویسی C و C++ و C# و java و python

مسلط به نرم‌افزار متلب

مسلط به نرم‌افزار یونیتی