دانشکده  مهندسی

گروه آموزشی  کامپیوتر

اطلاعیه دفاع از طرح پیشنهادی پایان نامه کارشناسی ارشد در رشته مهندسی کامپیوتر

عنوان:

ارائه یک روش ترکیبی و نیمه نظارتی مبتنی بر گراف برای برچسب‌زنی خودکار تصاویر

استاد راهنما:

جناب آقای دکتر محرم منصوری زاده

استاد مشاور:

جناب آقای دکتر حسن ختن لو

 اساتید ممتحن:

جناب آقای دکتر میرحسین دزفولیان

جناب آقای دکتر مهدی عباسی

 پژوهشگر:

مجتبی کردآبادی

تاریخ دفاع:

شنبه 14/11/96 ساعت 11

مکان:

آمفی تئاتر دانشکده مهندسی

Bu-Ali Sina University

 

Faculty of Engineering

 

Department of Computer Engineering

 

Thesis submitted for Master of Science in computer Engineering-Artificial Intelligence

 

Title:

New Hybrid and Semi Supervised graph based Method for Automatic Image Annotation

 Supervisor:

Dr. Muharram Mansoorizadeh

Advisor:

Dr. Hassan Khottanlou 

Judges:

Dr.Mir Hossein Dezfoulian

Dr.Mahdi Abbasi

 

Author:

Mojtaba Kordabadi    

February 3, 2018

 

چكيده:
با رشد سریع تعداد تصاویر تولیدشده در صفحات وب و شبکه‌های اجتماعی سازمان‌دهی و بازیابی تصاویر به روشی مؤثر و کارا به‌وسیله موتورهای جستجو یکی از حوزه های پژوهشی فعال می‌باشد. موتورهای جستجو در بازیابی داده‌های متنی دقت و سرعت مناسبی دارند. در سامانه‌های بازیابی تصویر، برچسب‌زنی خودکار تصویر به‌عنوان یک مرحله اولیه و پیش‌پردازشی در سیستم در نظر گرفته می‌شود. یادگیری نیمه نظارتی نوعی از روش‌های یادگیری ماشین است که از داده‌های برچسب دار و بدون برچسب استفاده می‌کند. هدف از یادگیری نیمه نظارتی این است که به این پرسش پاسخ داده شود که چگونه می‌توان با ترکیب داده‌های برچسب دار و بدون برچسب رفتار یادگیری را تغییر داد و الگوریتم‌هایی را طراحی کرد که از فواید این ترکیب‌ها استفاده کنند. توجه به روشهای یادگیری نیمه نظارتی مبتنی بر گراف در سالهای اخیر رشد چشمگیری یافته است.پژوهش حاضر در مورد برچسب‌زنی تصاویر با استفاده از روش‌های یادگیری نیمه نظارتی مبتنی بر گراف انجام‌گرفته است. اغلب کارهای پژوهشی پیشین در حوزه یادگیری نیمه نظارتی مبتنی بر گراف بر روی مسائل تک برچسبی انجام‌گرفته است. به دلیل وجود تصاویر بدون برچسب بسیار و به دلیل اینکه یک تصویر می‌تواند با چند واژه برچسب‌زنی شود یک روش ترکیبی نیمه نظارتی چند برچسبی جهت برچسب‌زنی خودکار تصاویر ارائه داده ایم که از ترکیب روش یادگیری نیمه نظارتی مبتنی بر گراف (LGC) و یادگیری چند برچسبی (ML-KNN) تشکیل شده است. بدلیل اهمیت ساخت گراف همسایگی،  در مرحله پیش پردازش و با استفاده از روش نگاشت ویژه لاپلاسی که یکی از روش ها کاهش ابعاد غیر خطی است  ابعاد دادگان را کاهش می دهیم و سپس با استفاده از روش LGC و مشارکت دادن تمام نمونه ها ،  برچسب های اولیه برای نمونه ها پیش بینی می کنیم و در مرحله بعدی با آموزش یادگیر ML-KNN با تعداد نمونه برچسب خورده بیشتر و اعمال روش کاردینالیتی،برچسب های نهایی تصاویر را پیش بینی می نمائیم. آزمایش ها بر روی مجموعه دادگان تصویری Corel5k ،Scene،Imageو  Yeast انجام گرفته است نتایج آزمایش‌ها نشان می‌دهد که عملکرد روش ارائه‌شده بخصوص در مواردی که تعداد نمونه برچسب دار بسیار پایین است بهتر می‌باشد و دارای دقت بهتری در مقایسه با روش های موجود و کارهای انجام شده در حوزه برچسب زنی تصاویر می باشد.

واژه­های کلیدی: بازیابی تصاویر، روش‌های نیمه نظارتی، یادگیری چند برچسبی، گراف شباهت تصاویر

Abstract:

   With the rapid growth number of produced images on web pages and social networks, organizing and retrieving images eeffectively and efficiently by search engines is one of the research domains. Search engines have the right accuracy and speed to retrieve text data. In image retrieval systems, automatic image annotation is considered as an initial and preprocessing step. Semi Supervised Learning is kind of the machine learning Method that uses labeled and unlabeled data. The purpose of semi-supervised learning is to answer the question of how to modify learning behavior by combining labeled and unlabeled data and designing algorithms that take advantage of these combinations. Considering Graph-based Semi-Supervised learning methods has grown dramatically in recent years. Considering graph-based semi- supervised learning methods has grown dramatically in recent years. The present research is aimed at Annotation images using Graph-based Semi-Supervised Learning methods. Most of the earlier research in GSSL field work on single-label problem. Because exist abundant unlabeled images, and an image can be labeled with a multi words, we present a multi-label semi-supervised hybrid method for automatic image annotation, that use from combination of GSSL method(LGC) and multi-label learning  method(ML-KNN). Because of importance of constructing neighboring graphs, in the preprocessing step reduce dimension of data by using the laplacian Eigen map method, which is one of the methods of nonlinear dimensionality reduction, and then using the LGC method and partnering with all samples, be predict initial label for samples, and in the next step, training ML-KNN learner with more number of labeled samples and apply cardinality method, we predict the final labels of the images. Experiments have been performed on Corel5K, Scene, Image and Yeast image databases. The results of the experiments show that the proposed method is better performed, especially in cases where the number of labeled sample is very low, with better accuracy in Comparison existing methods and tasks done in the area of Automatic image annotation.

Key Words: image retrieval, Semi-Supervised methods, multi-label learning, image similarity graph