دانشکده  مهندسی

گروه آموزشی  کامپیوتر

اطلاعیه دفاع از دفاع از پایان‌نامه جهت اخذ درجه کارشناسی ارشد در رشته مهندسی کامپیوتر

 عنوان:

بازیابی تصویر مبتنی بر محتوا با استفاده از مدل کیسه­ای از لغات چندسطحی

 

استاد راهنما:

جناب آقای دکتر محرم منصوری زاده

 

استاد مشاور:

جناب آقای دکتر میرحسین دزفولیان

اساتید ممتحن:

جناب آقای دکتر حسن ختن لو

جناب آقای دکتر مهدی عباسی

 

پژوهشگر:

اکبر مقیمیان

 

تاریخ دفاع:

چهارشنبه  02/12/96 ساعت 11:30

مکان:

دانشکده مهندسی،  کلاس 27

 

Bu-Ali Sina University

 

Faculty of Engineering

 

Department of Computer Engineering

  

Thesis submitted for Master of Science in computer Engineering-Artificial Intelligence

Title:

Content-based image retrieval using multi-level bag of words model

Supervisor:

 Dr. Muharram Mansoorizadeh

 

Advisor:

 Dr. Mir Hossein Dezfoulian

 

Judges:

Dr. Hassan Khotanlou

Dr. Mahdi Abbasi

Author:

 Akbar Moghimian

 

February, 21, 2018

 

 

 

چكيده:

 بازیابی تصویر مبتنی بر محتوا استفاده از روش‌های بینایی ماشین برای بازیابی تصاویری از یک مجموعه است که ازنظر محتوا به تصویر پرسش شبیه باشند. چالش اصلی سیستم‌های بازیابی تصویر کاهش شکاف معنایی بین ویژگی‌های دیداری سطح­پایین تصویر و مفاهیم سطح­بالای موجود در آن است. دلیل اصلی شکاف معنایی این است که پیکسل‌ها و ناحیه‌های تصویر در بیشتر موارد بار معنایی کمی را با خود حمل می‌کنند. درنتیجه یکی از روش‌های کاهش این فاصله استخراج ویژگی‌های سطح­بالا در بازیابی تصویر است. از طرفی برای تفکیک تصاویری از دودسته مختلف که به‌وسیله ویژگی‌های سطح­بالا قابل‌تفکیک نیستند، به ویژگی‌های سطح‌پایین نیز احتیاج داریم. در این پژوهش استخراج ویژگی‌های دیداری در چهار سطح پیکسل، ناحیه، شیء و مفهوم  و انجام می‌شود. نمایه‌سازی تصاویر در همه سطوح با استفاده از مدل کیسه‌ای از واژگان انجام می‌شود. سپس از ترکیب اطلاعات این چهار سطح به‌منظور کاهش شکاف معنایی و افزایش دقت بازیابی استفاده می‌شود. در سطح پیکسل ویژگی‌های SIFT، فیلتر گابور و گشتاورهای رنگ از تصاویر استخراج می‌شود. در سطح ناحیه ابتدا تصویر با استفاده از الگوریتم Jseg به چند ناحیه افراز شده و سپس ویژگی‌های رنگ و بافت با استفاده از توصیفگر Hue و LBP از هر یک از نواحی تصویر استخراج می‌شود. در سطح شیء از شبکه عصبی کانولوشنی AlexNet برای بازشناسی اشیاء و صحنه‌های درون تصویر استفاده می‌شود و در سطح مفهوم از بازنمایی برداری واژگان متناظر با این اشیاء و صحنه‌ها، برای سنجش شباهت معنایی تصاویر استفاده می‌شود. بازنمایی برداری واژگان با استفاده از شبکه عصبی Word2vec انجام می‌شود. برای ساختن یک سیستم بازیابی تصویر مبتنی بر محتوای چندسطحی نیز از دو راهکار معمول مجموع امتیازها و ترکیب ویژگی‌ها استفاده شده است. نتایج به‌دست‌آمده از این پژوهش نشان‌دهنده بهبود دقت بازیابی در پایگاه داده‌های مختلف است.

 

واژه­های کلیدی: بازیابی تصویر مبتنی بر محتوا، بازیابی تصویر چند­سطحی، کیسه‌ای از واژه‌ها، ویژگی‌های سطح­بالا، AlexNet، Word2vec، مجموع امتیازها، همجوشی ویژگی‌ها

 

Abstract:

Content based image retrieval applies machine vision techniques to extraction of similar images for a given query image. Here, the main challenge is the so called semantic gap between low level image features and high-level concepts in the image. This paper addresses image retrieval task by combining decision results and features fusion at four granularities, namely pixel, region, object, and concept levels. Pixel level retrieval adopts SIFT features, gabor filters and color moments. Region level partitions the image into a set of segments and extracts their color and texture features for subsequent processing. AlexNet convolutional neural network is adopted for object based retrieval.  Word2vec word representation is used for concept level retrieval that exploits conceptual relations between objects to enhance the retrieval results. Experiments over some datasets like corel 5k, corel 10k confirm the feasibility of the proposed combination and conclude that it improves overall performance of the retrieval system.   

  

Key Words: content-based image retrieval, multi-level image retrieval, bag of words, high-level features, AlexNet, Word2vec, feature fusion