An expansion and reranking method for annotation based image retrieval from Web

Abstract

Son gelinen noktada, resimlere erişim tekniği olarak görülen iki önemli yaklaşım bulunmaktadır: İçeriğe dayalı bilgi erişimi (İDBE) ve betimlemeye dayalı bilgi erişimi (BDBE). BDBE, resimlere insanlar tarafından iliştirilen notları, metin tabanlı arama yöntemi ile bulmaya dayanır. Bu tezde, BDBE tekniği ile webe yüklenmiş resimlerin erişim işlemini geliştiren yeni ?genişletme? ve ?tekrar sıralama? yaklaşımları sunulmuştur. Çalışma, resimler web ortamına yüklenirken onlara iliştirilen notlar kullanılarak bir resim sorgulama ve erişim sistemi tasarlanması üzerine kurulmuştur. Resimlere iliştirilen bu notların; tarih, yükleyici adı ve kullanım hakları gibi sorgulama açısından gereksiz bilgileri içerdiği unutulmamalıdır. Önerilen sistemde, en efektif terimleri seçmek için WordNet kullanılarak resim dokümanları genişletilmiş ve sonrasında anlamlı terimleri seçilmiştir. Resim erişim performansını arttırmak için kullanılan genişletme tekniği hem sorgular hem de dokümanlar üzerinde aynı şekilde uygulanmıştır. Yapılan bu genişletme işlemleri daha genişlemiş doküman ve sorgular oluşturduğu için anma (recall) seviyesini arttırırken, hassasiyet (precision) seviyesini düşürmüştür. Düşen hassasiyet seviyesini arttırmak için iki seviyeli tekrar sıralama yaklaşımı sunulmuştur. Yaptığımız deneyler, önerdiğimiz genişletme ve tekrar sıralama yaklaşımlarının web ortamına yüklenmiş resimlerin metin tabanlı aranması işleminin iyileştirilmesinde önemli bir rol oynayabileceğini ispatlamıştır. Current state-of-the-art in image retrieval has two major approaches: content-based image retrieval (CBIR) and annotation based image retrieval (ABIR). Annotation-based image retrieval (ABIR) simply uses text retrieval techniques on annotations generally done by human. In this thesis, we propose a new expansion and reranking method for ABIR from Web images. Our suggestion considers an image retrieval system using the surrounding texts nearby the image in a web page as annotations. However, annotations may include too much and uninformative text such as copyright notice, date, author etc. In order to choose indexing terms effectively, we propose a term selection approach, which first expands the document using WordNet, and then selects descriptive terms among them. Notably, we applied this term selection methodology to both document and query. This is because applying either of documents or query does not help to increase retrieval performance. On the other hand, documents and queries become more exhaustive than original. Consequently, this results high recall with low precision in retrieval. Thus, we also proposed a two-level reranking approach. Experiments have demonstrated that that document expansion and reranking plays an important role in text-based image retrieval and two-level reranking betterments the retrieved results by increasing precision.