Ontology-based medical image annotation and retrieval

Abstract

Bu tez kapsamında, mamografi incelemelerinde kullanılmak üzere yeni bir ontoloji tabanlı tıbbi resim betimleme ve geri getirim sistemi önerilmiştir. Bu amaçla ilk olarak mamografi incelemelerde kullanılmak üzere ortak bir kelime haznesi sağlayan yeni bir mamografi betimleme ontolojisi geliştirdik. Daha sonrasında, veri setimizi oluşturmak amacıyla, ontolojimiz ile uyumlu, yeni bir ontoloji tabanlı mamografi betimleme ve geri getirim uygulaması geliştirdik. Sonrasında, her bir meme kitlesinin üç farklı seviyede öznitelik (yüksek, orta ve düşük) ile temsil edildiği içerik tabanlı resim geri getirim modelimizi geliştirdik. İlgili modelin matematiksel modeli SQWRL ve XQuery kullanılarak uygulamaya geçirilmesine ilişkin detaylar tez içersinde verilmiştir. İçerik tabanlı resim geri getirim sistemimizi test etmek amacıyla bir grup sorguyu veri setimiz üzerinde çalıştırdık. Ayrıca, mamografi incelemeleri sırasında ortaya çıkabilen belirsiz durumları modellemek üzere yeni bir yaklaşım önerdik ve verilen bir meme kitlesinin BI RADS skorunu belirmek için SQWRL kuralları geliştirdik. Yapılan deneyler sonucunda, mamografi incelemeleri sırasında BI RADS skorlarının belirlenmesi aşamasında bir belirsizlik durumunun olduğu ve formüle edilen belirsizlik seviyesinin kesin mantık için bizim yaklaşımımızdan açık bir şekilde daha yüksek olduğu görülmüştür. Ek olarak, içerik tabanlı resim geri getirim sistemlerinde, düşük seviyeli özniteliklerin, yüksek ve orta seviyeli öznitelikler ile birlikte kullanılması, sistem performansını iyileştirmiştir. Bu iyileştirme istatistiksel olarak anlamlı bulunmuştur (p küçüktür 0.001). In this thesis, we proposed a new ontology based medical image annotation and retrieval system for mammographic examinations. For that purpose, we have first developed a mammography annotation ontology (MAO) which is a domain ontology and it provides shared vocabulary for mammography interpretation. Then we have developed a new ontology based mammography annotation and retrieval tool (MART) to create our mammography dataset. Then, we have developed a content based image retrieval system where a breast mass is described with three sets of features: low, mid and high-level feature. Mathematical model of similarity calculation between two breast lesions and implementation of the model with SQWRL and XQuery explained in detail. To test our CBIR system, we performed set of queries on the DEMS. Furthermore, we present an approach to model uncertainty in mammography, and perform SQWRL rules to infer BI RADS scores for a given mass instance. Experimentation results showed that uncertainty exists in interpretation of BI RADS scoring in mammography and average level of uncertainty for crisp logic is clearly greater than our approach. Additionally, we show that using low level features together with high and mid level features in the content based image retrieval of breast masses improves the overall system performance and it is found statistically significant (p is lower than 0.001).