Effects of diacritics in Turkish information retrieval

Abstract

Bu çalışmada, Türkçe metinlerin İngiliz Alfabesiyle yazılması durumuda bilgi erişimi performasında oluşacak kaybı araştırdık. Başlangıç noktası olarak, öncelikle dökümanlardan veya sorgulardan herhangi birinde Türkçe karakterlerin olmaması durumunda performasın nasıl etkilendiğini belirledik. Bu noktadan sonra döküman ve sorgu genişletme yöntemleri uygulayarak başlangıç performansını elde etmeye çalıştık. Uygulanan döküman indexleme ve sorgu işleme tekniklerinin yanında, kök bulma, ağırlık belirleme yöntemlerinin ve farklı uzunluktaki sorguların Türkçe Bilgi Erişimi üzerindeki etkilerini araştırdık. Elde ettiğimiz test sonuçları gösterdi ki, döküman genişletme ve denklik sınıfı uygulama yöntemleri başlangıç performansına ulaşabilmemiz için iyi sonuçlar üretti. In this study, we investigated the loss of retrieval performance by writing Turkish text with English Alphabet. As a starting point of this study, we first calculated the loss rate when either documents or queries do not include any Turkish diacritics. After this point we apply document and query expansion techniques to reach the initial performance. Additional to document indexing and query processing techniques, we also investigated the effects of stemming, weighting methods and query lengths on Turkish information retrieval. Our test results show that document expansion technique and equivalence classes produced good results to gain the initial performance.