Data mining on text data and related applications

Abstract

Çok büyük miktarda depolanmış metinsel veri vardır ve hızlı bir şekilde büyüyerek veritabanı, veri ambarı gibi depolama araçlarına depolanmaya devam edilmektedir. Bu nedenle, ihtiyaç duyulan bilgiye ulaşmak yavaş ve zor bir hal almaktadır. Bu durumdan dolayı, kullanıcılar güçlü bir analiz aracına ihtiyaç duymuştur. Veri madenciliğinin bir dalı olan metin madenciliği, bu problemi ele almak için geliştirilmiş ve hızla geliştirilmekte olan bir araçtır._x000B_Metin madenciliği ?Doğal Dil İşleme, Bilgi Çıkarımı, İstatistik ve Veri Madenciliği? olan alanların birleşiminden oluşmuştur. Bu çalışmada, sözü geçen alanlar detaylı bir şekilde açıklanmış ve bu alanların hangi kısımlarının metin madenciliğinde kullanıldığından bahsedilmiştir._x000B_Metin madenciliği alanının kullanıldığı birçok uygulama mevcuttur. Bu tezde, uygulamalar yüzeysel olarak bahsedilmiş fakat otomatik metin özetleme detaya inilmiştir. Metin madenciliği alanında en çok kullanılan uygulamalardan birisi otomatik metin özetlemedir. İhtiyaç duyulan bilgi hızlı bir şekilde ulaşılmalıdır fakat bilgiye ulaşıldıktan sonra, kullanıcı ilgilenilen bilgi için tüm dokümanı okumalıdır. Otomatik metin özetleme görevi bu problemi ele alır ve kullanıcılara zaman kısıtı için özet oluşturur._x000B_Bu çalışmada otomatik metin özetleme görevi detaylı bir şekilde anlatılmış ve birkaç algoritmadan bahsedilmiştir. Son olarak bu algoritmalardan biri kullanılarak bir program kodlanmış ve on Türkçe haber metninin özeti çıkarılarak analiz edilmiştir. There is extremely large amount of textual information stored and fast growingly continued to be stored into many storage tools such as database and data warehouse. Thus, reaching needed information is getting slow and hard. Because of this situation, a robust analyzing tool is needed to users. Text mining, which is a branch of data mining, is developed and is still fastly developing tool to handle this problem._x000B_Text mining is multidisciplinary that those are ?Natural Language Processing, Information retrieval, Statistics and Data Mining?. In this study, those areas are defined in detail and what parts of those areas are used in text mining._x000B_There are many applications that text mining tool is used. In this thesis those are mentioned slightly but automatic text summarization. One of the most used applications in text mining area is automatic text summarization. Needed information has to be reached fastly but after information reached, user must read whole document for interested information. Automatic text summarization task handles this problem and generates a summary of documents to users for time consuming._x000B_In this study automatic text summarization task is explained in details and a couple of algorithms are mentioned. Finally, a software coded by using one of those algorithms and then ten Turkish news articles are summarized analyzed by the software.