Computer aided lipreading training tool

Abstract

Tüm dünyada işitme engelliler için sözel dil eğitimi yaygınlaşmaktadır. Günümüzde, işitme engeli bebeklerde, yeni doğan işitme tarama testleri ile saptanabilmekte ve gereksinime göre yapay kulak ameliyatı yapılmaktadır. Yapay kulak ameliyatı olmuş çocuklar, normal yaşıtları gibi kendi başlarına duyup, konuşmaya başlamazlar. Ameliyattan sonra her çocuk uygun konuşma eğitimi almalıdır. Fakat bu özel destekli eğitim hem çocuk hem de eğitimci için çok yorucudur. Bilgisayar tabanlı bir eğitim aracı, eğitimci ve çocuğun eğitim uygulamaları sırasında karşılaştığı zorluk ve sıkıntıyı azaltmaya yarayabilir. Bu bilgiler doğrultusunda, AURIS, işitme engelliler eğitimcisine yol göstermek üzere, görsel ve işitsel teknolojiyi içeren bir bilgisayar tabanlı bir eğitim aracı olarak tasarlanmıştır. AURIS, işitme engelli çocuğun sözel iletişimini geliştirmek üzere geliştirilmiştir. AURIS, işitme engelli çocuğun işitme kalınsı üzerine dayanır. Bu tezde tanıtılan AURIS'in yalnızca bir prototip olduğunu belirtmemiz gerekmektedir. Ayrıca, bu tezde, AURIS'in, yaşları 2-8 yaşlarındaki işitme engelli çocuklar üzerinde etkinliğinin test edildiği uygulama sonuçları sunulmuştur. Bu sonuçlar, işitme engelliler eğitiminde, AURIS'i kullanmanın, çocukların kavramları ve kelimeleri çok çabuk ve kolayca öğrenmelerinde yardımcı olduğunu göstermektedir. Hatta son uygulamalarda, çocukların üç sözcüklü tümceler kurabildikleri ve ses analiz modülü ile konuşma ve telaffuz yeteneklerini geliştirdikleri gözlemlenmiştir. Worldwide oral language education is becoming widespread for hearing impaired children. Nowadays hearing loss in babies can be diagnosed with newborn hearing screening tests and cochlear implantation can be performed when required. Implanted children can not start to hear and talk all by themselves as it is in normal hearing children. After implantation, every child should receive adequate speech training sessions. But, this special supplemental education is tiring work for both children and educator. A computer aided instructional tool may help to lessen the hardship and struggle that children and educators experience during the educational sessions. In these respect, AURIS is designed as a computer aided instructional tool combining both visual and audio technology for assisting teachers of hearing impaired in their practice. AURIS is developed to improve verbal communication skills of hearing impaired children. AURIS stands on residual hearing of hearing impaired children. It is necessary to emphasize that AURIS which is introduced in this thesis is only a prototype. Additionally, the result of the effectiveness of the AURIS which has been tested on preschool hearing impaired children (ages 2-6) as a case study, is presented in this thesis. These results show that using AURIS in hearing impaired education, children can learn concepts and nouns quickly and easily with the help of moving images and visual effects. At the end of the sessions, it is observed that children could even comprehend three word sentences and improve their speaking and pronunciation skills with the help of voice analysis methods inserted in AURIS.