Multimodal emotion recognition in video

Abstract

Bu tez, görsel, işitsel ve metinsel alanlar içeren video için yeni çok alanlı duygu tanıma yöntemlerini sunar. Görsel alanda, resimlerdeki yüzlerin duygusal ifadesinin tanınması için eğri uydurma yöntemine dayalı yeni bir yüz ifadelerini tanıma algoritması önerilmiştir. Önerilen yöntem, ağız bölgesinin şeklini gözönüne alarak, mutluluk, üzgün olma ve şaşkınlık duygularını bulmaktadır. Yapılan deneyler sonucunda yöntemimiz 89% ortalama doğruluk oranına ulaşmaktadır. Buna ek olarak, yeni bir kare atlamalı video bölütleme yöntemi önerilmiştir. İşitsel alanda, konuşma kesitlerinin duygusal sınıflarının, topluluk destek vektör makinaları ile sınıflandırılması amacıyla bir yaklaşım sunulmuştur. Buna ek olarak, ses sinyali içerisinden konuşma aktivitesi bulma alanında yeni bir yaklaşım ve Emotional Finding Nemo adında yeni bir duygu veriseti sunulmuştur. Yazı alanında, Vektör Uzay Modeli tabanlı duygu sınıflandırması yöntemi sunulmuştur. Yapılan deney sonuçlarına göre önerilen yöntem, verilen bir cümlenin duygusal sınıfının tahminlenmesi konusunda kısa cümleler için en az, Bayes, Destek Vektör Makinları ve ConceptNet gibi bilinen diğer yöntemler kadar iyi sonuç üretmektedir. Son olarak, web tabanlı bir arayüz ile geç birleştirme yöntemi kullanılarak, TRECVID verisetinin duygu içerikli olarak taranması sağlanmış, ve sistem performansını göstermek amacıyla duyguyu gösterebilen video oynatıcısı geliştirilmiştir. This thesis proposes new methods to recognize emotions in video considering visual, aural, and textual modalities. In visual modality, we proposed a new facial expression recognition algorithm based on curve fitting method for frontal upright faces in still images. Proposed algorithm considers the shape of mouth region to recognize happy, sad and surprise emotions. According to our experiments, our method achieves 89% average accuracy. In addition, we proposed a skip frame based approach for video segmentation. In aural modality, we present an approach to emotion recognition of speech utterances that is based on ensembles of Support Vector Machine classifiers. In addition, we proposed a new approach for Voice Activity Detection in audio signal, and presented a new emotional dataset called Emotional Finding Nemo based on a popular animation film, Finding Nemo. In textual modality, we proposed an emotion classification method based on Vector Space Model (VSM). Experiments showed that VSM based emotion classification on short sentences can be as good as other well-known methods including Naïve Bayes, SVM, and ConceptNet on predicting emotional class of a given sentence. Finally, we use late fusion technique with a web-based interface for emotional browsing of TRECVID dataset, and we developed an emotion-aware video player to demonstrate the system performance.