Representations of musical instrument sounds for classification and separation

Abstract

Bu tezde müzik enstrumanları sınıflandırılması için öznitelikler sunulmaktadır. Notaya dökme işlemi için müzik enstrumanlarının belirlenmesi, ayrıştırılması ve etiketlenmesi için müzik enstruman seslerinden ya da karışımlarından karakteristik bilginin ortaya çıkarılması hedeftir. Bu amaçla, hem zamanda hem de frekansta değişen müzik işaretlerinin ayrıştırıcı özelliklerini yakalayan zaman-frekans gösterimleriyle ilgilenilmiştir. Müzik enstruman seslerinden oluşan işitsel sahne özel bir kokteyl parti problemi olarak kabul edilerek, bağımsız bileşen analizi kullanarak tek kanallı gözü kapalı ayrıştırma problemi için bir çözüm sunulmuştur. Dalgacık tepeleri ile olduğu gibi, ana katkı müzik enstruman sınıflandırılması için yeni öznitelikler ve bu özniteliklerin destek vektör makineleri ile gerçekleştirilen çoklu-sınıf sınıflandırmalarla değerlendirilmesini içermektedir. Doğrudan zaman örneklerinden ve zaman-frekans gösterimi katsayılarından elde edilen dağılım model parametrelerinin entrumanların sınıflandırılmasına götüren bir öz bilgi içerdiği gösterilmiştir. Son olarak, ilintropi adı verilen çekirdek-tabanlı özilinti işlevi kullanılarak, müzik enstruman işaretlerinden temel karakteristik bilgi olarak temel titreşim frekansı ortaya çıkarılmıştır. In this thesis the representations for classification and separation of musical instruments are presented. The aim is to extract characteristic information from sounds of musical instruments or their mixtures, in order to identify, discriminate, and label for transcription of music. For this purpose, time-frequency representations are of interest which capture the discriminative properties of the musical signals changing both in time and frequency. Considering the auditory scene composed of the sounds generated from musical instruments as a special case of cocktail party problem, a solution for single channel blind source separation problem using independent component analysis is presented. As with wavelet ridges, the main contribution includes new features for musical instrument classification, and evaluations of the features using multi-class classifications performed with support vector machines. The distribution model parameters obtained from directly time samples and time-frequency representation coefficients are shown to contain an abstract information leading to classification of instruments. Finally, with the use of a kernel-based autocorrelation function named as correntropy, a basic characteristic information namely the fundamental frequency of musical instrument signals is extracted.