Piecewise affine and support vector models for robust and low complex regression

Abstract

Az sayıda parametre ile tanımlanan fonksiyon gösterilimleri, sadece veri veya modellerin karmaşıklığını azaltmak için değil, aynı zamanda gerçek test verileri altında oldukça iyi çalışan işaret ve sistemlerin elde edilmesi için de arzu edilir. Fonksiyon yaklaşımı ve regresyon (Her iki terimde tezde eşanlamlı olarak kullanılacaktır.), genellikle, sonlu sayıda giriş-çıkış örnek verilerinden bir öğrenme algoritması yardımı ile tasarlanırlar ve öğrenme sürecinde kullanılmayan test örnekleri için iyi bir genelleme yeteneği olan fonksiyon gösterilimleri sağlarlar. Tez'de, parça parça doğrusal ve/veya destek vektör yöntemlerine dayalı dört farklı regresyon model sınıfı önerilmiştir. Geliştirilen model sınıfından ilki, model parametrelerinin belirlenmesinde, model karmaşıklığını azaltmak üzere model parametre maliyeti için p?1 olacak biçimde l_p normu ve model parametrelerinin belirlenmesinde aykırı verilerin katkısını yok etmek veya sınırlamak için doymalı veya doğrusal hata fonksiyonu kullanmaktadır. İkinci olarak önerilen model sınıfı, en küçük karesel destek vektör modelinde karşılaşılan aşırı sayıda destek vektör oluşması problemini gidermek için önerilen ve en küçük karesel destek vektör modelinin bir uzantısı olan ?-duyarsız en küçük karesel destek vektör regresyon model sınıfıdır. Geliştirilen fonksiyon yaklaşım modellerinin üçüncüsü, parça parça doğrusal fonksiyonların yalın gösterilimleri ve B-spline taban fonksiyonlarından esinlenerek türetilen parça parça doğrusal destek vektör modelleridir. Geliştirilen dördüncü sınıf regresyon model sınıfı, destek vektör yaklaşım tabanlı modellerdeki yaklaşım hatası fonksiyonu yerine bir eğiticisiz öbekleme hatasını azaltan giriş-çıkış öbekleme algoritması ile tasarlanan diğer bir parça parça model sınıfıdır. Önerilen yöntemler nitel ve sayısal olarak incelenmiş ve gerçek veri ile bazı test fonksiyonları için bilinen destek vektör regresyon modelleri ile karşılaştırılmıştır. Function representation defined with a relatively small number of parameters in the relationship between input and output of the system provides a way of data reduction and compression. One of the main contributions of the thesis is to develop the function representation and optimization methods applied to be a given finite set of input-output sample data. At the beginning, an adequate theoretical background and also a guide for the study of function representations in the literature are described for reader. Next, novel studies on function representation are presented. First of all, a robust and low complex regression models by introducing new loss functions for rejecting outliers and noises, and l_p with p?1 norms for model parameters in order to reduce model complexity in support vector regression are developed. After that, to ignore the small errors less than a predetermined number (epsilon), the ? insensitive least squares support vector nonlinear regression is proposed and their associated solutions are compared with standard least square regression and support vector regression in a qualitative way. Another contribution of this thesis is the new type of kernel which is called piecewise linear kernel where feature space is explicitly given with a piece-wise linear mapping from the input space. The support vector regression is formulated by using the new kernel. Finally, for piecewise affine representation, input-output clustering method is proposed and applied to the real ECG data.