Comparison of traditional and evolutionary neural networks for classification

Abstract

Sınıflandırma, önceden tanımlanmış gruplara, alternatiflerden oluşan sonlu bir dizinin ataması olarak adlandırılır. Sınıflandırmaya uygulanan istatistiksel modeller, kısıt olarak, söz konusu varsayımların sadece geçerliliğini koruduğu sürece iyi şekilde işler. Yapay sinir ağları, evrensel fonksiyon tahminleyiciler olarak, ele alınan model için fonksiyonel ya da dağılımsal olarak belirgin nitelikte bir biçim olmaksızın veriye kendilerini uyarlayabilir. Yapay sinir ağlarının tasarımındaki güçlük nedeniyle, büyük ve karmaşık problem uzaylarında başarı gösteren, sağlam ve olasılığa dayalı arama stratejileri olan evrimsel algoritmalar, yapay sinir ağlarının içine yerleştirilmiştir. Bu tezde, evrimsel yapay sinir ağlarını kullanarak iki veri seti sınıflandırılmıştır. Her veri setinin optimal evrimsel yapay sinir ağını üretmek için, yüksek doğrulukta sınıflandırma yapmak amacıyla; gizli katmandaki nöron sayısı, adım büyüklüğü ve momentumu içeren parametreler optimize edilmiştir. Çapraz doğrulama ile veri kümelerinin öğrenme ve test alt kümelerinin sınıflandırma performanslarını kıyaslamak için, evrimsel algoritmaların yapay sinir ağlarına uygulanmasını içeren araştırma ortaya konmuştur. Performans, geriyayılım ve evrimsel algoritmalar kullanarak seçilen evrimsel yapay sinir ağları ile sınıflandırılmaya ve değerlendirilmeye konu olan her niteliğe karşılık gelen ortalama hata kare, normalleştirilmiş ortalama hata kare, ortalama mutlak hata, korelasyon katsayısı ve doğru sınıflandırma oranı ile kıyaslanmıştır. Literatürde de öne sürüldüğü gibi; optimize edilmiş parametrelere sahip evrimsel sinir ağlarının; sınıflandırma problemlerinde, geriyayılım algoritmasını kullanan aynı mimariye sahip yapay sinir ağlarına kıyasla daha iyi performans değerleri elde etmektedir. Classification refers to the assignment of a finite set of alternatives into predefined groups. The limitation of the statistical models applied to the classification is that they work well only when the underlying assumptions are satisfied. Neural networks are universal functional approximators so that they can adjust themselves to the data without any explicit specification of functional or distributional form for the underlying model. Because of the difficulty of designing the artificial neural networks; evolutionary algorithms are embedded into artificial neural networks that are robust and probabilistic search strategies excel in large and complex problem spaces. In this thesis, two datasets are classified using evolutionary neural networks. In order to generate an optimal evolutionary neural network of each given dataset, the parameters are optimized including; number of neurons in the hidden layer, stepsize and momentum which makes the classification with high accuracy. Research involving the application of evolutionary algorithms to neural networks for benchmarking the classification performance of training and testing of the datasets with cross validation has been carried out. Performance is benchmarked by mean squared error, normalized mean squared error, mean absolute error, correlation coefficient and true classification rate that is referred to each attribute which is subject to be classified and evaluated with backpropagation and evolutionary neural networks whose parameters are selected using evolutionary algorithms. As argued in the literature; evolutionary neural networks having optimized parameters, get better performance values in classification than the artificial neural networks using the backpropagation algorithm with the same architecture.