Penalized logistic regression

Abstract

Lojistik regresyon kategorik verilerin modellemesinde sıklıkla kullanılan bir istatistiksel tekniktir. Kategorik verilerin en yaygın formu ?başarılı? veya ?başarısız?, ?evet? veya ?hayır? gibi ikili kategorilerin olduğu durumlardır. Regresyon modelini oluşturan değişkenler arasında çoklu doğrusal bağlantı olması durumunda, regresyon modelinin başarı oranı önemli ölçüde düşmektedir. Bu çalışmada, çoklu doğrusal bağlantı sorununu gidermek ve modelin başarı oranını arttırmak için karesel cezalandırılmış lojistik regreson modeli kullanılmıştır. En uygun cezalandırma miktarını belirlemek için çeşitli ölçüler kullanılmıştır. Bu iki yöntem gerçek veri setine (koroner kalp krizi verileri) uygulanmış ve performansları bakımından karşılaştırmaları yapılmıştır. Logistic regression (LR) is frequently used modeling technique for categorical response variables in statistical researches. Binary data are the most common form of categorical response for which the binary outcomes ?success? or ?failure?, ?yes? or ?no?. The estimation of regression parameters and classification rate is not accurate when there is multicollinearity among the predictors. In this thesis, we study the penalized logistic regression (PLR) model with quadratic penalization to eliminate the multicollinearity problem and improve the classification rate. We concentrate on several measures for determining the optimum amount of penalization on logistic regression model. We model the real data, coronary heart attack disease data, by both the PLR and LR model and compare their performances.