Face and speech recognition on field programmable gate array

Abstract

Bu çalışmanın amacı, Sahada Programlanabilir Kapı Dizilerini kullanarak, yüz ve konuşma bilgilerine bağlı olarak insanları tanımlayan bir sistem geliştirmektir._x000B_Bu çalışmanın araştırma aşamasında, özellik çıkarma teknikleri ve pazardaki Sahada Programlanabilir Kapı Dizilerinin geliştirme stratejileri araştırılmıştır. Seçilen tanıma metotlarına bağlı olarak, biyometrik tanıma alanında Sahada Programlanabilir Kapı Dizilerinin avantajlarını içermeyi amaçlayan bir tanıma yazılımı geliştirilmiştir. Bu çalışmada, genel prosedür, eğitme aşaması ve tanıma aşamasına bölünebilir. Eğitme aşamasında, yüz resimleri ve ses kayıtları, özellik çıkarma teknikleri kullanılarak ayrı ayrı işlenmiştir. Temel Bileşen Analizi ve Fourier Dönüşüm Analizi, sırasıyla, yüz ve konuşma tanıma için, özellik çıkarma yöntemleri olarak kullanılmıştır. Veritabanındaki tüm yüz resimlerini ve konuşma kayıtlarını içeren matris, Sahada Programlanabilir Kapı Dizilerinde işlenmiştir. Böylece, bir özellik matrisi yaratılmış ve Sahada Programlanabilir Kapı Dizilerinin hafızasında saklanmıştır. Tanıma aşamasında, bir yüz resmi ve ses kaydı, anlamlı bir özellik vektörü yaratmak için Sahada Programlanabilir Kapı Dizilerinde işlenmiştir. Sonuç vektörü, gelen bilginin sahibini bulmak için, ilgili veritabanıyla kıyaslanmıştır. Bu tez ayrıca, temel olarak yüz ve konuşma tanıma sistemlerini birleştiren çoklu biyometrik tanıma sisteminin geliştirme basamaklarını içermektedir. Çoklu biyometrik tanıma sistemi, yüz ve konuşma tanıma sistemlerinin karar verme seviyelerinde birleştirme işlemi yapmaktadır._x000B_Bu tez, farklı durumlarda sistemlerin sonuçlarını sunmakta ve çoklu biyometrik tanıma sistemleri ile tekli biyometrik tanıma sistemlerini avantaj ve dezavantaj bakımından karşılaştırmaktadır. The aim of this study is to develop a system by using Field Programmable Gate Array (FPGA) to recognize the people based on face and speech data._x000B_In the research stage of the study, feature extraction techniques and development strategies of FPGAs in the market were searched. Based on the selected recognition methods, recognition software was developed which intends to include the advantages of FPGAs in the area of biometric recognition. In this study, general procedure can be divided into training phase and recognition phase. In the training phase, face images and speech recordings were processed separately by using feature extraction techniques. Principal Component Analysis and Fourier Transform Analysis are used as feature extraction methods for face and speech recognition, respectively. The matrix which included all face images and speech recordings in database was processed in FPGA. Hence, a feature matrix was created and stored in the memory of FPGA. In the recognition phase, a face image and a speech recording was processed in FPGA to create a significant feature vector. The resultant data was compared to the related database to find the owner of the incoming data. This thesis also includes the development steps of a multibiometric recognition system which basically combines the face and speech recognition systems. It makes a fusion process at the decision levels of face and speech recognition systems._x000B_This thesis presents the results of systems in many cases and provides the possible advantages and disadvantages of multimodal recognition systems against unimodal recognition system.