Development of a robotic arm controller by using hand gesture recognition in matlab environment

Abstract

Bu tez İnsan-Makine Etkileşimi (IME) alanında olan görüntü işleme kullanılan robot kol kontrolü ile ilgilidir. Robot kolu kontrol etmede iki farkı analiz metodu kullanılmıştır, bu iki metodunda ana hedefi el sistemden daha kolay veri almada kullanılan herhangi bir araç kullanmadan el işareti bilgisini almaktır (ör. eldiven yada bilek bandı). Elin segmentasyonundan sonra ilk metod tüm önceden kaydedilmiş verilerle Şablon Eşleştirme algoritmasında karşılaştırmaktır. İkinci metod Sinyal İmzası algoritması temellidir, elin dış sınırları ile merkez noktası arasındaki mesafe temelli olan sinyaldir, Sinyal İmzası parmak uçlarının yerini bulmada ve onları saymada kullanılır. Detaylı test sonuçları ve sonuçların yorumları her iki algoritmanında robot kontrolünde kalibrasyon yapıldıktan sonar kullanılabilineceğini göstermektedir. Her iki metodta sürekli kamera veri işleme için yeterli hesaplama hızına sahiptir. This thesis deals with the robotic arm controller using image processing in the field of Human-Machine Interaction (HMI). There are two different methods used to analyze to control the robotic arm, the main aim of them is getting the hand gesture information without using tool that helps the system to extract data easier (ex. glove or wrist band). After segmentation of the hand, the first method is comparing of all pre-stored data in the database at the Template Matching Algorithm, the second method is Signature Signal, distance signal between edge of the hand and center of hand, Signature Signal is used to find where the fingertips are and to count the number of them. The detailed test results and their conclusions show that both algorithms can be used for controlling after calibration. Both methods have enough calculation speed to be used in continuous frame capturing sequence.