Omni-directional vision based environment sensing for movement control of mobile robots

Abstract

Bu tez çalışmasında, otonom davranabilmesi için lazer noktaları kullanan tümyönlü bir çiftli görüntüleme sistemi ve tilt sensoru ile donatılmış bir gezgin robot ele alınmıştır. Tümyönlü görüntüleme sisteminin geliştirilmesi amacıyla lazer noktalarının merkezlerinin bulunması, çevredeki noktalarının derinliğinin bulunması için matematiksel bir model geliştirilmesi, nokta eşleştirme ve uzaklık hesaplanmasında oluşan hataların analizinin yapılması planlanmıştır. Çevreyi çiftli mantığı ile algılamak üzere karşılarına iki adet kamera yerleştirilmiş iki adet eğrisel ayna ile görüntüleme sistemi oluşturulmuştur. Çiftli görüntülerde nokta eşleştirilmesi, matris desenli lazer noktaları kullanılarak gerçekleştirilmiş ve bu desen lazer ışığını saçan Fiber Izgaralı Aygıt kullanılarak elde edilmiştir. Çiftli görüntülerdeki noktaların eşlenmesi için polinom tabanlı bir algoritma geliştirilmiştir. Üçlü metoduna dayanan bir matematiksel model geliştirilmiş ve eşleme algoritması yardımıyla bulunan iki görüntüdeki piksel çiftleri bu modelde kullanılarak çevredeki gerçek noktaların üç boyutlu konumları bulunmuştur. Görüntüleme sistemini gürültü içeren veriler kullanarak test etmek için, görüntülerdeki piksel konumlarını kullanan bir hata hesaplama modeli geliştirilmiştir. Geliştirilen matematiksel ve hata modelleri yardımıyla, çevredeki cisimlerin üzerinde bulunan noktalar ile görüntüleme sistemi arasındaki mesafeler hesaplanmıştır ve sentetik veriler kullanılarak gürültünün hata oranları üzerindeki etkisi analiz edilmiştir. Sentetik verilerle yapılan deney sonuçlarına göre, gürültü olmayan piksel konumlarıyla yapılan denemelerde hata oranlarının görüntü sensorlarının çözünürlüklerinin sınırlı olmasından kaynaklandığı görülmüştür. Satır ve kolon değerlerine gürültü eklenerek bozulan piksel konumları hata oranlarının artmasına neden olmuştur. Gerçek veriler kullanıldığında, aynı yatay / dikey düzlemler için, engel ile görüntüleme sisteminin merkezi arasındaki uzaklığa bağlı olarak X, Y ve Z eksenindeki hatalar artmış olsa da, görüntüleme sistemi ile yatay / dikey düzlem arasındaki uzaklığın artmasına bağlı olarak X (yatay uzaklık) ve Z (yükseklik) ortalama hata oranları sırasıyla %3,14 ve %2,02 değerlerine düşmüştür. Genel olarak, hataların ana sebepleri lazer noktalarının boyutları ve konumları, aynalardaki yansıma hataları, kırıcı lenslerin hassasiyeti, ayna-kamera ikililerinin doğrultusundaki sapma ve görüntü çözünürlüğünün sınırlı olması olarak sıralanmıştır. Kullanıcı ile gezgin robot arasında bulunan ve kumanda kolu ve tilt sensoru olarak iki seçenek içeren bir ara yüz yardımıyla kullanıcı komutu elde edilerek robot hareket ettirilmiştir. Görüntüleme sistemi gezgin robota monte edilmiş ve farklı boyutlarda ve konumlarda yerleşik engellerin bulunduğu bir ortamda test edilmiştir. Tümyönlü görüntüleme sistemi kullanan bir gezgin robotun engelleri kolayca tespit edebildiği ve engeller arasından kolayca geçebildiği görülmüştür. In this thesis, a mobile robot which is equipped with an omni-directional stereo vision system using laser dots and a tilt sensor in order to achieve autonomy is presented. The proposed steps of development of the omni-directional vision system are finding the laser dot centers, developing a mathematical model for computing the depth of points in the environment, finding the feature correspondences, and error analysis for distance calculation. The vision system was comprised with two rectilinear curved mirrors and two Charge Coupled Device (CCD) cameras fitted in front of the mirrors to sense the environment in a stereo approach manner. The feature matching in stereo images was carried out by using dot-matrix laser pattern, and the pattern was obtained by using a Fiber Grating Device (FGD) scattering the laser light beam. A polynomial based algorithm was developed to find the feature pixel matching in stereo images. A mathematical model based on triangulation method was developed and used to calculate the three dimensional locations of the real points in the environment by using matched pixel pairs in two images with the help of the matching algorithm. An error calculation model based on the locations of pixels in the images was developed in order to test the vision system according to noisy data. With the help of the developed mathematical and error estimation models, the distances between the points on the objects in the environment and the vision system were determined; and by using synthetic data, the effects of noise on the error rates were analyzed. According to the results of the experiments carried out with synthetic data, it was seen that errors were occurred depending on the limitation in the resolution of the image sensors for the pixels in the images without noisy locations. After the pixel locations were corrupted by adding noise to any values of their row and column values, the resultant errors were increased. Although the error rates of X, Y and Z axes were increased according to the distance between the obstacle and the center of the vision system for the same horizontal/vertical plane, the average error rates for X (range) and Z (height) were decreased to 3.14% and 2.02%, respectively with the increasing distance between the vision system and horizontal/vertical planes for real world. In common, the main reasons of errors were the size and location of the laser points, reflection errors on the mirrors, sensitivity of the refractive lenses, misalignment of the mirror-camera pairs and limitation of the image resolution. An interface between the user and the mobile robot consisting of two control options which were joystick and tilt sensor was used to obtain the user command for movement of the robot. The system was combined with the vision system and tested in an environment having different sized and located obstacles. It was seen that, by using omni-directional vision system on a mobile robot, the obstacles can be easily detected and the mobile robot can easily pass between the obstacles.