Distributed computing on beowulf clusters

Abstract

Daha yüksek işlem kapasitesi elde etmek amacıyla onlarca, hatta yüzlerce kişisel bilgisayarı (PC) kullanarak düşük maliyetli Beowulf tipi kümeleri oluşturmak son yıllarda eğilim kazanmıştır. Bu tür bir işlem platformunun avantajlarından faydalanabilmek için işi kümenin içindeki bilgisayarlar arasında etkin bir biçimde ve saydam olarak paylaştıracak, ölçeklenebilir özellikte bir yük dengeleme modeli gerekmektedir. Bu tezde, heterojen yapıdaki Beowulf kümeleri için tasarlanan ölçeklenebilir bir küme mimarisi ile bu mimari üzerine inşa edilmiş bir yük degeleme modeli sunulmaktadır. Ölçeklenebilir bir yapı için sistem hiyerarşik olarak merkezileştirilmiş bir mimari üzerine yapılandırılmıştır. Genel amaçlı kullanım özelliği kazandırmak amacıyla, önerilen yük dengeleme modeli, tasarımında bazı dinamik ve uyarlanabilir unsurlar barındırmaktadır. Bu amaçla, yük değerleri hesaplamasında, CPU durumu, bellek kullanımı, ağ arabirim bantgenişliği gibi farklı kombinasyonlarda birden çok yük endeksi hesaplamaya dahil edilebilmektedir. Buna ek olarak yük dağıtım modeli işleyişi, değiştirilebilir tarzda tasarlanmış ve sistemin anlık durumuna göre yük dağıtma kararlarını dinamik olarak değiştirebilen uyarlanabilir yük eşik değerlerine dayandırılmıştır. Tez içerisinde, önerilen modellerin tasarım, uygulama ve performans değerlendirmeleri detayları ile yer almaktadır. Building low cost Beowulf style clusters by using tens or hundreds of PCs is a popular method to achieve higher computing capacities. To gain advantages of such a computing platform, a load balancing scheme is needed for transparent distribution of loads of individual computers throughout the whole cluster in a scalable and efficient manner. In this thesis a scalable cluster architecture and a load balancing model for heterogeneous Beowulf cluster environments are presented. For scalability issues the system relies on a hierarchically centralized architecture. To have general purpose characteristics the proposed load balancing model offers some dynamic and customizable properties in its design. For this purpose, multiple user defined load indices are considered in load calculations like CPU utilization, memory usage, network bandwidth capacity, etc. along with their combinations. In addition, the load distribution policy is based on customizable adaptive load threshold values that dynamically adjust the load distribution decisions according to the system state. The thesis details the design, implementation and performance evaluations of proposed models.