Building of a linux based lightweight open source big data distribution

Abstract

Bu tez çalışması, Linux işletim sistemindeki veri mimarilerinin doğru kurulum, yapılandırma ve optimizasyon işlemlerini içerir. Çekirdek olarak alacağımız ve özelleştireceğimiz işletim sistemi, şu anda BAP (Bilimsel Araştırma Projeleri) tarafından desteklenen Milis Linux projesini taban alacaktır. Bu projede kullanılacak büyük veri platformu yaygın olarak kullanılan ve iyi bilinen Apache Hadoop dosya sistemini uyarlar. Apache Hadoop platformu, temel programlama çerçevesine sahip bilgisayar ve disk kümelerine büyük miktarda veri dağıtılmasını sağlar. Apache Hadoop'un üstüne topluluk tarafından işletilen veri işleme, güvenlik, erişim yönetimi, performans izleme ve diğer yardımcı yazılımlar kurulması bu tez kapsamında gerçeklenecektir. Kararlı bir Büyük Veri işleme yazılımı üretmek ve dağıtım yapmak için, yazılım paketlerinin en yeni ve uyumlu sürümlerinin bir araya getirilmesini sağlayan bir sistem kurulmalıdır. Bu tür yazılım seçim sürecinin geliştirilmesi ve otomasyonu ve birim testleriyle doğrulanması bu araştırmanın kapsamıdır. Bu araştırma dahilinde bir araya toplanan uygulamaların hazır kurulu olduğu bir sistem imajı hazırlanarak kullanıma hazır hale getirilecektir. Bu imaj canlı ortamda test edilebilir olduğu gibi sanal/fiziksel disklere kurulumu mümkün olacaktır.