Improving gossip-based decentralized deep learning

Abstract

Bu çalışmada fısıltı protokolleriyle yerel olarak eğitilen modellerin düğümler arasında rastgele değişimine dayananan tam dağıtık öğrenmeyi araştırdık. Diğer parçalı dağıtık öğrenme yöntemlerinden farklı olarak bu metotta bir lider yada koordinator düğüm bulunmuyor. Her düğümde aynı algoritma çalışır. Her düğüm aldığı modellerin ortalamasını alır ve kendi yerel verisiyle eğitir. Teorik olarak ispatlanmasa da pratikte kullanılışlı durumdadır. Bu algoritmayı anlamak için algoritmanın modelleri dağıtmak için kullandığı iletişim protokollerinin anlaşılması gerekiyor. Fısıltı öğrenmesi ilk olarak itme tipi fısıltı protokolü temelli olarak öne sürüldü. Bu alanda çok az çalışmanın olduğunu gözlemledik. Dağıtık öğrenmenin gelişmesi üzerine bina edildiği fısıltı protokollerinin doğru şekilde uygulanması ve model birleştirme stratejilerine dayanıyor. Bu çalışmanın ilk bölümünde var olan bütün fısıltı protokolleri SI ve SIR modunda teorik ve deneysel olarak ayrıntılı şekilde incelendi. İtme protokolünün SIR modunda enfekte olan düğüm sayısının en yoğun olduğu zamanı tahmini gibi birçok denklem türetildi. Var olan çalışmaların çoğunda fısıltı öğrenmesi SVM ve lojistik regresyon gibi doğrusal öğrenme algoritmalarıyla yapılıyor. Bu çalışmanın ikinci bölümünde yapay sinir ağları kullanarak dağıtık veri üzerinde öğrenme işlemini değişik parçalı model aktarma stratejileriyle değişik ağ büyüklüklerinde gerçekleştirdik.