Görüntülerdeki eksik kısmın tamamlanması amaçlı derin öğrenme temelli hibrit bir model geliştirilmesi

Abstract

Bu tez çalışmasında görüntülerin eksik kısımlarının tahminlenmesi üzerine Konvolüsyonel Sinir Ağı (CNN), Uzun Kısa Süreli Bellek (LSTM) temelli hibrit bir model ve Otokodlayıcı (Autoencoder) metodu tasarlanmıştır. Görüntülerdeki eksik kısımların tahmini, gönderim işlemi yarıda kesilmiş, sinema moduna uymayan ve istenmeyen bir nesneye sahip olan görüntüler için oldukça önemlidir. Çalışma Cifar-10 veri seti üzerinde gerçekleştirilmiştir. Otokodlayıcı görüntülerin anlamlı bir şekilde sıkıştırılmasında kullanılmıştır. Sıkıştırılan görüntülerin veri dağılımlarının kontrolü için Üretken Karşıt Ağlar (GANs) metodu kullanılmış ve sıkıştırılan görüntülerin dağılımı normal dağılıma yakınsanmıştır. CNN modelinin girdileri Cifar-10 görüntüleriyken LSTM modelinin girdileri Otokodlayıcı modelinin çıktısı olan sıkıştırılmış görüntü verileridir. Özellik çıkarma işlemi hem CNN hem LSTM modeli tarafından gerçekleştirilmiş ve çıkarılan özellikler birleştirilmiştir. Bu özellikler daha sonra yeni bir LSTM ve CNN modeline girdi olarak verilerek görüntülerin eksik kısımları tahmin edilmiştir. CNN ve LSTM iki farklı tahmin üretmektedir. Modelin eğitimleri sırasında hata metriği olarak Ortalama Karekök Sapması (RMSE), Yapısal Benzerlik İndeks Hesaplaması (SSIM), Üretken Karşıt Ağlar Kaybı ve VGG (Visual Geometry Group, önceden eğitilmiş model) kaybı kullanılmıştır. VGG kaybı daha önceden eğitilmiş VGG modelinin çıktıları arasındaki farkı ifade eder. Geliştirilen modelin sonuçları klasik yöntemler ile karşılaştırılmış ve tablo halinde paylaşılmıştır. Literatürde görüntülerin eksik kısımlarının tahminlenmesi için sıklıkla görüntü işleme metotları kullanılırken bu çalışmada hibrit bir model oluşturulmuştur. Hibrit model çıktısı LSTM çıktısının ve CNN çıktısının ağırlıklı ortalamasından oluşmaktadır. Hibrit model çıktısı, test veri seti üzerinde RMSE, Sinyal Gürültü Oranı (PSNR), SSIM ve Frechet Başlangıç Mesafesi (FID) metriklerinde test edilen modeller içerisinde en yüksek puanları alarak bu problem için uygunluğunu kanıtlamıştır.