Video görüntüleri üzerinde derin öğrenme tabanlı anormal durum tespiti ve derinlik tahmini

Abstract

Bu tez çalışmasında, değrin öğrenme metotları kullanılarak, güvenlik kameralarına yansıyan anormal durumların tespit edilmesi, anormal durumun görüntü içerisinde konumlandırılması ve derinlik tahmin modeli ile anormal durumun mesafesinin kestirimi amaçlanmıştır. Anormal durumun gerçekleştiği anda tespit edilebilmesi amacıyla 3 boyutlu evrişimsel sinir ağı ve devamında tam bağlantılı sinir ağı kullanılmıştır. Anormal durum tespit sisteminde bulunan 3 boyutlu evrişimsel sinir ağı modeli sports-1m veri seti ile önceden eğitilmiş ve eğitim sonucu elde edilen ağırlıklar anormal durum tespiti için özellik çıkartma sürecinde kullanılmıştır. 3 boyutlu evrişimsel sinir ağı modelinden elde edilen özellikler tam bağlantılı sinir ağına uygulanmıştır. Konumlandırma işlemi için bir veri seti oluşturulmuştur ve bu veriseti ile konumlandırma modeli eğitilmiştir. Girdi videosundan belirli aralıklarla elde edilen görüntüler konumlandırma tahmini için MobileNet V2 modeli ve bu modele sonradan eklenen yukarı örnekleme katmanları a uygulanmıştır, bu sayede anormal durum gerçekleştiği esnada ilgili anormal durum görüntü içerisinde konumlandırılabilmiştir. Konumlandırma modeline uygulanan girdi görüntüleri aynı zamanda derinlik tahmin modeline de uygulanmaktadır. Derinlik tahmini için kullanılan sistemde ImageNet veri seti ile önceden eğitilmiş olan DenseNet-169 modeli enkoder olarak çalışmaktadır. DenseNet169 modelinin çıkışına yukarı örnekleme yapacak olan dekoder modeli ilave edilmiştir ve 320x240 boyutunda derinlik haritası üretilmiştir. Derinlik tahmin modeli NYU-Depth V2 veri seti ile önceden eğitilmiş bir modeldir. Tez kapsamında geliştirilen sistemde, anormal durum gerçekleştiği anda konumlandırma modeli çalışarak anormal durumu konumlandırmakta ve derinlik tahmin modeli ile olayın gerçekleştiği mesafe tahmin edilmektedir. Tez çalışmasında, video görüntüleri kullanılarak anormal durum tespiti, anormal durum konumlandırma ve anormal durumun mesafesinin tahmini aynı anda gerçekleştirilmektedir, bu özelliği tez çalışmasını özgün bi çalışma yapmaktadır. Çalışmada anormal durum tespiti aşamasında farklı optimizasyon yöntemlerinin etkisi, konumlandırma aşamasında farklı filtre boyutlarının etkisi gibi sistem performansına etki eden ilgili parametrelerin belirlenmesi işlemleri de gerçekleştirilmiş ve sonuçları ilgili bölümde tartışılmıştır. Eğitim sonucu elde edilen veriler ve bu eğitim parametrelerine bağlı olarak farklı video görüntüleri üzerinde elde edilen sonuçlar da bulgular ve tartışma kısmında ele alınmıştır. Tez çalışması sonucu gerçekleştirilen sistem, otonom araçlarda seyir halinde iken gerçekleşen trafik kazası vb. anormal durumu tespit edebilecek, konumlandırabilecek ve mesafesini tahmin edebilecektir, ayrıca otobüs durakları, meydanlar, kavşaklar ve diğer asayişin sağlanması gerektiği alanlarda kullanılabilecektir.