Analysis of natural language processing techniques and development of Turkish named entity recognition tool for travel-tourism voice assistant

Abstract

Bu tezde, seyahat sektöründe Türkçe dilinde bir seyahat asistanının doğal dil işleme teknikleri kullanılarak nasıl geliştirilebileceği konusunda çalışmalar yapılacaktır. Bu çalışmayı yaparken, literatürde daha önce yapılmış olan doğal dil işleme çalışmalarının araştırılması ve bu çalışmalarının Türkçe 'ye uyarlanabilirliğinin verilerle ölçülmesi hedeflenmiştir. Türkçe doğal dil işleme alanındaki akademik çalışmaların başarısının incelenmesi, bunların doğruluk oranlarının nasıl arttırılabileceğinin saptanması ve bulunan sonuçların pratik uygulamalara nasıl uygulanabileceğinin çalışması yapılacaktır. NLP tekniklerine odaklanan akademik çalışmalara odaklanılarak ve bir Türk Mobil Seyahat Asistanında bu teknikler kullanılarak elde edilen sonuçları karşılaştırılacaktır. Doğal dil işleme, doğal dilde yazılmış metinlerin veya konuşulmuş seslerin işlenerek bilgisayar ile anlamlandırılması üzerine çalışmalar yürütülen, bilgisayar bilimi ve dil bilimciliğinin bir alt bilim dalıdır. Türkçe doğal dil işleme ise bu alanda yapılan çalışmaların Türk dil ve morfolojik yapısına göre uyarlanması ve gerektiğinde daha önce kullanılmamış tekniklerin kullanılarak dilin yapısına uygun olarak yeni yöntemlerin keşfedilmesidir. Bilgisayarların dili "anlama" terimi, insanın anladığı gibi değildir. Bilgisayarlara, dili anlamak için verilen modelleri kullanmak üzere denetimli, yarı denetimli ve denetimsiz yaklaşımlar kullanan modeller ve veriler sağlanmalıdır. Burada başarı anlama oranları, bir bilgisayarın dili konuşan bir insana kıyasla niyeti ne kadar iyi anladığı olarak tanımlanabilir. Bu tanımı temel alarak, NLP' deki en son modelleri kullanarak, dili anlayan bilgisayarların başarı oranları, mevcut bilgisayarların ve verilerin işlem gücünün artmasıyla arttı. Literatür tarandığında Türkçe doğal dil işleme alanında birçok çalışma yapıldığını görmekteyiz. Ses dalgalarının incelenerek ses tanıma ve yazıya aktarılması çalışmalarına konuşmadan yazıya yazıdan konuşmaya işlemleri denilmektedir. Bunun yansıra biçimbilimsel, sözdizimsel, anlamsal çözümleme gibi yöntemler kullanılmakta ve geliştirilmektedir. Bu alanda yapılan diğer çalışmalar otomatik yazım hatalarının denetlenmesi ve düzeltilmesi, dil çeviri gibi pratik, her daim elimizin altındaki alanlara da yaygınlaşmıştır. Büyük verinin artmasıyla birlikte bilginin ulaşılabilirliğinin zorlaşması ile bilgi çıkarımı, bilgi getirimi, soru cevap sistemlerinin geliştirilmesi, özet çıkartma gibi uygulamalar doğal dil işleme tanımı altında gerekli yerini bulmuştur. Bu alanda daha önce de sesli asistan geliştirme çalışmaları yapılmıştır. Ancak yaygın olarak kullanılmamıştır ve araştırma aşamasında kalmıştır. Doğal dil işleme alanında çalışmaların yürütülebilmesi için güncel olarak makine öğrenimi yöntemleri kullanılmıştır. Makine öğrenmesi tekniklerinin bu alanda kullanılabilmesi için de mevzu bahis alanda büyük veriye ihtiyaç duyulmaktadır. Konu özelleştikçe veriye ulaşmak daha da zorlaşmıştır. Bu tez kapsamında da seyahat alanında sesli niyetin toplanarak ve üzerinde çeşitli DDİ teknikleri kullanılarak veri haline getirilmesi ve bu verinin makine öğrenmesi yöntemlerine girdi olarak sağlanabilmesi hedeflenmiştir. Sesli asistan alanında çalışmalar yapılmasına rağmen seyahat alanında bugüne kadar çalışma yapılmamıştır. Bu da taranan literatürden gözlemlenmektedir. Bu çalışmada ses yoluyla alınan niyetin içerisinden gürültü (noise) olarak bildiğimiz model üzerinde etkisi olmayan kısımlar arındırılarak varlık ismi tespitine gönderilecektir. Varlık tespiti aşamasında bu cümlenin içerisinden anlamlı veriler alınıp seyahat edilecek yer, yön, tarih, kişi vb. dataları çıkarıp bunları birbirleriyle anlamlarını inceleyip modele oturtacaktır. Bu aşamada kişi isteğine göre listelenen sonuçlardan hangisini seçtiğini de ses yoluyla belirtecektir ve rezervasyon sayfasına ya da kişinin bilgilerinin istendiği sayfaya yönlendirilecektir. Buradan sonra kişinin bilgileri sesli soru cevap sistemi ile alınıp sesten yazıya çevrilecektir. Makine öğrenmesi algoritmaları çağrı merkezi çalışanlarının ve müşterilerinin gerçek konuşmalarından da öğrenerek veri kümelerini geliştirecektir ve bir süre sonra kendi kendine birçok sesli niyeti anlayıp çözüme ulaştıracak yapıya gelecektir. Türkiye'de doğal dil işleme alanında hali hazırda var olan kütüphanelerin (Zemberek) ve web servislerinin (İTÜ NLP Web Service) sağladığı yöntemler araştırılacaktır. Aynı zamanda son yıllarda Transfer Öğrenimi (transfer learning) yöntemleri de doğal dili anlama ve işleme alanlarında hızlı ilerlemeler kaydetmiştir. Bunlar ile deneylerle kullanılabilirliği araştırılacaktır. Bu yöntemlere ek geliştirmeler yaparak çalışmanın tamamlanması öngörülmüştür. Veri analizi yöntemleri ile daha önceden alınmış biletlerin konuşmalarından benzerlik algoritmaları ile şimdiki konuşmanın anlamını çıkarmaya çalışmak da bir gidiş yolu olarak öngörülmüştür. Bunlar AR-GE sonucunda başarı oranına göre karar verilerek en doğru kararı veren algoritma ile devam edilecektir.