Dünya çapında, yaklaşık olarak 360 milyon kişinin duyma azlığı ya da sağır olduğu bilinmektedir. Duyma problemi olmayan ve aynı zamanda da işaret dilini bilmeyen insanların sayısı çoğunlukta olduğundan, duyma problemi yaşayan insanlar genellikle iletişim kurmakta oldukça zorlanmaktadır. Yaşanan bu zorluklara bir çözüm yolu olarak araştırmacılar, işaret dilini konuşulan dile, konuşulan dili de işaret diline çevirebilecek, maliyet açısından uygun ve aynı zamanda etkili bir teknoloji üzerinde çalışmaktadır.

Bu araştırmaya kendini adayan Çin’li araştırmacılar, çalışmaları sonucunda Kinect İşaret Dili Çevirmen’ini geliştirdiler. Bu teknoloji sayesinde işaret dili ve konuşulan dil karşılıklı olarak çevirilebilecek. Sistemin işleyişi ise oldukça basit; cihaz iki taraftan da bir konuşma anını yakalıyor; ses ve kelimelerle ifade edilen kısmı algılayarak işaret diline çeviriyor ve duyma problemi yaşayan kişinin de işaretlerini algılayarak sözlü konuşulan dile çeviriyor. Üstelik bu işlemi oldukça akıcı bir şekilde yerine getirebiliyor.

Büyük bir ekibin işbirliği ile gerçekleştirilen bu proje, Chinese Academy of Sciences, Beijing Union University, Microsoft Research Asia ile Microsoft Research Connections birlikteliği ile tamamlandı. Her bir kurum bu mükemmel projede anahtar rol oynayan farklı görevleri başarıyla gerçekleştirdi.

Chinese Academy of Sciences’a bağlı Intitute of Computing Technology yöneticisi Profesör Xilin Chen, son altı yılını işaret dilini ve sözlü dili anlık olarak çevirebilecek bir teknolojiyi geliştirmek için harcamaktaydı. Profesör Chen: ” Bilgisayar ve bilgi teknolojilerinin inanılmaz bir hızla geliştiği bilinen bir gerçek. Benim bu projeye yaptığım belkı de en önemli destek, böyle bir teknolojinin geliştirilebilmesi için en doğru zamanın günümüz olduğunu tahmin edebilmem olmuştur.” Dedi.

Tabii ki böyle bir projenin gelişmesi, daha öncede pek çok sağlık problemine alternatif bir çözüm olarak fayda sağlamış olan Microsoft’un oyun için tasarlamış olduğu Kinect sayesinde olmuştur. Microsoft Kinect ve dijital sağlık ile ilgili daha önce yazmış olduğumuz pek çok yazıda da belirttiğimiz gibi, Kinect gelişmiş hassas sensör teknolojisi ve uygun maliyeti sayesinde pek çok alanda farklı kullanımları da sunmaktadır. Microsoft Kinect, kişinin vücut hareketlerini algılayarak en karışık hareket ve mimikleri dahi ayrıştırarak bunu mükemmel bir oyun deneyimine dönüştürmek için tasarlanmıştır. Bu özelliği Kinect’in ayrıca işaret dili kullanan kişilerin her hareketini ve yüz mimiklerini de algılayabileceği fikrini doğurmuştur.

Araştırmanın ilerleyen kısımlarında, üniversite öğrencisi olan Dandan Yin, duyma problemi yaşayan, işaret dilini ise oldukça etkili ve düzgün kullanabilen bir öğrenciydi. Bu sebeple, Kinect’in işaret dili tanımlama özelliği üzerinde çalışan araştırma ekibinin değişmez bir üyesi haline geldi ve çok büyük katkılarda bulundu. Yin ile Kinect’in ekrana yansıttığı Avatar arasındaki konuşmaların oldukça etkin ve başarılı olması, araştırmacılara da gelecekte iletişim teknolojilerinin ne kadar ilerleyebileceği konusunda ilham vermiştir. Tamamlanmamış bir prototip olmasın rağmen, gösterdiği başarı ile gelecekteki potansiyelini bell eden proje, beraberinde başka pek çok çalışmaya da yol açmış bulunmaktadır.

Bu teknolojinin sağlık alanında kullanımı ise gerçekten heyecan uyandırıcı. Düşünün ki duyma problemi yaşayan bir hasta, işaret dilini bilmeyen bir doktora muayene olmaya gidiyor ve yalnızca kağıt kalem aracılığıyla yazışarak anlaşabiliyor ki bu senaryoda okuma yazma bilmeyen ve duyma problemi yaşayan kişilerin olabileceği de düşünülmelidir. Böyle bir durumda, bir monitör ve Kinect aracılığıyla oldukça ucuza kurulabilecek bir sistem aracılığıyla, işaret dilini bilmeyen sağlık uzmanı ile duyma problemi olan hasta arasındaki iletişim oldukça basit olacaktır. Aşağıdaki videoda Microsoft Kinect ve bu teknoloji ile ilgili detaylara ve araştırmacıların verdikleri bilgilere ulaşabilirsiniz;

Telementoring: Using The Kinect and Microsoft Azure to Save Lives adlı bir araştırma, Microsoft Kinect’in teletıp dünyasında ciddi bir etki yaratabileceğini göstermişti. Özellikle sağlık hizmetleri için harcanan giderlerin azalmasında ve muayene sıklığının düşmesi Kinect’in katkılarından birkaçı. Doktorun hastasıyla olan etkileşimi tümüyle dijital ortamda olduğundan dolayı hastanın enfeksiyon kapma riski de oldukça azalıyor. Microsoft Kinect’inBir başka yararı ise doktorların elle müdahale yapmalarını ve dolayısıyla steril alanı bozmalarını engelleyerek, kontrollerini yapmalarını olanak vermesidir.

Yapılan araştırmada ayrıca 25,000$’a varabilecek karmaşık sistemlerdense, bir diz üstü bilgisayar, yaklaşık 150$ maliyetinde olan bir Kinect, Microsoft Azure bulut sistemine bağlantı ve bir Office 365 hesabının aynı işlevi görebileceğini belirtilmektedir. Takdir edersiniz ki ortaya çıkan tasarruf azımsanmayacak ölçüde.

Daha önce duyurduğumuz Kinect ile ilgili önceki araştırmalara bir göz atacak olursak en ilgi çekenlerden bir tanesi yüz felci geçiren hastaların rehabilitasyonunda kullanılmaya başlanması idi.

 

 İngiltere’de Nottingham Trent Üniversitesi bu proje ile tam olarak 347,000£ ödül kazandı. Sistem otomatik olarak, felç geçiren hastanın asimetrik yüz hatlarını tarıyor ve bir yazılım sayesinde hastaya belli yüz antrenmanları sunuyor. Hasta bu hareketleri gerçekleştirirken Kinect, sensörleri sayesinde hastanın yüz hareketlerini algılıyor ve gerçek zamanlı olarak ekrana gönderiyor. Bu sayede hasta anlık olarak kendi gelişmesini takip edebilme imkânına kavuşmuş oluyor.

Bir başka önemli çalışma ise, SimSensei isimli yazılım ile Kinect’in başka bir kullanım alanı. SimSensei isimli yazılım Kinect’in sensörlerini kullanarak kişinin karakteristik hareketlerinin bir listesini oluşturuyor. Konuşma şeklinizi, yüz ifadelerinizi, gözlerinizi kaç kez kırptığınızı, gülümseme oranınızı gibi değerleri ölçerek bir sonuca varıyor. Microsoft Kinect ile çalışan  bu başarılı yazılım sayesinde uzmanlar depresyonda olup olmadığınızı söyleyebiliyorlar.