Beyin sinyallerini anında konuşmaya çeviren teknoloji

UC Berkeley ve UC San Francisco’dan araştırmacılar, ağır felç geçiren bireyler için neredeyse doğal konuşmayı geri kazandıran bir sistem geliştirerek beyin-bilgisayar arayüzü (BCI) teknolojisinde çığır açtılar. Bu yenilikçi formül, konuşma nöroprotezlerindeki temel bir sorunu çözmeye odaklanıyor: Konuşma teşebbüsleri ile fikirlerin sese dönüştürülmesi arasındaki gecikmenin ortadan kaldırılması.

Nature Neuroscience mecmuasında yayınlanan bu teknoloji, beyin sinyallerini neredeyse anında konuşulan sözlere çevirmek için yapay zeka (AI) kullanıyor. Gerçek vakitli olarak duyulabilir konuşmaya aktarılan beyin aktiviteleri, konuşmayı daha doğal ve akıcı hale getirerek duraklama olmadan daima bir ifade akışı sağlıyor. Bu öncü çalışma, Ulusal Sağlık Enstitüleri (NIH) bünyesindeki Ulusal Sağırlık ve Diğer İletişim Bozuklukları Enstitüsü (NIDCD) tarafından destekleniyor.

Alexa ve Siri aynıi aygıtlarda kullanılan algoritmalara aynı bir yapıya sahip olan bu sistem, sinyalleri çözerek konuşma oluşturan bir akış sunuyor. Çeşitli aygıtlarla uyumlu olan teknoloji, hem invaziv olmayan sensörlerle yüz kası aktivitesini ölçebiliyor hem de beynin yüzeyine ya da içine yerleştirilen elektrotlarla daha karmaşık sistemleri destekleyebiliyor. Doktora öğrencisi ve çalışmanın ortak yazarı Kaylo Littlejohn’a göre algoritma, muteber sinyallere erişim sağlandığında farklı beyin izleme düzeneklerine kolay kolay ahenk sağlayabiliyor.

Nasıl çalışıyor?

Bu nöroprotez, beynin motor korteksinde konuşmayı denetim eden sinirsel aktiviteleri algılayarak sözlere dönüştürüyor. Bu süreç, birey bir niyet oluşturduğunda ve ses kaslarını hareket ettirmeye hazırlandığında devreye giriyor. Sistemin eğitimi için araştırmacılar, iştirakçinin sessizce cümleler söylemeye çalıştığı anlarda beyin aktivitelerini kaydetti. Yapay zeka modelleri, eksik ses ayrıntılarını doldurarak konuşma çıktısını oluşturdu. Ayrıyeten ekip, iştirakçinin yaralanmadan evvelki sesini referans alarak çıktının tanıdık ve ferdî olmasını sağladı. Evvelki teknolojiler, tam cümlelerin çözümlenmesinde 8 saniyelik bir gecikmeye sahipken, bu yeni yol 1 saniyeden kısa sürede duyulabilir konuşma oluşturabiliyor. Bu sürat ve doğruluk, sistemin gerçek vakitli konuşma üretiminde üstün bir performans sergilediğini kanıtlıyor.

Araştırmacılar, sistemi test etmek için NATO fonetik alfabesindeki (“Alfa”, “Bravo” gibi) ender sözleri sentezlediler ve bu sözler, eğitim bilgilerinin bir kesimi olmadığı halde başarılı sonuçlar elde edildi. Bu durum, teknolojinin daha geniş bir söz dağarcığında kullanılabileceğini gösteriyor.

Gelecek vizyonu

Araştırma ekibi, gelecekte konuşmanın duygusal tonunu ve ifade gücünü artırmayı hedefliyor. Çıkışı daha gerçekçi hale getirmek için perde, ses seviyesi ve duygusal değişiklikleri yansıtacak şekilde sistemi geliştirmeyi amaçlıyorlar. Bu teknoloji, daha fazla iyileştirme ile konuşma yetisini kaybetmiş bireyler için iletişim seçeneklerini çok önemli ölçüde genişletebilir ve hayat kalitesini artırabilir.