Beyin Sinyallerini Konuşmaya Çeviren Teknoloji

Columbia Üniversitesi’nde çalışan bir grup mühendis, insan düşüncesini sese çeviren bir teknoloji geliştirdi. Beyin sinyallerini takip eden sistem, algıladığı kelimeleri anlaşılır bir biçimde telaffuz edebiliyor. Gelecekte, konuşma sorunları yaşayan insanların bu teknoloji sayesinde iletişim kurması mümkün olabilir. Dr. Hassan Akbari ve arkadaşlarının Prof. Dr. Nima Mesgarani önderliğinde yaptığı araştırmanın sonuçları Scientific Reports’ta yayımlandı.

Geçmişte yapılan araştırmalar, insanlar konuşurken ve hatta konuşmayı düşünürken beyinlerinde “muhbir sinyaller” ortaya çıktığını göstermişti. Benzer sinyallerin bir konuşmayı dinlerken ya da bir şeyi dinlediğimizi hayal ederken de ortaya çıktığı biliniyor.

Araştırmacılar beyin sinyallerini konuşmaya çevirmek için “vocoder” olarak adlandırılan, insan sesiyle eğitildikten sonra kelimeleri telaffuz edebilen bir yapay zekâya uygulamasına yönelmişler. Çalışmalar sırasında, düzenli olarak beyin operasyonları geçiren bir grup gönüllü epilepsi hastası denek olarak kullanılmış. İlk olarak, beyin ameliyatı geçirmekte olan epilepsi hastalarına çeşitli konuşmalar dinletilmiş ve bu sırada hastaların beyinlerinde ortaya çıkan sinyaller kaydedilmiş. Elde edilen veriler, daha sonra yapay zekâ uygulamasını eğitmek için kullanılmış. Çalışmaların ikinci aşamasında, 0’dan 9’a kadar olan rakamlar bir mikrofona okunmuş ve hoparlörden çıkan sesler hastalara dinletilerek beyin sinyalleri kaydedilmiş. Bu sinyaller yapay zekâ uygulamasına verildiğinde anlaşılabilir bir biçimde rakamları telaffuz edebildiği görülmüş.

Araştırmacılar, konuşan ya da konuştuğunu hayal eden insanlarla da benzer deneyler yapmayı planlıyor. Ayrıca sistemin karmaşık kelimeler ve cümlelerle de test edilmesi gerekiyor. Gelecekte, konuşma zorluğu çeken insanların iletişim kurmasına yardımcı olabilecek, epilepsi hastalarında kullanılanlara benzer beyin implantlarının geliştirilebileceği düşünülüyor.