İç Konuşmalarımızı Kelimelere Döken Cihaz

lorrie Lejeune/MIT

Massachusetts Teknoloji Enstitüsü’nden (MIT) araştırmacılar, geliştirdikleri yapay zekâ uygulaması ve kafaya takılan kulaklığa benzer bir cihaz yardımıyla iç konuşmalarımızı yazıya dönüştürmeyi başardı.

Bir şey okurken ya da gündelik işlerimizle ilgili bir plan yaparken kelimeleri sesli olarak söylemesek de kafamızın içinde duyabiliriz. Konuşma birçok karmaşık sürecin bir arada gerçekleşmesiyle ortaya çıkan bir işlev. Konuşmanın beynin Broca bölgesinde ortaya çıktığı düşünülüyor. Beyindeki tamamlayıcı motor alan (supplementary motor area) isimli bölge ise konuşma organlarının hareketini kontrol eder. Konuşma sırasında beyinden konuşma organlarına sinir sinyalleri iletilirken, sinir hücreleri ile kas iplikçiklerinin birleştiği noktalarda çeşitli kimyasal maddeler salgılanır ve bu bölgelerde bir elektrik sinyali oluşur. Bu değişim konuşma organlarımız aracılığıyla seslerin ortaya çıkmadığı iç konuşma sırasında da gözlenir. Ayrıca iç konuşmalar sırasında gırtlak ve yüzdeki bazı kasların, belirgin şekilde olmasa da, hareket ettiği biliniyor.

MIT araştırmacılarının geliştirdiği AlterEgo isimli sistem iki bileşenden oluşuyor. Kafaya takılan kulaklık benzeri cihazdaki elektrotlar, konuşma sırasında aktif olan yüzdeki ve çenedeki kasların hareketlerini kontrol eden sinir sinyallerini algılıyor. Geliştirilen yapay zekâ uygulaması ise bu sinyalleri analiz ederek sessiz konuşmadaki kelimeleri belirliyor.

İç konuşmalarımızı başarılı bir şekilde kelimelere dökebilen ve vücudun içine yerleştirilmesine gerek duyulmayan bir cihaz daha önce geliştirilmemişti. Araştırmacılar bunu başarabilmek için ilk olarak 16 elektrotu (elektrik sinyallerini algılayan bir cihaz) yüzün farklı bölgelerine yerleştirdi. Araştırmaya katılan denekler aynı kelimeyi birçok kez tekrarladı. Bu sırada elektrotlar oluşan sinir sinyallerini kaydetti. Araştırmacılar sonuçları inceleyerek bir kelime telaffuz edildiğinde yüzün hangi noktasında ayırt edici bir sinyal oluştuğunu tespit etti. Böylece ağzın ve çenenin etrafında giyilebilir bir cihazda kullanılabilecek ve hareketi zorlaştırmayan dört nokta belirlendi.

MIT Media Lab - ACM IUI 2018

Araştırmacılar sessiz konuşma sırasında oluşan sinyalleri kelimelere dönüştürecek yapay zekâ uygulamasını geliştirirken yapay sinir ağları yönteminden yararlandı. Başlangıçta çok sayıda kelime içermeyen konuşmalar analiz edildi. Sonuçta, geliştirilen sistem %92 doğrulukla sessiz konuşmaları kelimelere çevirebildi. AlterEgo sisteminin gelecekte daha karmaşık konuşmaları daha doğru şekilde kelimelere dönüştürebilmesi hedefleniyor.

Kafaya takılan cihazda ayrıca sesin kemikler aracılığıyla kulağa iletilmesini sağlayan bir kulaklık sistemi var. Böylece sistem tamamen sessiz olunması gereken ya da konuşmaların duyulmasının zor olduğu, çok gürültülü ortamlarda insanların birbirleriyle kolay bir şekilde iletişim kurmasını ve çeşitli hastalıklar nedeniyle konuşma yeteneğini sonradan kaybeden insanların diğer insanlarla “konuşmasını” sağlayabilir. Ayrıca insanların iç seslerini “duyabilen” AlterEgo sistemi sayesinde teknolojik cihazlarla herhangi bir fiziksel etkileşime ihtiyaç duymadan iletişim kurmak mümkün olabilir.

• Kapur, A., Kapur, S., Maes, P., “AlterEgo: A Personalized Wearable Silent Speech Interface”, Association for Computing Machinery’s ACM Intelligent User Interface Conference, Japonya, 2018.
• https://www.nasa.gov/home/hqnews/2004/mar/HQ_04093_subvocal_speech.html
• https://itp.nyu.edu/classes/roy-spring2014/speaking-to-the-subconscious-using-subvocal-speech/