"Mindwriting" - Yazılım, El Yazısıyla İlgili Düşünceleri Kelimelere ve Cümlelere Çevirebilir

Zihinsel çabanın ve son teknolojisinin bir kombinasyonu, bir akıllı telefon üzerinde mesajlaşan güçlü gövdeli akranları tarafından elde edilmiş bu tür cihazların hızında rekabet ederek mesajlaşma yoluyla iletişim kurmak için sabitleştirilmiş uzuylarıyla birlikte bir adama izin verdi.

Stanford Üniversitesi araştırmacıları, bütün vücudu felç olan bir hastanın beyninde gerçekleştirilen bir beyin-bilgisayar etkileşimi olarak adlandırılan cihazla birlikte yapay zeka yazılımını birleştirdi. Bu yazılım, bir bilgisayar ekranı üzerinde mesajin içine birinin düşüncesini el yazısına hızlı bir şekilde çevirebilmek için BCI’dan aldığı bilgiyi deşifre edebilir.

Bir insan, eLife dergisinde 2017’de bu bulguları rapor eden Stanfor araştırmacıları tarafından geliştirilen önceki methodun kullanabildiği kadar hızlı ikizinden daha hızlı olan bu yaklaşımı kullanarak yazmayı başarabilir.


Nature’de (12 Mayıs, 2021)’ de online olarak yayınlanan yeni bulgular, bir beyin cerrahı profesörü olan Jaimie Henderson’ın bahsettiği Lou Gehrig hastalığı olarakta bilinen Amyotrotik Lateral Skleroz(Doku Sertleşmesi) ya da omurilik bağı hasarı nedeniyle konuşma kabiliyetleri ya da üst uzuvların kullanamaz olan milyonlarca insan ve binlerce Amerikalı oldukça faydalı avantajlar sağlayabilir.

“Bu yaklaşım, bir akıllı telefon üzerinden mesajlaşan aynı yaş yetişkinlerle kıyaslandığında neredeyse cümleleri yazmak için felçli bir hastaya imkan verebilir.” demiştir Henderson, Jhon ve Jene Blume. “ Amaç, mesajlaşma yoluyla iletişim kurma kabiliyetini yeniden yapılandırmaktır.” dedi.

Çalışmadaki katılımcılar, dakika başına yaklaşık 18 kelime oranında mesaj yazdılar. Hastalıksız aynı yaş insanların, akıllı bir telefon üzerinde her dakika yaklaşık 23 kelime tuşlayabildiğiyle kıyaslayarsak oldukça iyi durumda.

T5 olarak bahsedilen, katılımcılar, 2007’de omurlilik bağ hasarından dolayı boyun altı bütün hareketlerini pratikte kaybetmişlerdir. 9 yıl sonra, Henderson, T5’lerin beyinlerinin sol tarafları üzerine, her biri bir çocuk aspirini boyutunda 2 tane beyin-bilgisayar etkileşim çipleri yerleştirdi. Her çip, motor kortexin bir kısmında ateşlenen nöronlardan sinyalleri toplayan 100 elektrottan oluşuyor.- motor kortexi, beynin en dış yüzeyinde bir bölgedir ve el hareketlerini yönetir.

Böyle nöral sinyalleri, yapay zeka algoritması, T5’lerin istenilen parmak ve el hareketlerini tahmin eden ve sinyalleri deşifre eden bir bilgisayara wires aracılığıyla gönderir. Algoritmalar, ortak yönetici Henderson ve Krishna Shenoy ve Hong Seh ve Vivian W.M Lim tarafından Stanford Nöro Protez Çeviri lab.’ında tasarlandı.

“Bizler, vücudun böyle hareketinlerini gerçekleştirme kabiliyetlerini kaybettikten sonra ki 10 yılda ince hareketleri emretme kabiliyetini beyne tekrar kazandırmayı öğrendik.” Dedi Willet. “ Ve bizler, el yazısı gibi kavisli yörüngeleri ve hızlardaki değişimi içeren istekli karmaşık hareketleri, kullandığımız yapay zeka algoritması yoluyla, sakin bir hızda ve düz bir yolda bir imleçin hareketi gibi istekli hareketleri basitleştirebildiğimizden daha hızlı ve daha kolay yorumlanabilir olduğunu öğrendik. Alfabetik harfler, birbirinden farklıdır böylece onları birbirinden ayırt etmek daha kolaydır.”

2017’deki çalışma, motor kortexine yerleştirilen BCI’lıların hepsi olan T5 içeren uzuv felcine sahip 3 katılımcıdan, bir bilgisayar üzerinde bir tuştan bir sonrakini hareket ettirmek için kollarını ve ellerini kullanması üzerine odaklanılması istenildi.( Ekran klavyesi)

Çalışmada, T5, şimdiye kadar bütün zamanların rekorunu kırdı: görüntülenen cümleleri yaklaşık dakika başına 40 harf kopyaladı. Diğer çalışmadaki katılımcılar, doğal bir şekilde katılımcıların kendilerinin istediği şeyleri dakikada 24.4 karekter yazmayı başarabildiler.

2017 çalışmalarının altında yatan paragdima, yazışmanın benzeri olsaydı, yeni Nature çalışmaları için model, el yazmalarına benzer olacaktı. T5’liler, ellerini ve kollarını kullanamamalarına rağmen, bir hayali kaleme sahip hayali bir pet üzerindeki alfebenin kişisel harflerini yazmaya çabalamaları üzerine odaklandı. Onlar, her harfi 10 kere tekrar etti ki bu durum, bu belirli harfleri yazmadaki çabalarıyla ilgili olan beyinsel sinyalleri tanımalamada(öğrenmede) yazılıma olanak tanır.

Bunun akabinde çok sayıda çoklu saat seanslarda, T5’lere bir cümle grubu sunuldu ve her birini elle yazması için zihinsel bir çaba göstermesi için talimat verildi. Büyük harfler kullanılmadı. Bu cümlelerin örnekleri: “ “i” yorumlandı”, “sessizliği koruyamadı” ve “30 saniyede ordu indi”. Zamanla, algortima, farklı karekterleri simgeleyen modelleri ateşleyen nöronlar arasındaki farklılaşma kabiliyetini geliştirdi. T5’lerin hangi harf olursa olsun harflerin algoritmasını yorumlaması, kabaca bir yarım saniye gecikmeden sonra bilgisayar ekranı üzerine görünmesi için yazmaya çalıştı.

Sonraki seanslarda, T5’lere, algoritmaların, asla maruz bırakılmadığı cümleleri kopyalama talimatı verildi. Onlar, sonunda her dakikada yaklaşık olarak 18 kelime ya da 90 karekter üretebilidiler. Daha sonra, düşünmeleri için biraz duraklama gereken açık uçlu sorulara cevap vermeleri istendi. Onlar, 2017’deki çalışmada serbest kompozisyon rekorunu üçe katlayarak dakika başına ortalama 15 kelimeye yakın 73.8 karekter ürettiler.

T5’lerin cümle kopyalama hata oranı, her 18-19 karekter girişiminde yaklaşık 1 hataydı. Serbest kompozisyon hata oranı, her 11-12 karekterde yaklaşık 1 hataydı. Araştırmacılar, sornadan gelen bir otomatik düzeltme işlevini kullandığında, akıllı telefonlarımızın klavyelerimizdeki birleşimlerle benzerdir.  Böyle hata oranları, oldukça düşüktür: kopyalamak için yaklaşık %1 altında, serbest stil için yaklaşık sadece %2.

“Böyle hata oranları, BCI’lı diğer hastalarla karşılaştırıldığında oldukça düşüktür.” Söyledi Shenoy.

“El ile yazma, dakika başına 20 kelime yaklaşabilirken biz, dakika başına 125 kelime cıvarında konuşma eğilimindeyiz ve bu el yazısını tamamlayan heyecan verici başka bir tarafıdır. Eğer birleştirilirse, bu sistemler, etkili bir şekilde hastalar için iletişim kurmasına daha fazla seçenek sunabilir.” dedi Shenoy.

 

Kaynakça: “High-performance brain-to-text communication via handwriting” by Francis R. Willett, Donald T. Avansino, Leigh R. Hochberg, Jaimie M. Henderson and Krishna V. Shenoy, 12 May 2021, Nature.

Makalenin Tamamı İçin: DOI: 10.1038/s41586-021-03506-2

 

 

Yorumlar