Za pomocą pojedynczego implantu mózgowego udało się przywrócić mowę sparaliżowanemu mężczyźnie zarówno w jego ojczystym języku hiszpańskim, jak i angielskim. Mimo że języka angielskiego nauczył się znacznie później, interfejs mózg-komputer (BCI) był w stanie wychwycić, jakim językiem próbował się posługiwać, bez konieczności wcześniejszego programowania. Możliwe, że system działałby jeszcze lepiej u osób, które były dwujęzyczne przez większość swojego życia.
Czytaj też: Ten implant przywraca kontakt z ludźmi, którzy nie mogą mówić
Odkrycia, opublikowane w czasopiśmie Nature Biomedical Engineering, dostarczają wglądu w to, jak nasze mózgi przetwarzają język. Pewnego dnia mogą doprowadzić do powstania trwałych urządzeń zdolnych przywrócić mowę wielojęzyczną osobom, które nie potrafią porozumiewać się werbalnie.
Niezwykły implant, który przywraca mowę – w dwóch językach
36-letni mężczyzna, znany jako Pancho, w wieku 20 lat doznał porażenia czterokończynowego po udarze obejmującym część pnia mózgu. Niewiarygodne, ale w wieku 30 lat – po udarze – osiągnął biegłość w języku angielskim. Dzieje się tak pomimo rozpoznania u niego anartrii. Jego funkcje poznawcze pozostały nienaruszone, ale zachował jedynie niewielką kontrolę nad swoim kanałem głosowym, wystarczającą do wydawania dźwięków chrząkania i jęków, ale nie słów. Mężczyzna komunikował się za pomocą interfejsu, który pozwalał mu przeliterować słowa niewielkimi ruchami głowy, ale wszczepienie BCI mogło znacznie to poprawić.
Czytaj też: Potężna maszyna skanuje ludzkie mózgi. Zdjęcia nie pozostawiają żadnych wątpliwości
Prof. Edward Chang z University of California postanowił zbadać trwały wpływ udaru na mózg Pancho. W przełomowym badaniu opublikowanym w 2021 r. naukowcy chirurgicznie urządzenie, które zawiera siatkę składającą się ze 128 elektrod, przymocowaną do powierzchni lewej półkuli mózgu pacjenta, w obszarach uznawanych za ważne w wytwarzaniu mowy. Złącze wbudowane w czaszkę umożliwia podłączenie urządzenia do systemu komputerowego.
Prof. Edward Chang z University of California mówi:
To, jakim językiem ktoś się posługuje, jest w rzeczywistości bardzo powiązane z jego tożsamością. Dlatego naszym długoterminowym celem nigdy nie było wyłącznie zastąpienie słów, ale przywrócenie ludziom więzi.
Wszczepienie implantu to jednak tylko jeden element. Trzeba było także przeszkolić oprogramowanie, które będzie rozpoznawać słowa. Uczeni zaczęli od ograniczonego słownictwa składającego się z 51 angielskich słów, 50 hiszpańskich i trzech identycznych w obu językach – jak na przykład pseudonim mężczyzny: Pancho. Podczas treningu uczestnikowi pokazywano na ekranie słowa jedno po drugim, a następnie musiał on próbować je wypowiedzieć, aby system mógł nauczyć się poprawnie tłumaczyć aktywność jego mózgu. Jego wysiłki stworzyły odrębny wzór neuronowy, który został zarejestrowany przez elektrody.
Następnie autorzy zastosowali swój system sztucznej inteligencji, który składa się z modułu hiszpańskiego i angielskiego, do wyrażeń, które Pancho próbował wypowiedzieć na głos. Dla pierwszego słowa frazy moduł hiszpański wybiera słowo hiszpańskie, które najlepiej pasuje do wzorca neuronowego. Komponent angielski robi to samo, ale zamiast tego wybiera słownictwo angielskie. Na przykład moduł angielski może wybrać “ona” jako najbardziej prawdopodobne pierwsze słowo we zdaniu i ocenić prawdopodobieństwo jego poprawności na 70 proc., podczas gdy moduł hiszpański może wybrać “estar” (być) i zmierzyć prawdopodobieństwo, że poprawność w 40 proc. Oba moduły współpracują, aby zbudować frazę – w wyniku końcowym powstają dwa zdania – jedno po angielsku, a drugie po hiszpańsku – ale ekran, który stoi przed Pancho pokazuje tylko wersję z najwyższym całkowitym prawdopodobieństwem.
Opracowane moduły mogą rozróżnić język angielski i hiszpański na podstawie pierwszego słowa z dokładnością do 88 proc. oraz dekodować prawidłowe zdanie z dokładnością do 75 proc. Pancho mógł w końcu przeprowadzić szczere rozmowy bez scenariusza z zespołem badawczym.
Niektóre wcześniejsze eksperymenty z wykorzystaniem narzędzi nieinwazyjnych sugerowały, że różne języki aktywują różne części mózgu. Jednak badanie autorów sygnałów zarejestrowanych bezpośrednio w korze mózgowej wykazało, że duża aktywność zarówno w języku hiszpańskim, jak i angielskim pochodziła w rzeczywistości z tego samego obszaru. Co więcej, reakcje neurologiczne Pancho nie różniły się znacznie od reakcji dzieci wychowywanych w domach dwujęzycznych. To oznacza, że języki mają pewne wspólne cechy neurologiczne i można je uogólnić na wszystkich ludzi.
Kolejnym krokiem eksperymentów, obok poszerzenia grupy badawczej, będzie nauka języków o bardzo odmiennych właściwościach artykulacyjnych od angielskiego, np. japońskiego lub mandaryńskiego.