Naukowcy z GrapheneX-UTS Human-centric Artificial Intelligence Centre z University of Technology Sydney (UTS) jako pierwsi na świecie opracowali przenośny, nieinwazyjny system, który może dekodować myśli i zamieniać je na tekst.
Wbrew pozorom, technologia DeWave nie będzie służyć do szpiegowania, a może pomóc osobom, które nie są w stanie mówić z powodu choroby lub urazu, np. udaru mózgu lub paraliżu. Może także usprawnić komunikację między ludźmi a maszynami, np. poprzez obsługę bionicznej protezy lub ramienia robota. Szczegóły opisano na serwerze preprintów arXiv.
Czytaj też: Dosłownie jak czytanie w myślach! Oto pierwsza taka metoda, która pozwoli zajrzeć do naszych umysłów
Prof. Chin-Teng Lin z UTS mówi:
Badania te stanowią pionierski wysiłek w tłumaczeniu surowych fal EEG bezpośrednio na język, co stanowi znaczący przełom w tej dziedzinie. Integracja z dużymi modelami językowymi otwiera także nowe granice w neuronauce i sztucznej inteligencji.
Sztuczna inteligencja przeczyta nasze myśli
W badaniu uczestnicy po cichu czytali fragmenty tekstu, mając na głowie czapkę, która rejestrowała elektryczną aktywność mózgu na skórze głowy za pomocą elektroencefalogramu (EEG). Demonstrację technologii można zobaczyć na tym filmie.
Istniejące technologie dekodowania fal mózgowych na język wymagały albo operacji polegających na wszczepieniu elektrod do mózgu (jak Neuralink) albo wykonywania ciągłych skanów w urządzeniu do rezonansu magnetycznego, które jest duże, drogie i trudne w użyciu w życiu codziennym. Technologii DeWave można używać zarówno ze śledzeniem wzroku, jak i bez niego.
Czytaj też: Ten implant przywraca kontakt z ludźmi, którzy nie mogą mówić
Warto zaznaczyć, że w badaniu przeprowadzonym przez uczonych z UTS wzięło udział 29 osób, co pokazuje, że DeWave nie trzeba specjalnie przystosowywać do każdego odbiorcy. Fale EEG różnią się u poszczególnych osób, ale dzięki odpowiednim algorytmom, możliwe jest ich uniwersalne dekodowanie.
Obecnie system DeWave nie jest idealny i wymaga dalszych usprawnień. Australijskim uczonym udało się osiągnąć dokładność na poziomie 40 proc., co stanowi poprawę o 3 proc. w stosunku do wcześniejszego standardu dekodowania myśli z zapisów EEG. Celem jest zwiększenie dokładności do ok. 90 proc., co jest wartością porównywalną z konwencjonalnymi metodami oprogramowania do tłumaczenia języków lub rozpoznawania mowy.
Dr Yiqun Duan z UTS dodaje:
Model jest bardziej biegły w dopasowywaniu czasowników niż rzeczowników. Jednak jeśli chodzi o rzeczowniki, zaobserwowaliśmy tendencję do tworzenia par synonimicznych zamiast precyzyjnych tłumaczeń, np. “człowiek” zamiast “autor”. Uważamy, że dzieje się tak dlatego, że gdy mózg przetwarza te słowa, semantycznie podobne słowa mogą generować podobne wzorce fal mózgowych. Pomimo wyzwań nasz model zapewnia znaczące wyniki, dopasowując słowa kluczowe i tworząc podobne struktury zdań.
Badania stanowią kontynuację poprzedniej technologii interfejsu mózg-komputer opracowanej przez UTS we współpracy z Australijskimi Siłami Obronnymi, która wykorzystuje fale mózgowe do sterowania czworonożnym robotem.