Zespołu Pink Floyd chyba nie trzeba nikomu przedstawiać – i to niezalenie od tego, jakiej muzyki na co dzień słuchamy. Słynna linijka “We Don’t Need No Education” to dla wielu manifest i jeden z najmocniej zakorzenionych w popkulturze fragmentów, pochodzący z części drugiej “Another Brick in the Wall”, triady utworów opartych na tym samym motywie muzycznym z wydanego w 1979 r. albumu “The Wall”.
Czytaj też: Dosłownie jak czytanie w myślach! Oto pierwsza taka metoda, która pozwoli zajrzeć do naszych umysłów
Pink Floyd można słuchać bez końca, ale neuronaukowcy udowodnili, że utwory legendarnej brytyjskiej grupy (jak każdego innego zespołu) da się odczytać z nietypowego “nośnika”, jakim jest nasz mózg. Zespół uczonych z University of California w Berkeley pod kierunkiem dr Ludovica Belliera dokonał tego na podstawie analizy aktywności neuronalnej zarejestrowanej podczas słuchania “Another Brick in the Wall Part I”. Szczegóły opisano w czasopiśmie PLOS Biology, a modele kodowania ujawniły nowy podobszar korowy w płacie skroniowym, leżący u podstaw percepcji rytmu, który można wykorzystać w przyszłych interfejsach mózg-maszyna.
Utwór Pink Floyd odtworzony bezpośrednio z mózgu
Gdy akordy “Another Brick in the Wall Part I” Pink Floyd wypełniały szpitalne mury, neurobiolodzy z Albany Medical Center pilnie rejestrowali aktywność 347 elektrod umieszczonych w mózgach pacjentów przygotowywanych do operacji epilepsji. Ich celem było uchwycenie aktywności elektrycznej obszarów mózgu dostrojonych do atrybutów muzyki – tonu, rytmu, harmonii i słów – aby sprawdzić, czy mogą zrekonstruować to, co słyszała dana osoba.
Dekadę później, po szczegółowej analizie danych zebranych od 29 takich osób, uczeni potwierdzają, że faktycznie da się odczytać muzykę na podstawie aktywności mózgu. Fraza “All in all it was just a brick in the wall” pojawia się rozpoznawalnie w “odczytanej” z mózgu piosence, jej rytm jest nienaruszony, a słowa zamglone, ale możliwe do rozszyfrowania. Udało się to po raz pierwszy w historii neurobiologii. Obu fragmentów (oryginalnego i odkodowanego) można posłuchać tutaj.
Odkodowana aktywność neuronalna dotyczyła głównie trzech obszarów mózgu: zakrętu górnego skroniowego (STG), kory czuciowo-ruchowej (SMC) i zakrętu czołowego dolnego (IFG). Analiza elementów utworu ujawniła unikalny region w STG, który reprezentuje rytm – w tym przypadku gitary. Rekonstrukcja pokazuje możliwość nagrywania i tłumaczenia fal mózgowych w celu uchwycenia muzycznych elementów mowy, a także sylab. U ludzi te elementy muzyczne, zwane prozodią – rytm, akcent, akcent i intonacja – mają znaczenie, którego same słowa nie przekazują.
Czytaj też: Tajemnicze sygnały w ludzkim mózgu. Uczeni nie mają pojęcia, skąd się biorą
Prof. Robert Knight z UC Berkeley w Helen Wills Neuroscience Institute, który brał udział w eksperymencie z dr Bellierem, mówi:
Dla mnie jedną z najważniejszych rzeczy w muzyce jest to, że ma ona prozodię i treść emocjonalną. Wraz z rozwojem całej dziedziny interfejsów mózg-maszyna, daje to sposób na dodanie muzykalności do przyszłych implantów mózgowych dla osób, które tego potrzebują, kogoś, kto ma ALS lub inne upośledzające zaburzenie neurologiczne lub rozwojowe upośledzające mowy. Daje to możliwość dekodowania nie tylko treści językowych, ale także niektórych treści prozodycznych mowy, niektórych afektów. Myślę, że to przełom, na który czekali wszyscy neuronaukowcy.
To jeszcze nie czytanie w myślach, ale coś równie cennego
Póki co, nie ma mowy o żadnym “czytaniu w myślach”. Nagranie zostało zrekonstruowane na podstawie danych zebranych za pomocą iEEG (elektroencefalografii wewnątrzczaszkowej), z elektrodami umieszczonymi wewnątrz czaszki, blisko ośrodków słuchowych, więc nie ma obaw, że ktoś będzie “podsłuchiwał” naszych myśli. Ale dla osób, które mają trudności z komunikacją (z powodu udaru czy paraliżu) takie nagrania mogą pomóc odtworzyć muzykalność słów, której brakuje w dzisiejszych syntetyzatorach mowy.
W miarę doskonalenia technik rejestracji fal mózgowych, być może pewnego dnia da się odczytywać takie nagrania bez otwierania czaszek (np. przy użyciu wystarczająco czułych elektrod przymocowanych do skóry głowy). Klasyczne EEG (elektrody umieszczone na skórze głowy) pozwala mierzyć aktywność mózgu w celu dekodowania liter ze strumienia, ale podejście to zajmuje co najmniej 20 sekund, aby zidentyfikować pojedynczą literę, co jest niepraktyczne.
Dr Ludovic Bellier dodaje:
Techniki nieinwazyjne nie są obecnie wystarczająco dokładne. Miejmy nadzieję, dla pacjentów, że w przyszłości będziemy mogli, za pomocą elektrod umieszczonych na zewnątrz czaszki, odczytywać aktywność z głębszych obszarów mózgu z dobrą jakością sygnału. Ale daleko nam jeszcze do tego.
Obecnie używane interfejsy mózg-maszyna, które pomagają ludziom komunikować się ze światem, gdy nie są w stanie mówić, mogą dekodować słowa, ale powstające w ten sposób zdania mają “robotyczną” intonację. Wystarczy posłuchać, jak brzmiał zmarły Stephen Hawking, gdy używał urządzenia generującego mowę.
Czytaj też: Naprawili mu mózg zanim się urodził. Pierwsza taka operacja na świecie
Dr Ludovic Bellier dobrze to opisuje:
W tej chwili technologia jest bardziej jak klawiatura dla mózgu. Nie możesz odczytać swoich myśli z klawiatury. Musisz naciskać przyciski. A to sprawia, że głos jest w pewnym sensie robotyczny; na pewno jest mniej tego, co nazywam ekspresyjną wolnością.
W 2012 r. zespół pod kierunkiem prof. Knigtha jako pierwszy zrekonstruował słowa, które dana osoba słyszała na podstawie jej aktywności mózgu. Od tego czasu, neuronaukowcy poczynili ogromne postępy, co doprowadziło do rozwoju interfejsów mózg-komputer. Najnowsze badania to wielki sukces i “kolejna cegła” do muru naszego zrozumienia przetwarzania muzyki w ludzkim mózgu.