Miliony ludzi na całym świecie posługują się językiem migowym
Nowa technologia nosi nazwę WRSLT (wirelessly connected ring-type sign language translator). System składa się z siedmiu niewielkich pierścieni zakładanych na palce. W przeciwieństwie do wcześniejszych rozwiązań nie są one połączone przewodami ani ciężkimi modułami elektronicznymi. Każdy z pierścieni zawiera miniaturowe sensory ruchu i akcelerometry podobne do tych stosowanych w smartfonach. Czujniki analizują położenie palców, kierunek ruchu dłoni oraz dynamikę gestów, a następnie przesyłają dane bezprzewodowo do komputera lub telefonu przez Bluetooth. Tam do akcji wkracza sztuczna inteligencja, która interpretuje znaki i zamienia je na tekst.
Czytaj też: Lidl nie chce mnie już w sklepie. Mi się to podoba, ale pracownikom pewnie mniej
Członkowie zespołu badawczego mówią jasno: kluczową zaletą projektu jest naturalność ruchu. Dotychczasowe urządzenia przypominały często masywne rękawice albo laboratoryjny sprzęt ograniczający swobodę dłoni. Użytkownicy skarżyli się, że takie systemy utrudniają normalne miganie i wymagają długiej kalibracji dla każdej osoby. Nowe inteligentne pierścienie są lekkie, elastyczne i dostosowują się do różnych rozmiarów palców. Dzięki temu osoba używająca języka migowego może komunikować się niemal tak samo swobodnie jak bez żadnego urządzenia.
Projekt powstał z myślą o rozwiązaniu ogromnego problemu komunikacyjnego, który dotyka milionów ludzi na całym świecie. Według Światowej Federacji Głuchych istnieje ponad 300 różnych języków migowych używanych przez około 70 milionów osób. Dla wielu z nich język migowy jest podstawową formą komunikacji, lecz tylko niewielka część społeczeństwa potrafi go rozumieć. W praktyce oznacza to codzienne trudności podczas wizyty w urzędzie, rozmowy z lekarzem, zakupów czy zwykłych kontaktów społecznych.
Naukowcy przekonują, że ich system może znacząco zmniejszyć tę barierę. WRSLT został wytrenowany do rozpoznawania stu najczęściej używanych słów w amerykańskim języku migowym (ASL) oraz stu znaków międzynarodowego języka migowego (ISL). Podczas testów urządzenie osiągnęło skuteczność przekraczającą 88 procent, nawet u osób, które wcześniej nie brały udziału w treningu systemu. To szczególnie ważne, ponieważ wiele wcześniejszych technologii wymagało indywidualnego uczenia każdego użytkownika osobno.
Rewolucja w przekładaniu znaków na mowę?
Twórcy rozwiązania zastosowali również mechanizm przypominający autouzupełnianie tekstu znane ze smartfonów. System analizuje kontekst wypowiedzi i przewiduje kolejne słowa, aby przyspieszyć tłumaczenie całych zdań. Ma to ogromne znaczenie, ponieważ płynne osoby posługujące się językiem migowym potrafią wykonywać od 100 do 150 znaków na minutę, co można porównać z szybkością zwykłej rozmowy. Bez takiego przewidywania komputer mógłby nie nadążać za użytkownikiem.
Czytaj też: „Bo ja w twoim wieku…” już nie brzmi tak przekonująco. Polacy są do siebie bardziej podobni, niż sądzimy
Eksperci zauważają, że nowe pierścienie mogą okazać się bardziej praktyczne niż systemy oparte wyłącznie na kamerach. Rozwiązania wykorzystujące komputerowe rozpoznawanie obrazu często mają problemy ze zmianami oświetlenia, tłem albo zasłanianiem dłoni. W przypadku inteligentnych pierścieni sensory zbierają dane bezpośrednio z ruchu palców, dzięki czemu system działa stabilniej i nie wymaga ustawiania kamer czy specjalnego otoczenia.
Przypominam jednak, że ta technologia nadal znajduje się na etapie rozwoju. Obecnie system rozpoznaje ograniczony zestaw słów i nie radzi sobie jeszcze z pełnym bogactwem języka migowego, który obejmuje nie tylko ruch dłoni, ale i mimikę twarzy, ruch głowy czy tempo gestów. Badacze chcą w kolejnych etapach miniaturyzować urządzenie, wydłużyć czas pracy baterii i rozszerzyć bazę danych o kolejne języki migowe oraz bardziej złożone konstrukcje zdań.
Źródło: Science Advances