Słownik języka migowego

Każdy, kto uczy się języków obcych, wie, jak trudno zapamiętać brzmienie i znaczenie nowych słów. Z podobnymi problemami stykają się osoby porozumiewające się za pomocą języka migowego. Amerykański projekt ma pomóc im w uczeniu się i rozumieniu znaczenia nowych gestów.

Wyobraźmy sobie, że w słowniku chińsko-polskim szukamy polskiego znaczenia jakiegoś chińskiego słowa. W jaki sposób pośród niezrozumiałych dla nas znaków chińskiego alfabetu odnajdziemy potrzebny nam wyraz? Ten sam problem mają na przykład rodzice niesłyszących dzieci, którzy chcą poznać znaczenie określonego gestu. Jak mają oni szukać znaczenia gestu, którego nie zrozumieli? Projekt Large Lexicon Gesture Representation, Recognition and Retrieval, będący częścią większego projektu badawczego American Sign Language Linguistic Research Project, wychodzi naprzeciw właśnie takim osobom. Ma on na celu ułatwienie poszukiwania i uczenia się znaczenia nowych gestów (projekt ten dotyczy przede wszystkim rozpoznawania klasycznego amerykańskiego języka gestów — American Sign Language, ASL).

Istnieją tradycyjne, papierowe wydania słowników języka migowego, a także słowniki w postaci filmów wideo. Nowością jest jednak opracowany w laboratorium Boston University program rozpoznający gesty, który pozwoli osobom niesłyszącym wybrać klip wideo ilustrujący dany gest, lub odnaleźć jego znaczenie, nagrywając gest za pomocą kamery. Wystarczy, że użytkownik wprowadzi gest do programu, a specjalnie stworzony algorytm pokaże znaczenia pięciu najbardziej podobnych gestów.  

Podczas opracowywania danego programu kamery nagrywały ochotników z czterech pozycji, rejestrując zarówno ruchy rąk, jak i mimikę twarzy. Według naukowców marszczenie czoła, uśmiech czy ruchy brwi są w języku tym tak samo ważne, jak ruchy rąk. W miarę otrzymywania kolejnych danych professor lingwistyki Carol Neidle wraz ze swoimi studentami rozdzielała klipy na części ilustrujące określone słowa czy wyrażenia, zaznaczając początek, koniec każdego gestu oraz tzw. podgesty — jednostki składowe, będące odpowiednikami angielskich fonemów. Profesor informatyki Stan Sclaroff pracował równocześnie nad algorytmem, który oddzielałby istotne części klipu od tła — np. na podstawie koloru skóry precyzowane były ruchy rąk oraz położenie palców. Oprócz tego naukowcy „uczyli” program rozpoznawania pewnych odstępstw od ruchów standardowych.

Twórcy słownika muszą jeszcze pokonać szereg przeszkód, m.in. rozwiązać problem niskiej jakości klipów nagrywanych przez kamery. Ostateczna wersja programu zostanie wyposażona w wiele dodatków. Innowacyjny program opracowywany przez zespół Sclaroffa będzie dostępny dla wszystkich użytkowników Internetu. JSL

źródło: www.cs.bu.edu