Około 500 000 Amerykanów używa amerykańskiego języka migowego (ASL). Dla niesłyszących użytkowników ASL komunikacja z osobami nie władającymi językiem może być wyzwaniem. Chociaż większość niesłyszących Amerykanów uczy się języka mówionego poprzez terapię logopedyczną, niektórym nadal trudno jest zrozumieć się werbalnie lub po prostu znaleźć język migowy jako płynniejszą formę wyrażania siebie.
Teraz badacze z Texas A&M University opracowali urządzenie do noszenia, które „tłumaczy” język migowy na angielski, wykrywając ruchy użytkownika. Urządzenie, wciąż będące w fazie prototypu, może rozpoznać około 40 znaków ASL z 96-procentową dokładnością.
System wykorzystuje dwa czujniki. Jednym z nich jest czujnik ruchu z akcelerometrem i żyroskopem, który mierzy prędkość i kąt ręki i ramienia użytkownika. Wyczuwając, gdzie znajdują się ręce i ramiona użytkownika, może zacząć odgadywać, jakie słowo może podpisywać. Następnie jest czujnik elektromiograficzny, który mierzy potencjał elektryczny ruchu mięśni. Potrafi dokładnie określić, która część dłoni i palców się porusza, co ma kluczowe znaczenie.
„Jeśli spojrzysz na słownictwo amerykańskiego języka migowego, zdarzają się przypadki, w których porusza się ręka, a następnie masz bardzo drobny ruch palców”, mówi Roozbeh Jafari, inżynier, który kierował projektem. „Jeśli chcesz je wykryć, nie będziesz w stanie używać samego ruchu ręki.”
Na przykład słowo „proszę” w języku ASL oznacza robienie kółek nad klatką piersiową otwartą ręką. Słowo „przepraszam” używa identycznego ruchu, ale ręka jest zaciśnięta w pięść.
Czujniki są noszone na prawym nadgarstku użytkownika. Zebrane informacje są przesyłane przez Bluetooth do laptopa. Ten laptop uruchamia algorytm do interpretacji znaku i wyświetla słowo w języku angielskim na ekranie.
W końcu Jafari ma nadzieję, że zlikwiduje potrzebę korzystania z laptopa poprzez włączenie małego komputera bezpośrednio do urządzenia. Komputer może następnie wysłać angielskie słowa na telefon innej osoby, aby mogli przeczytać, co mówi ich rozmówca.
Oczywiście tłumacz będzie musiał biegle posługiwać się znacznie więcej niż 40 znakami, aby być realnym produktem. Chociaż istnieją setki znaków ASL, wybrano oryginalne 40 znaków, ponieważ są one powszechne i przydatne, mówi Jafari. Osoba może używać ich do wypowiadania prostych, kluczowych zdań, takich jak „Potrzebuję wody”. Urządzenie będzie także musiało działać szybciej - w tej chwili użytkownicy muszą przerwać między słowami, aby dać czas na tłumaczenie.
„W rzeczywistości ludzie tak nie mówią”, mówi Jafari.
Ale ten bardziej zaawansowany system, jak mówi, jest znacznie niższy i będzie wymagał więcej pracy i finansowania.
Poprzednie technologie tłumaczenia ASL używały kamer do odczytywania gestów. Ale Jafari mówi, że nie działają one dobrze w warunkach słabego oświetlenia. Ponadto wielu osobom nie podoba się pomysł posiadania kamery przez cały czas.
W ostatnich latach powstało wiele innych technologii, które pomagają osobom niesłyszącym i słyszącym komunikować się ze sobą. Wydana w ubiegłym roku aplikacja o nazwie Transcense tłumaczy mowę wielu osób na słowa pisane i wyświetla je na ekranie w kolorowych bąbelkach. Ma to na celu pomóc osobom niesłyszącym na spotkaniach lub w sytuacjach towarzyskich, gdzie wielu mówców może być wyzwaniem nawet dla najbardziej biegłych czytelników warg. Inna firma, MotionSavvy, pracuje nad tabletem, który interpretuje ruchy ASL i odczytuje słowa na głos po angielsku. W Chinach naukowcy wykorzystali sprzęt firmy Microsoft do wykrywania ruchu Kinect do przetłumaczenia chińskiego języka migowego na słowa mówione i pisane.
Jako osoba, która od dawna pracuje z technologiami do noszenia, takimi jak zegarki monitorujące rytm serca, Jafari rozumie znaczenie wygody i estetyki. Jeśli urządzenie jest niewygodne i natrętne, ludzie nie będą go nosić. Obecny prototyp urządzenia do tłumaczenia języka migowego wygląda jak narzędzie medyczne z elektrodami, paskami i drutami. Jafari chciałby, aby ostateczna wersja była mała i atrakcyjna.
„Chcę dopasować cały system do zegarka” - mówi.
