W filmie Stevena Spielberga Ready Player One z 2018 roku, opartym na książce Ernesta Cline'a z 2011 roku, ludzie wchodzą w zanurzający się świat wirtualnej rzeczywistości zwany OASIS. Futurystyczna technologia w tym filmie science-fiction najbardziej pociągała za sobą gogle VR, które nie wydają się tak dalekie od zestawów słuchawkowych sprzedawanych obecnie przez Oculus, HTC i innych. To było zaangażowanie zmysłu poza wzrokiem i dźwiękiem: dotyku.
Postacie nosiły rękawiczki z informacją zwrotną, która pozwala im poczuć wyimaginowane przedmioty w dłoniach. Mogą ulepszyć do kombinezonów całego ciała, które odtwarzają siłę ciosu w klatkę piersiową lub głaskanie pieszczoty. A jednak te możliwości również mogą nie być tak odległe, jak nam się wydaje.
Stale polegamy na informacji dotykowej - lub „dotykowej” - w sposób, którego nawet świadomie nie rozpoznajemy. Nerwy w naszej skórze, stawach, mięśniach i narządach mówią nam, jak nasze ciała są ustawione, jak mocno trzymamy coś, jaka jest pogoda, lub że ukochany okazywał uczucia poprzez uścisk. Na całym świecie inżynierowie pracują teraz nad odtworzeniem realistycznych wrażeń dotykowych w grach wideo i nie tylko. Angażowanie dotyku w interakcje człowiek-komputer poprawiłoby kontrolę nad robotami, rehabilitację fizyczną, edukację, nawigację, komunikację, a nawet zakupy online.
„W przeszłości haptycy sprawiali, że rzeczy były zauważalne, z wibracjami w telefonie lub z dudnieniem kontrolerów gier”, mówi Heather Culbertson, informatyk z University of Southern California. „Ale teraz nastąpiła zmiana w kierunku uczynienia rzeczy, które wydają się bardziej naturalne, które bardziej naśladują wrażenie naturalnych materiałów i naturalnych interakcji”.
Przyszłość jest nie tylko jasna, ale również fakturowana.
* * *
Urządzenia dotykowe można podzielić na trzy główne typy: chwytliwe, poręczne i dotykowe. Dla uchwycenia, pomyśl joysticki. Jednym z wyraźnych zastosowań jest obsługa robotów, dzięki czemu operator może poczuć, na jaki opór pcha robot.
Weź roboty chirurgiczne, które pozwalają lekarzom operować z drugiej strony świata lub manipulować narzędziami zbyt małymi lub w przestrzeniach zbyt ciasnych dla ich rąk. Liczne badania wykazały, że dodanie dotykowego sprzężenia zwrotnego do sterowania tymi robotami zwiększa dokładność oraz skraca uszkodzenie tkanek i czas operacji. Te z dotykowym sprzężeniem zwrotnym pozwalają także lekarzom ćwiczyć na pacjentach, którzy istnieją tylko w wirtualnej rzeczywistości, jednocześnie odczuwając wrażenie cięcia i szycia. Jeden ze studentów Culbertsona opracowuje obecnie symulatory dentystyczne, aby pierwsze błędne wiercenie studenta dentystycznego nie było na prawdziwym zębie.
Inżynierowie budują systemy, które mają przekazywać realistyczne wrażenia dotykowe do gier wideo, robotów i wielu innych zastosowań. (Dzięki uprzejmości Knowable Magazine) Poznanie tego, co robi robot pod twoim dowództwem, byłoby również pomocne w rozbrajaniu bomb lub wydobywaniu ludzi z zawalonych budynków. Lub do naprawy satelity bez potrzeby przechodzenia na spacer kosmiczny. Nawet Disney badał dotykowe roboty teleobecności, aby zapewnić bezpieczne interakcje człowiek-robot. Opracowali system, który ma pneumatyczne rurki łączące robotyczne ramiona humanoida z lustrzanym zestawem ramion do uchwycenia przez człowieka. Osoba może manipulować robotem lustrzanym, aby pierwszy robot trzymał balon, podniósł jajko lub poklepał dziecko po policzkach.
Na mniejszą skalę laboratorium robotyki Jamie Paik w szwajcarskim Federalnym Instytucie Technologii w Lozannie (EPFL) opracowało przenośny interfejs dotykowy o nazwie Foldaway. Urządzenia o wielkości i kształcie kwadratowej podstawki pod napoje mają trzy ramiona na zawiasach, które wyskakują, spotykając się na środku. (Stefano Mintchev, postdoc w laboratorium, nazywa je „miniaturowymi robotami origami”). Mały plastikowy uchwyt można utknąć na górze w miejscu, w którym spotykają się ramiona, tworząc joystick działający w trzech wymiarach - i ramiona odsuwają się, aby dać użytkownik wyczuwa przedmioty, przeciwko którym pcha. Podczas pokazów zespół użył urządzeń do sterowania dronem powietrznym, ściskania wirtualnych obiektów i odczuwania kształtu wirtualnej ludzkiej anatomii.
Chwytanie haptiki wiąże się z pewnymi wyzwaniami, które mogą wydawać się nie do pokonania - na przykład, w jaki sposób zapewnia się poczucie wagi podczas chwytania i podnoszenia nieważkich obiektów cyfrowych? Ale badając neuronaukę, inżynierom udało się znaleźć kilka obejść. Culbertson i współpracownicy opracowali urządzenie o nazwie Grabity do problemu grawitacji. To rodzaj imadła, które chwyta się i ściska, aby podnieść wirtualne przedmioty. Po prostu wibrując w określony sposób, może wytworzyć iluzję ciężaru i bezwładności.
Ale „oszukanie mózgu idzie tak daleko” - mówi Ed Colgate, inżynier mechanik z Northwestern University, który zajmuje się dotykiem. Czasami łatwo jest przełamać iluzje dotykowe. Jego zdaniem na dłuższą metę inżynierowie będą musieli odtworzyć fizykę prawdziwego świata - wagę i wszystko - tak wiernie, jak to możliwe. „To naprawdę trudny problem”.
Chwytalne urządzenie dotykowe o nazwie Grabity (u dołu) zapewnia iluzję ciężaru i bezwładności w obsłudze przedmiotów wirtualnych. Tutaj naśladuje dotyk bloku (u góry). (Dzięki uprzejmości Stanford Shape Lab) Uchwyty często wykorzystują doznania kinestetyczne: uczucie ruchu, pozycji i siły, w których pośredniczą nerwy nie tylko w skórze, ale także w mięśniach, ścięgnach i stawach. Z drugiej strony urządzenia do noszenia zwykle polegają na odczuciach dotykowych - nacisku, tarcie lub temperaturze - zależnych od nerwów na skórze.
Różne urządzenia eksperymentalne są noszone na palcu, dociskając poduszkę palca z różnym stopniem siły, gdy dotyka się przedmiotów w wirtualnej rzeczywistości. Ale najnowsze urządzenie zapewnia ten sam rodzaj informacji zwrotnej bez zakrywania opuszki palca. Zamiast tego jest noszony tam, gdzie można nosić pierścień, i zawiera silniki, które rozciągają skórę pod spodem. Dzięki temu palce mogą swobodnie wchodzić w interakcje z obiektami ze świata rzeczywistego, jednocześnie wykrywając obiekty „wirtualne” - przydatną funkcję zarówno w grach, jak i poważnych aplikacjach.
W jednym teście człowiek mógł trzymać prawdziwy kawałek kredy i odczuwać presję, gdy „pisał” na wirtualnej tablicy dzięki haptycznej iluzji: gdy jednocześnie zobaczył, jak kreda styka się z tablicą i czuje, że ich skóra jest rozciągnięta, oszukano go odczuwać presję na opuszkach palców.
Częściej noszone urządzenia dotykowe komunikują się poprzez wibracje. Na przykład laboratorium Culbertsona pracuje nad opaską na rękę, która prowadzi użytkownika, wibrując w kierunku, w którym musi się obrócić. NeoSensory, firma założona przez neuronaukę Stanforda, Davida Eaglemana, opracowuje kamizelkę z 32 silnikami wibracyjnymi, która została zaprezentowana w odcinku serialu science fiction HBO Westworld, w którym rzekomo pomógł postaciom zidentyfikować kierunek zbliżania się wrogów.
Jednym z pierwszych prawdziwych zastosowań kamizelki będzie przekształcenie dźwięku w odczucie dotykowe, aby język mówiony był bardziej zrozumiały dla osób z głębokim lub całkowitym ubytkiem słuchu. Eagleman pracuje także nad przekształceniem aspektów świata wizualnego w wibracje dla osób niewidomych. Inne wysiłki wymagają bardziej abstrakcyjnych informacji, takich jak dane rynkowe i środowiskowe - zamiast siatki wskazującej, gdzie są rzeczy przestrzennie, złożony wzór wibracji może wskazywać na ceny kilkunastu akcji.
Ten obraz pokazuje projekt miękkiego, elastycznego materiału skóropodobnego, który dopasowuje się do ciała, na urządzenia dotykowe do noszenia. Warstwy czujnika i siłownika są oddzielone warstwami silikonu. W warstwie czujnikowej cyrkonian ołowiu (PZT) przekształca siłę w ładunek elektryczny w celu sprzężenia zwrotnego z komputerem. Warstwa aktywatora zawiera małe kieszenie, które mogą napełniać się powietrzem wiele razy na sekundę, zapewniając wibracyjne sprzężenie zwrotne dla użytkownika. (Na podstawie HA Sonar i in. / Frontiers in Robotics and AI 2016) Silniki wibracyjne mogą być nieporęczne, dlatego niektóre laboratoria opracowują bardziej komfortowe rozwiązania. Laboratorium Paika w EPFL pracuje nad miękką skórą pneumatycznego siłownika (SPA) - arkuszem elastycznego silikonu o grubości mniejszej niż 2 milimetry, z drobnymi kieszeniami powietrznymi. Można je pompować i deflować niezależnie kilkadziesiąt razy na sekundę, a tym samym działają jak piksele - lub „taksony” dla elementów dotykowych - tworząc siatkę wrażeń. Mogą zapewniać odczucia, jakie oferują kombinezony w Ready Player One, lub informacje zwrotne na temat pozycjonowania robotów lub protez. Skórka SPA jest również osadzona w czujnikach wykonanych z nowego, odpornego na korozję stopu metalu, który pozwala na użycie tej samej skóry do wprowadzania danych z komputera, gdy użytkownik ją ściśnie.
Jeszcze cieńsza folia dotykowa - o grubości mniejszej niż pół milimetra - jest również w przygotowaniu, stworzona przez Novasentis i wykonana z nowej formy tworzywa z fluorku poliwinylidenu, która równoważy wytrzymałość, elastyczność i szybkość reakcji elektrycznej. Gdy folię nakłada się na jedną stronę arkusza elastycznego materiału i przykłada się ładunek elektryczny, folia kurczy się i zgina arkusz, wywierając nacisk na skórę. Novasentis dostarcza teraz materiał producentom urządzeń, którzy wkładają go w rękawice do wirtualnej rzeczywistości i gier.
„Możesz rozróżnić wodę, piasek i skałę”, mówi Sri Peruvemba, wiceprezes ds. Marketingu w firmie. Projektanci VR mogli także tworzyć bardziej abstrakcyjne reprezentacje, takie jak dostarczane sensacje wiadomości o stanie gry. „Dzięki naszej technologii możemy stworzyć cały haptyczny język”, mówi Peruvemba.
Wibracje mogą wytwarzać inny rodzaj haptycznej iluzji: uczucie ciągnięcia. Jeśli urządzenie, które wibruje w tę iz powrotem równolegle do powierzchni skóry, porusza się szybko w jednym kierunku i powoli do tyłu w drugą stronę, wiele razy na sekundę, wydaje się, jakby szarpało skórę w pierwszym kierunku.
Podczas gdy większość urządzeń do noszenia wykorzystuje wrażenia dotykowe, mogą one również wykorzystywać wejście kinetycznego odczuwania ścięgien i stawów. Inżynierowie opracowali zrobotyzowane egzoszkielety, rodzaj rusztowania przymocowanego do ciała za pomocą czujników i silników, które mogą pomóc sparaliżowanym ludziom chodzić, dać żołnierzom super siłę i pozwolić ludziom kontrolować roboty na odległość. Laboratorium w EPFL opracowało FlyJacket, który nosi się z rękami wyciągniętymi na boki, połączonymi tłokami z talią. Nie wygląda szczególnie na latanie, ale pozwala ludziom kontrolować lot dronów powietrznych, poruszając rękami i skręcając tułowia. Kiedy dron odczuwa podmuch wiatru, Ty też.
Ostatnią kategorią urządzeń są dotykalne interfejsy, takie jak ekrany smartfonów, które powodują niewielką nierówność po kliknięciu aplikacji. Praca Culbertsona wykracza poza proste uderzenia i szumy. Symuluje teksturę na powierzchni, używając tak zwanej „haptiki opartej na danych”. Zamiast pisać skomplikowane algorytmy lub modele fizyki w celu generowania wibracji symulujących rzeczywiste, rejestruje, co się dzieje, gdy coś przeciąga się po różnych tkaninach lub innych materiałach z różnymi prędkościami i presje. Następnie ma powierzchnię odtwarzającą wibracje, gdy przeciągane jest po niej pióro. Aplikacje mogą obejmować zakupy online i wirtualne muzea.
Dotykalne urządzenie dotykowe pozwala użytkownikowi „wyczuć” różne tekstury w zależności od tego, jakie wzory wibracji są przenoszone przez pióro. Wibracje zmieniają się w zależności od prędkości poruszania piórem lub od siły, jaką wywiera użytkownik. Celem jest realistyczna symulacja chropowatości, twardości i śliskości powierzchni. (Dzięki uprzejmości Heather Culbertson) Dotykalne powierzchnie pozwalają również na złudzenia. Na przykład, mówi Culbertson, odtwarzanie dźwięku kliknięcia przycisku po stuknięciu zdjęcia przycisku sprawia wrażenie, jakby przycisk faktycznie klikał. Lub zniekształcenie ekranu pod palcem może sprawić, że będzie miększy. Ludzie budują percepcję, łącząc ze sobą wzrok, dźwięk, dotyk, smak i zapach - i, jak mówi Culbertson, „naprawdę łatwo oszukać swój mózg, jeśli masz rozbieżność między zmysłami”.
Realistyczne elementy dotykowe dla VR mogą zawsze być niezgrabne i kosztowne. Albo technologia może ostatecznie sprawić, że Ready Player One będzie wyglądał osobliwie. W obu przypadkach, jak widzimy w przypadku dziecięcych kroków, takich jak wszechobecne dudnienie kontrolerów gier wideo i nieskończenie wibrujących telefonów i zegarków, urządzenia dotykowe pozostaną, pozostawiając nowy wymiar w naszym cyfrowym życiu.
Knowable Magazine jest niezależnym dziennikarskim przedsięwzięciem z recenzji rocznych. 
