Eteryczny dźwięk, z gładką, dźwięczną melodią, która przesuwa się po klawiszach i miękkim uderzeniem w rytm, wypełnia laboratorium w szpitalu rehabilitacyjnym dla dzieci Holland Bloorview w Toronto. Możliwe dzięki noszonym czujnikom na opuszkach palców i klatce piersiowej dziecka, które śledzą puls, oddech, temperaturę i pot oraz algorytm, który interpretuje te dane jako dźwięk, wyjście elektroniczne nie jest tak naprawdę taneczne. Ale zmiany tempa, melodii i innych elementów muzycznych zapewniają wgląd w emocje dziecka.
Jest to biomusic, interfejs emocjonalny, który śledzi sygnały fizjologiczne związane ze stanami emocjonalnymi i przekłada je na muzykę. Wymyślony przez zespół z Holland Bloorview, kierowany przez inżynierów biomedycznych Stefanie Blain-Moraes i Elaine Biddiss, ma na celu zaoferowanie dodatkowych środków komunikacji osobom, które mogą nie wyrażać łatwo swojego stanu emocjonalnego, w tym dzieciom ze spektrum autyzmu zaburzenie lub z głębokimi niepełnosprawnościami intelektualnymi i wielorakimi. W badaniu 2016 w Frontiers in Neuroscience Biddiss i jej współautorzy zarejestrowali biomusikę 15 dzieci w wieku około 10 lat - zarówno dzieci z zaburzeniem ze spektrum autyzmu, jak i dzieci zwykle rozwijające się - w sytuacjach wywołujących lęk i bez lęku, i odtworzyły to dorośli, aby zobaczyć, czy potrafią odróżnić. Mogliby. (Na dole badania możesz pobrać i posłuchać biomuzyki).
„Są to dzieci, które mogą nie być w stanie komunikować się tradycyjnymi ścieżkami, co utrudnia ich opiekunom” - mówi Stephanie Cheung, doktorantka w laboratorium Biddiss i główna autorka badania. „Chodzi o to, aby wykorzystać to jako sposób na to, aby opiekunowie słuchali, jak zmieniają się te sygnały, i w ten sposób określali odczucia osoby, z którą się komunikują”.
Podczas gdy badania Biddissa stosowały ten atmosferyczny dźwięk, nie musi to być szczególny rodzaj muzyki, zauważa Blain-Moraes, asystent profesora fizykoterapii i terapii zajęciowej, który prowadzi Laboratorium Technologii Interakcji Biosignalnych i Osobowości na Uniwersytecie McGill. Blain-Moraes, były doktorant z Biddiss w Holland Bloorview, który pomógł wynaleźć oryginalny system, pracuje nad dalszym rozwojem technologii. Jedną z jej modyfikacji jest możliwość użycia różnych „skórek dźwiękowych”, które powodują hałas, który użytkownik uważa za przyjemny. Celem nie jest zaprojektowanie technologii dla jednej grupy.
„Bardzo szukamy tego, co nazywamy rezonansowym projektem” - mówi. „Nie próbujemy projektować pod kątem stanu, staramy się projektować pod kątem potrzeby, a często potrzeby te rezonują w różnych warunkach.” Może to być opiekun, który chce więcej informacji od swojego pacjenta, lub matka, która chce alternatywny sposób monitorowania dziecka w innym pokoju. Może to dotyczyć osoby, która chce śledzić swój stan emocjonalny, lub osoby ze starzejącym się rodzicem, który stał się mniej zdolny do wyrażania siebie.
W pierwotnym stanie technologia zawierała czujnik opuszki palca, który śledził tętno, temperaturę skóry i aktywność elektrermiczną (pot). Zostały one wyrażone odpowiednio w takcie, tonacji i melodii muzyki. Dodatkowy pasek na klatkę piersiową śledził rozszerzenie klatki piersiowej, które zostało zintegrowane z muzyką jako swoisty wrzask. Każda z tych cech fizjologicznych może ulec zmianie, gdy dana osoba odczuwa niepokój: pocenie się, częstość akcji serca i oddychanie zwiększają się, a naczynia krwionośne kurczą się, powodując obniżenie temperatury skóry.
Ale do pokonania jest wiele przeszkód, technologicznych i innych. W idealnym przypadku system jest mniej nachalny. Blain-Moraes wdrożył metodę szacowania oddechu na podstawie ilości krwi w palcu, aby wymienić pasek na klatkę piersiową, i umieścił inne czujniki w opasce typu FitBit. Dopasowanie tego do produktu konsumenckiego, takiego jak Apple Watch, choć nie jest nie do pomyślenia, będzie wymagało mniejszych, lepszych czujników niż obecnie.
„Należy dokonać istotnego rozróżnienia między zmianami w ciele, które zachodzą w celu utrzymania homeostazy, a zmianami w ciele, które są specyficzne dla stanów emocjonalnych i psychicznych”, mówi Blain-Moraes. „Potrzebujesz czujników, które są wystarczająco czułe, aby móc wychwycić te zmiany - i są one zwykle dużo mniejsze i szybsze - związane ze stanami fizjologicznymi, psychicznymi i emocjonalnymi.”
Potem są wyzwania naukowe. Wykrywanie lęku wydawało się działać w porównaniu ze stanem rozluźnienia. Ale jak poradziłaby sobie technologia porównując lęk z podnieceniem, dwa stany, które zawierają wiele takich samych sygnałów fizjologicznych, nie mówiąc już o złożonych i nakładających się emocjach? Korzystanie z kontekstu sytuacji może pomóc, ale proces ten jest jeszcze bardziej skomplikowany przez użytkowników - dzieci z zaburzeniem ze spektrum autyzmu nie zawsze wykazują te same sygnały fizjologiczne, czasami wykazując zwiększone tętno w stanach niepokoju, pokazując węższy zakres aktywność elektrermalna i różne reakcje temperaturowe skóry.
„Technologie biomuzy i sonifikacji są interesującym podejściem do komunikowania stanów emocjonalnych” - mówi Miriam Lense, psycholog kliniczny i instruktor badań w Uniwersytecie Medycznym Uniwersytetu Vanderbilt w Programie dla Muzyki, Umysłu i Społeczeństwa. „Dopiero okaże się, jak dobrze ta technologia potrafi odróżnić stany, które mają nakładające się wyniki fizjologiczne - na przykład zarówno podniecenie, jak i niepokój wymagają wzmożonego pobudzenia - a także stany mieszane i wahania. W różnych populacjach i dla różnych osób mogą występować różnice jak fizjologicznie manifestują się stany ”.
Wreszcie i najbardziej problematyczne są dylematy etyczne. To, co robi biomusic, to publiczne przekazywanie bardzo osobistych informacji - stanu emocjonalnego. W wielu przypadkach użycia osoby, o których mowa, nie mają możliwości przekazania zgody. A gdy dana osoba nie jest w stanie zweryfikować dokładności tych informacji - powiedzmy, że faktycznie odczuwa niepokój - może ona nie być w stanie poprawić nieporozumienia.
„To tak, jak w przypadku wielu problemów etycznych, nie ma prawa lub nie ma nic złego”, mówi Biddiss. „Równie niewłaściwe byłoby odmawianie komuś drogi komunikacyjnej z najbliższymi”.
W najgorszym scenariuszu może się to odbywać w pętli sprzężenia zwrotnego kłopotliwego biomuzyki. Pewnego razu podczas wykładu Blain-Moraes nosił system biomusowy. Kiedy zadano jej trudne pytanie, biomusika nasiliła się, powodując, że wszyscy się śmiali, co sprawiło, że się wstydziła, więc jeszcze bardziej się nasiliło, a wszyscy śmiali się więcej - i tak dalej.
Pomimo tych problemów biomusika rozwija się jako technologia. Jest prosty w interpretacji i nie wymaga niepodzielnej uwagi wzrokowej. Zespół Blain-Moraes w McGill pracuje nad aplikacją z czujnikami towarzyszącymi. Są na etapie badań i projektowania, mówi, dzieląc prototypy z opiekunami i pacjentami z demencją lub autyzmem, aby upewnić się, że jest to proces partycypacyjny. W poprzednim badaniu przeprowadzonym przez Blain-Moraes, Biddiss i kilku innych w Augmented and Alternative Communication, rodzice i opiekunowie postrzegali biomusję jako potężne i pozytywne narzędzie, nazywając je odświeżającym i humanizującym.
„To naprawdę ma być wszechobecne narzędzie, którego można użyć, aby uświadomić ludziom swoje emocje” - mówi Blain-Moraes.
