Komputery od dziesięcioleci zdominowały ludzi w grach typu jeden na jednego, takich jak szachy, ale sztuczna inteligencja (AI) do współpracy z członkami drużyny jest nieco trudniejsza. Teraz naukowcy z projektu DeepMind Google nauczyli graczy AI współpracowania w zespołach z ludźmi i innymi komputerami, aby rywalizować w grze wideo Quake III Arena z 1999 roku.
Edd Gent at Science informuje, że gdy AI ma tylko jednego przeciwnika, zwykle robi to całkiem dobrze, ponieważ przewiduje tylko możliwe ruchy jednego umysłu. Ale praca zespołowa to zupełnie inna sprawa, ponieważ obejmuje działania, w których komputery zwykle nie są dobre, takie jak przewidywanie, jak zachowa się grupa członków drużyny. Aby sztuczna inteligencja była naprawdę przydatna, musi nauczyć się współpracy z innymi inteligencjami.
Zespół Google DeepMind wyjaśnia w poście na blogu:
„Miliardy ludzi zamieszkują planetę, każdy z własnymi indywidualnymi celami i działaniami, ale wciąż zdolny do spotkania się dzięki zespołom, organizacjom i społeczeństwom w imponujących pokazach zbiorowej inteligencji. Jest to ustawienie, które nazywamy uczeniem się wielu agentów: wielu indywidualnych agentów musi działać niezależnie, a jednocześnie uczyć się interakcji i współpracy z innymi agentami. To niezwykle trudny problem - ponieważ dzięki agentom dostosowującym się świat ciągle się zmienia ”.
Multiplayer, pierwszoosobowe gry wideo, w których zespoły graczy biegają po wirtualnych światach, zwykle strzelając do siebie z pistoletów lub granatników, to idealne miejsce dla sztucznej inteligencji do nauki zawiłości pracy zespołowej. Każdy gracz musi działać indywidualnie i dokonywać wyborów, które przyniosą korzyść całej drużynie.
Na potrzeby badań zespół wyszkolił AI do gry w zdobywanie flagi na platformie Quake III Arena . Zasady są dość proste: dwie drużyny walczą na labiryncie na polu bitwy. Celem jest zdobycie jak największej liczby wirtualnych flag innych drużyn, przy jednoczesnej ochronie ich własnych, a któraś drużyna zdobędzie najwięcej flag w ciągu pięciu minut wygrywa. W praktyce jednak sprawy mogą się bardzo szybko skomplikować.
Zespół DeepMind stworzył 30 algorytmów sieci neuronowej i kazał im walczyć ze sobą na serii losowo generowanych map gier. Boty zdobywały punkty, zdobywając flagi i atakując innych graczy, wysyłając ich z powrotem do miejsca odrodzenia, gdzie ich postać jest restartowana. Początkowo działania botów wydawały się losowe. Im więcej grali, tym lepiej się stawali. Wszystkie sieci neuronowe, które konsekwentnie przegrywały, zostały wyeliminowane i zastąpione zmodyfikowanymi wersjami zwycięskiej sztucznej inteligencji. Pod koniec 450 000 gier zespół ukoronował jedną sieć neuronową - nazwaną For the Win (FTW) - jako mistrz.
Grupa DeepMind grała algorytm FTW przeciwko tak zwanym botom lustrzanym, którym brakuje umiejętności uczenia się AI, a następnie przeciwko ludzkim zespołom. FTW zmiażdżyło wszystkich pretendentów.
Grupa przeprowadziła następnie turniej, w którym losowo wyłoniono 40 ludzi, zarówno jako członków drużyny, jak i przeciwników bota. Zgodnie z postem na blogu, ludzcy gracze odkryli, że roboty były bardziej współpracujące niż ich prawdziwi koledzy z drużyny. Ludzcy gracze w połączeniu z agentami FTW byli w stanie pokonać cyber wojowników w około 5 procentach meczów.
Jak się dowiedzieli, boty odkryły pewne strategie od dawna stosowane przez ludzi, takie jak spędzanie czasu w pobliżu punktu odrodzenia flagi, aby złapać ją, gdy pojawi się ponownie. Zespoły FTW również znalazły błąd, który mogliby wykorzystać: gdyby zastrzelili własnego kolegę z tyłu, zwiększyły prędkość, coś, co wykorzystali.
„To, co było niesamowite podczas opracowywania tego projektu, to pojawienie się niektórych z tych zachowań na wysokim poziomie” - powiedział Gent Gentonowi badacz DeepMind i główny autor Max Jaderberg. „Są to rzeczy, które możemy odnosić się jako gracze ludzcy”.
Jednym z głównych powodów, dla których boty były lepsze niż ludzcy gracze, jest to, że byli szybkimi i celnymi strzelcami, dzięki czemu ich losowanie było szybsze niż ich ludzkich przeciwników. Ale to nie był jedyny czynnik sukcesu. Według blogu, kiedy naukowcy wbudowali opóźnione reakcje w roboty-strzelanki w kwadrans sekund, najlepsi ludzie wciąż mogli pokonać ich tylko około 21 procent czasu.
Od tego wstępnego badania FTW i jego potomkowie zostali uwolnieni na pełnym polu bitwy Quake III Arena i wykazali, że mogą opanować jeszcze bardziej złożony świat z większą liczbą opcji i niuansów. Stworzyli również bota, który wyróżnia się w ultra-złożonej kosmicznej grze strategicznej Starcraft II.
Ale badania nie polegają tylko na stworzeniu lepszych algorytmów gier wideo. Poznanie pracy zespołowej może w końcu pomóc sztucznej inteligencji we flotach samochodów z własnym prowadzeniem, a może kiedyś stać się asystentami robotów, które pomagają przewidywać potrzeby chirurgów, donosi Science .
Jednak nie wszyscy uważają, że boty z gwiazdami zręcznościowymi reprezentują prawdziwą pracę zespołową. Badacz sztucznej inteligencji Mark Riedl z Georgia Tech powiedział The New York Times, że boty są tak dobre w grze, ponieważ każdy z nich dogłębnie rozumie strategie. Ale to niekoniecznie współpraca, ponieważ zespołom AI brakuje jednego kluczowego elementu ludzkiej pracy zespołowej: komunikacji i celowej współpracy.
I, oczywiście, brakuje im także innej cechy gry wideo polegającej na współpracy: śmiecia rozmawiającego z innym zespołem.
