Co jest sprawiedliwe?
To wydaje się proste pytanie, ale bez prostych odpowiedzi. Jest to szczególnie prawdziwe w tajemniczym świecie sztucznej inteligencji (AI), w którym pojęcie inteligentnych, pozbawionych emocji maszyn podejmujących decyzje cudownie wolne od uprzedzeń szybko zanika.
Być może najbardziej publiczną skazą tego postrzegania było dochodzenie ProPublica z 2016 r., W którym stwierdzono, że dane napędzające system sztucznej inteligencji wykorzystywane przez sędziów w celu ustalenia, czy skazany przestępca może popełnić więcej przestępstw, były stronnicze dla mniejszości. Northpointe, firma, która stworzyła algorytm znany jako COMPAS, zakwestionowała interpretację wyników ProPublica, ale starcie wywołało zarówno debatę, jak i analizę, na ile godne zaufania są nawet najmądrzejsze maszyny.
„To naprawdę gorący temat - jak sprawić, by algorytmy były uczciwe i godne zaufania”, mówi Daniel Neill. „To ważna kwestia”.
Neill znajduje się teraz w środku tej dyskusji. Informatyk z Carnegie Mellon University wraz z innym badaczem Willem Gorrem opracowali narzędzie do przewidywania przestępczości o nazwie CrimeScan kilka lat temu. Ich oryginalna koncepcja polegała na tym, że przemoc jest pod pewnymi względami jak choroba zakaźna, która ma skłonność do wybuchania w grupach geograficznych. Uwierzyli również, że mniejsze przestępstwa mogą być zwiastunem bardziej gwałtownych, dlatego zbudowali algorytm, wykorzystując szeroki zakres danych „wiodących wskaźników”, w tym raporty o przestępstwach, takie jak proste napady, wandalizm i nieuporządkowane postępowanie, oraz 911 wzywa do takich rzeczy, jak strzały lub osoba widziana z bronią. Program obejmuje również trendy sezonowe i dzienne, a także krótkoterminowe i długoterminowe wskaźniki poważnych przestępstw z użyciem przemocy.
Chodzi o to, aby śledzić iskry, zanim wybuchnie pożar. „Patrzymy na więcej drobnych przestępstw” - mówi Neill. „Proste ataki mogą stwardnieć do ataków zaostrzonych. A może narasta wzorzec przemocy między dwoma gangami.
Przewidywanie kiedy i gdzie
CrimeScan nie jest pierwszym oprogramowaniem przeznaczonym do tak zwanej policji policyjnej. Program o nazwie PredPol został stworzony osiem lat temu przez naukowców UCLA współpracujących z Departamentem Policji w Los Angeles, w celu sprawdzenia, w jaki sposób naukowa analiza danych dotyczących przestępczości może pomóc w wykrywaniu wzorców zachowań przestępczych. Używany obecnie przez ponad 60 departamentów policji w całym kraju, PredPol identyfikuje obszary w sąsiedztwie, w których bardziej prawdopodobne są poważne przestępstwa w danym okresie.
Firma twierdzi, że badania wykazały, że oprogramowanie jest dwa razy bardziej dokładne niż analitycy ludzcy, jeśli chodzi o przewidywanie miejsca przestępstw. Żadne niezależne badanie nie potwierdziło jednak tych wyników.
Zarówno PredPol, jak i CrimeScan ograniczają swoje prognozy do miejsc, w których mogą wystąpić przestępstwa, i unikają kolejnego kroku przewidywania, kto może je popełnić - kontrowersyjne podejście, które miasto Chicago oparło na „Strategicznej liście tematów” osób, które prawdopodobnie będą zaangażowane w przyszłych strzelaninach, jako strzelec lub ofiara.
Amerykańska Unia Wolności Obywatelskich [ACLU], Centrum Sprawiedliwości Brennan i różne organizacje praw obywatelskich zadały pytania na temat ryzyka wypaczenia oprogramowania. Krytycy twierdzą, że dane historyczne dotyczące praktyk policyjnych mogą tworzyć pętlę sprzężenia zwrotnego, dzięki której algorytmy podejmują decyzje odzwierciedlające i wzmacniające postawy dotyczące tego, które dzielnice są „złe”, a które „dobre”. Dlatego AI oparte na danych dotyczących aresztowań ma większą wartość ryzyko stronniczości - bardziej odzwierciedla decyzje policji, w przeciwieństwie do faktycznie zgłaszanych przestępstw. Na przykład CrimeScan nie próbuje prognozować przestępstw, które, jak to ujmuje Neill, „znajdziesz tylko, jeśli ich szukasz”.
„Nie mogę powiedzieć, że jesteśmy wolni od uprzedzeń” - mówi Neill - „ale z pewnością jest on mniejszy niż gdybyśmy próbowali przewidzieć posiadanie narkotyków”.
Potem jest druga strona pętli sprzężenia zwrotnego. Jeśli narzędzie prognostyczne podnosi oczekiwania na przestępstwa w danym sąsiedztwie, czy policja, która będzie tam patrolować, będzie bardziej agresywna w dokonywaniu aresztowań?
„Istnieje prawdziwe niebezpieczeństwo, przy każdym rodzaju działań policyjnych opartych na danych, aby zapomnieć, że po obu stronach równania są ludzie”, zauważa Andrew Ferguson, profesor prawa na University of District of Columbia i autor książka, The Rise of Big Data Policing: Surveillance, Race and the Future of Lawforcement. „Funkcjonariusze muszą być w stanie przetłumaczyć te pomysły, które sugerują, że różne dzielnice mają różne oceny zagrożenia. A skupienie się na liczbach zamiast na człowieku przed tobą zmienia twój stosunek do nich. ”
Wewnątrz czarnej skrzynki
Rzeczywistość jest taka, że sztuczna inteligencja odgrywa obecnie rolę - choć często w tle - w wielu decyzjach mających wpływ na codzienne życie - od pomagania firmom w wyborze osób do zatrudnienia, poprzez ustalanie ocen kredytowych, po ocenianie nauczycieli. Nic dziwnego, że to zintensyfikowało publiczną kontrolę tego, jak tworzone są algorytmy uczenia maszynowego, jakie niezamierzone konsekwencje powodują i dlaczego generalnie nie podlegają dużej analizie.
Na początek, większość oprogramowania jest zastrzeżona, więc za tym, jak działają algorytmy, nie ma wiele przejrzystości. Ponieważ uczenie maszynowe staje się coraz bardziej wyrafinowane, nawet inżynierom, którzy stworzyli system sztucznej inteligencji, będzie coraz trudniej wyjaśnić dokonane przez niego wybory. Ten niejasny proces decyzyjny, przy niewielkiej odpowiedzialności, jest konsekwencją algorytmów określanych mianem „czarnej skrzynki”.
„Społeczeństwo nigdy nie ma szansy na audyt lub debatę na temat korzystania z takich systemów” - mówi Meredith Whittaker, współzałożycielka AI Now Institute, organizacji badawczej z New York University, która koncentruje się na wpływie AI na społeczeństwo. „Dane i logika rządzące poczynionymi prognozami są często nieznane nawet tym, którzy je wykorzystują, a tym bardziej ludziom, których życie to dotyczy”.
W raporcie wydanym zeszłej jesieni AI Now posunął się tak daleko, że zalecił, aby żadna instytucja publiczna odpowiedzialna za takie sprawy jak wymiar sprawiedliwości w sprawach karnych, opieka zdrowotna, opieka społeczna i edukacja nie korzystała z systemów AI czarnej skrzynki. Według AI Now rzadko są to kwestie prawne i etyczne, które są brane pod uwagę podczas tworzenia oprogramowania.
„Tak jak nie ufałbyś sędziemu, że zbuduje głęboką sieć neuronową, powinniśmy przestać zakładać, że stopień inżyniera jest wystarczający do podejmowania złożonych decyzji w dziedzinach takich jak wymiar sprawiedliwości w sprawach karnych” - mówi Whittaker.
Inna organizacja, Centrum na rzecz Demokracji i Technologii, wygenerowała narzędzie do „cyfrowych decyzji”, które ma pomóc inżynierom i informatykom w tworzeniu algorytmów zapewniających uczciwe i obiektywne wyniki. Narzędzie zadaje wiele pytań, które mają skłonić ich do rozważenia swoich założeń i zidentyfikowania nieprzewidzianych efektów falowania.
„Chcieliśmy dać ludziom konkretny punkt wyjścia do przemyślenia kwestii, takich jak reprezentatywność ich danych, które grupy ludzi mogą zostać pominięte i czy wyniki ich modelu będą miały niezamierzone negatywne konsekwencje”, mówi Natasha Duarte, która nadzoruje projekt.
Kto jest odpowiedzialny?
Podczas gdy starano się, aby programiści byli bardziej świadomi możliwych następstw swoich algorytmów, inni zwracają uwagę, że agencje publiczne i firmy polegające na sztucznej inteligencji również muszą być odpowiedzialne.
„Nacisk kładziony jest na projektantów rozumiejących system. Ale dotyczy to także osób zarządzających i wdrażających system ”- mówi Jason Schultz, profesor prawa na New York University, który współpracuje z AI Now Institute w kwestiach prawnych i politycznych. „Tam guma spotyka się z drogą. Agencja rządowa korzystająca z AI ma największą odpowiedzialność i musi ją również zrozumieć. Jeśli nie rozumiesz technologii, nie powinieneś być w stanie jej używać”.
W tym celu AI Now promuje stosowanie „algorytmicznych ocen wpływu”, które wymagałyby od organów publicznych ujawnienia używanych przez nich systemów i umożliwienia zewnętrznym badaczom ich analizy pod kątem potencjalnych problemów. Jeśli chodzi o wydziały policji, niektórzy eksperci prawni uważają, że ważne jest również, aby jasno sprecyzowali, w jaki sposób korzystają z technologii i chętnie podzielą się nią ze społecznością lokalną.
„Jeśli systemy te są projektowane z punktu widzenia odpowiedzialności, uczciwości i należytego procesu, osoba wdrażająca system musi zrozumieć, że ponoszą odpowiedzialność”, mówi Schultz. „A kiedy projektujemy, w jaki sposób zamierzamy je wdrożyć, jedno z pierwszych pytań brzmi:„ Gdzie to idzie w podręczniku policji? ” Jeśli nie ma się tego gdzieś w policyjnym podręczniku, cofnijmy się, ludzie.
Andrew Ferguson widzi potrzebę czegoś, co nazywa „szczytem inwigilacyjnym”.
„Przynajmniej raz w roku powinien istnieć moment odpowiedzialności za technologię policyjną w każdej lokalnej jurysdykcji”, mówi. „Szef policji, burmistrz, a może szef rady miasta musieliby wyjaśnić społeczności, do czego używają dolarów podatników w zakresie nadzoru i technologii, dlaczego uważają, że to dobre wykorzystanie pieniędzy, na co robię to, aby to skontrolować i chronić dane, jakie są konsekwencje dla prywatności. Społeczność byłaby tam, by zadawać pytania. ”
Daniel Neill, twórca CrimeScan, twierdzi, że nie sprzeciwiłby się pomysłowi regularnych audytów wyników sztucznej inteligencji, chociaż ma zastrzeżenia co do tego, zanim algorytm zostanie odpowiednio przetestowany w terenie. Obecnie współpracuje z Pittsburgh Bureau of Police nad procesem CrimeScan i przynajmniej na początku było wyzwanie z „uzyskaniem właściwej intensywności patrolu dla przewidywanych gorących punktów”.
Mówi, że proces uczenia się to dostosowanie CrimeScan, aby policjanci na poziomie ulicy wierzyli, że jest to pomocne. „Musimy pokazać, że nie tylko możemy przewidzieć przestępstwo, ale także że możemy temu zapobiec”, zauważa Neill. „Jeśli po prostu rzucisz narzędzie na ścianę i masz nadzieję na najlepsze, to nigdy nie zadziała tak dobrze”.
Uznaje także ryzyko zbytniego odroczenia algorytmu.
„Narzędzie może pomóc funkcjonariuszom policji w podejmowaniu właściwych decyzji” - mówi. „Nie wierzę, że maszyny powinny podejmować decyzje. Powinny być wykorzystywane do wspierania decyzji ”.
Neill dodaje: „Rozumiem, że w praktyce nie dzieje się tak przez cały czas”.
