Mając aparat w każdej kieszeni i oprogramowanie do rozpoznawania twarzy wbudowane w nasze smartfony i sieci społecznościowe, czasami łatwo jest zapomnieć, że robienie zdjęć i identyfikowanie twarzy nie zawsze było takie proste. Bez względu na to, czy zagubiony, uszkodzony, czy po prostu nieoznaczony, proces identyfikacji osób na starych fotografiach może być żmudny. Ale, jak dowiedział się Kurt Luther, profesor informatyki w Virginia Tech, doświadczenie może być również bardzo wzruszające.
Luther był na wystawie „Wojna secesyjna w Pensylwanii” w senatorze Johna Heinza w Pittsburghu w 2013 roku, kiedy natknął się na zdjęcie swojego pra-pra-wuja, Olivera Croxtona. Opisał patrzenie na zdjęcie, które było najstarszym zdjęciem rodzinnym, jakie widział, na podróż w czasie.
Już jako miłośnik historii z zainteresowaniem wojną secesyjną w Ameryce, chwila utknęła w pamięci Luthera i zaczął zastanawiać się, jak wnieść to samo doświadczenie do tysięcy innych entuzjastów historii.
„Zacząłem uczyć się więcej o fotografii z czasów wojny secesyjnej”, mówi Luther, „oraz o tym, jak identyfikować [ludzi] za pomocą różnych wskazówek wizualnych, takich jak mundur, insygnia lub informacje ze studia fotografa. W międzyczasie przeprowadziłem wiele badań w dziedzinie crowdsourcingu jako profesor informatyki i pomyślałem, że może być sposób na połączenie tych dwóch rzeczy. ”
Luther natknął się na zdjęcie swojego pra-pra-wuja, Olivera Croxtona. (Dzięki uprzejmości kolekcji Ken Turner) W rezultacie powstało bezpłatne oprogramowanie internetowe o nazwie Civil War Photo Sleuth, które korzysta z crowdsourcingu i rozpoznawania twarzy, aby pomóc użytkownikom zidentyfikować nieznane tematy na zdjęciach z czasów wojny secesyjnej. Tuż przed oficjalną premierą w 2018 r. Technologia zdobyła zarówno główną nagrodę w wysokości 25 000 USD w konkursie Microsoft AI Cloud Challenge za wykorzystanie oprogramowania do rozpoznawania twarzy Microsoft, jak i nagrodę Best Demo Award na konferencji Human Computation and Crowdsourcing 2018. W tym tygodniu Luther prezentuje na konferencji Association for Computing Machinery na temat inteligentnych interfejsów użytkownika w Los Angeles.
Zaprojektowany z pomocą doktorantów i studentów Virginia Tech, w tym kierownika projektu Vikrama Mohanty'ego, i we współpracy z działem historii Virginia Tech, Photo Sleuth stosuje wielopłaszczyznowe podejście do sugerowania najdokładniejszych identyfikacji.
Pierwszym kluczowym krokiem w tym procesie było zbudowanie dużej bazy danych już zidentyfikowanych zdjęć. Do tej pory Photo Sleuth zidentyfikował około 17 000 zdjęć, pochodzących z archiwów narodowych, takich jak US Military History Institute, a także ze zbiorów prywatnych, które obejmują nie tylko żołnierzy z czasów wojny secesyjnej, ale także cywili i innego personelu wojskowego tamtych czasów.
Luter mówi, że mieli szczęście, że mieli wsparcie i tak entuzjastycznej społeczności historyków wojny domowej z dostępem do tych zdjęć, ponieważ bez solidnej bazy już zidentyfikowanych zdjęć byłoby prawie niemożliwe, aby oprogramowanie było przydatne.
„To nie jest tak, jak w Field of Dreams ”, mówi Luther, „Gdybyśmy uruchomili witrynę bez zdjęć i mieli tylko nadzieję, że użytkownicy dodadzą je wszystkie, napotkalibyśmy problem z zimnym startem, w którym po prostu nie ma żadnych treści. ”
Baza danych zidentyfikowanych zdjęć odgrywa istotną rolę w pomaganiu użytkownikom w identyfikacji zdjęć, które sami przesyłają. Użytkownicy ręcznie oznaczają specjalne cechy wizualne, takie jak kolor sierści, zarost lub insygnia wojskowe, a zdjęcie przechodzi przez algorytm rozpoznawania twarzy, aby analizować i rejestrować unikalne proporcje twarzy, takie jak odległość między charakterystycznymi elementami twarzy, takimi jak nos i oczy. Photo Sleuth porównuje dane wizualne nieznanego zdjęcia z już zidentyfikowanymi zdjęciami w bazie danych i przedstawia użytkownikowi to, co uważa za najlepsze dopasowanie na podstawie podobieństwa twarzy i informacji uzyskanych z innych metadanych, takich jak żołnierze, którzy wydają się być w ta sama jednostka na podstawie insygniów ich mundurów. Podczas gdy oprogramowanie podejmuje umyślne kroki w celu ograniczenia możliwości fałszywej identyfikacji, Luther mówi, że pod koniec dnia to użytkownik musi dokonać ostatecznej identyfikacji, gdy zostanie przedstawione najlepsze domysły oprogramowania.
„Bardzo martwiliśmy się o zapobieganie fałszywej identyfikacji”, mówi Luther, „ponieważ kiedy mówisz o Internecie, kiedy podajesz błędne informacje, bardzo trudno jest się go pozbyć lub zmienić”.
Aby upewnić się, że ich oprogramowanie zapewnia użytkownikom najlepszą możliwą sugerowaną identyfikację, Luther przeprowadził analizę pierwszego miesiąca proponowanej identyfikacji oprogramowania, stosując metody przedstawione w kolumnach, które wniósł do magazynu wojskowego „History Images” . Oceniając identyfikatory na podstawie „zdecydowanie nie pasuje”, „prawdopodobnie nie pasuje”, „prawdopodobnie pasuje” i „zdecydowanie pasuje”, analiza wykazała, że 85 procent proponowanych identyfikacji było prawdopodobnie lub zdecydowanie zgodne. Na konferencji w tym tygodniu Luther mówi, że zamierza podkreślić wyniki najnowszych badań zespołu nad Photo Sleuth, w tym odkrycia dokonanego przez Dave'a Morina, kolekcjonera zdjęć z wojny domowej w New Hampshire, na temat portretu niezidentyfikowanego podporucznika Unii . Zdjęcie Sleuth zasugerowało, że mężczyzną na portrecie był William H. Baldwin z 1. New York Engineers. Morin, który potwierdził, że Baldwin pochodzi z New Hampshire, mówi, że nigdy nie znalazłby kwestionowanego inżyniera z Granite State bez pomocy Photo Sleuth.
Kurt Luther jest adiunktem informatyki w Virginia Tech. (Amy Loeffler) Badania podkreślają także uzupełniające się zalety ludzkich historyków i samego oprogramowania. Pomimo dołożenia wszelkich starań, Luther twierdzi, że oprogramowanie może posunąć się tak daleko tylko przy identyfikacji prawidłowych dopasowań i polega na użytkownikach, którzy pomogą zidentyfikować wskazówki, które są w martwych punktach algorytmu twarzy.
„[Algorytm] jest szkolony w zakresie ogólnego rozpoznawania twarzy [na] głównie współczesnych obrazach”, mówi Luther. „AI ma trudny czas, gdy twarz jest odwrócona na bok [w profilu]. Jak na dzisiejsze standardy jest to dość niezwykły portret, ale w połowie XIX wieku był powszechny. ”
Zespół odkrył również, że użytkownicy byli znacznie bardziej skuteczni niż sam algorytm w identyfikowaniu innych unikalnych twórców, takich jak brody i blizny.
Patrick Lewis, historyk wojny domowej i redaktor naczelny zasobów naukowych i publikacji w Kentucky Historical Society, który nie uczestniczył w rozwoju Photo Sleuth, mówi, że Photo Sleuth w wojnie domowej będzie doskonałym narzędziem do nie tylko przybliżania zapomnianych historii życie, ale aby pomóc w dalszym budowaniu sieci współpracy historyków wojen domowych w całym kraju.
„Lubię wchodzić i oglądać nowe zdjęcia oznaczone tagiem Kentucky” - mówi Lewis. „[I zapytaj] kim są ludzie, którzy tam zbierają? Czy powinienem zdawać sobie sprawę z ich indywidualnych kolekcjonerów i czy powinienem się z nimi skontaktować, aby sprawdzić, czy mają jakieś inne materiały, które mogą być przedmiotem badań? ”
Chociaż nie ma jeszcze kontaktu z poszczególnymi kolekcjonerami za pośrednictwem Photo Sleuth, Lewis twierdzi, że samo Towarzystwo Historyczne Kentucky pracowało nad stworzeniem rejestrów znanych archiwów online i że oprogramowanie takie jak Photo Sleuth znacznie poprawiłoby ich zdolność do kontynuowania tej pracy.
Idąc dalej, Luther mówi, że chcą „podwoić ludzkie siły” oprogramowania, w tym dodać opcję „Druga opinia”, która pozwoli wielu użytkownikom współpracować przy ostatecznej identyfikacji zdjęcia, a także pracować w sprawie rozszerzenia zasięgu fizycznego i zarządzania społecznością w celu zwiększenia bazy użytkowników Photo Sleuth. Oprogramowanie wyświetli również niektóre lifting twarzy, w tym nową funkcję, która pozwoli użytkownikom na przesyłanie i identyfikację osób na zdjęciu grupowym.
„Naszym ostatecznym celem jest zidentyfikowanie każdego nieznanego zdjęcia z wojny secesyjnej”, mówi Luther, „i zwiększenie [Photo Sleuth] większego i lepszego, ponieważ 25 000 zdjęć to tylko kropla na łyżce”.
