Prowadzenie śledztw dziennikarskich z użyciem uczenia maszynowego

W 2010 r. na światowych rynkach doszło do gwałtownego wrostu cen bursztynu. Duży popyt wzbudził w kolejnych latach zainteresowanie bogatym w bursztyn obszarem północno-zachodniej Ukrainy, który stał się miejscem nielegalnej „bursztynowej gorączki”, swoistego „Dzikiego Zachodu” z udziałem zarówno lokalnych, jak i zagranicznych graczy.

W efekcie setki hektarów lasów i oraz gruntów rolnych zostało zamienionych w martwy, księżycowy krajobraz. Najbardziej intensywną działalność wydobywczą prowadzono w latach 2014-2016; po tym okresie wydobycie trwało nadal, ale na mniejszą skalę.

W 2018 r. ukraińska redakcja Texty, zajmująca się dziennikarstwem opartym na danych, opublikowała artykuł Ziemia dotknięta trądem będący efektem badań przeprowadzonych przy pomocy uczenia maszynowego w celu wykrycia przypadków nielegalnego wydobycia bursztynu na terenie Ukrainy.

Algorytm podzielił najpierw sekcje zdjęć satelitarnych na jednolite wizualnie podsekcje. Gdyby więc na jednej połowie zdjęcia znajdowałby się zielony las, a na drugiej goła ziemia, to algorytm podzieliłby to zdjęcie na dwie podsekcje.

Inny algorytm ustalił, które podsekcje najbardziej przypominają istniejące przykłady zdjęć miejsc wydobycia bursztynu, gdzie ziemia jest pokierowana dziurami ułożonymi w charakterystyczny wzór. 

Na końcu dziennikarze zbadali przykłady znalezione przez algorytm, aby upewnić się, że miejsca, które maszyna oznaczyła jako miejsca wydobycia bursztynu, nie były efektem innych działań, takich jak wylesianie.

First, an algorithm divided sections of satellite images into visually uniform subsections. So if an image was half green forest and half dirt field, it would split the image into those two subsections.

Another algorithm found which subsections most resembled the existing examples of amber mining, which have a distinctive pockmark-like pattern of holes in the ground. 

Finally, the journalists examined the examples the algorithm found, to make sure that what it thought looked like amber mining wasn't actually something else, like deforestation.

W tym kursie skupimy się na zastosowanych przez Texty metodach szkolenia algorytmu rozpoznającego wizualne przykłady nielegalnego wydobycia bursztynu w ogromnej ilości zdjęć satelitarnych, podzielonych uprzednio na podsekcje przez inny algorytm.

Jak wspomnieliśmy w pierwszej lekcji, oznacza to, że będziemy eksperymentować z uczeniem z nadzorem. Opiszemy, jak algorytm potrafi uczyć się rozpoznawania wzorów w nieznanych wcześniej obrazach na podstawie przykładów opatrzonych etykietami. 

Ponadto pokażemy, jak można zastosować ten sam proces do własnych prac dziennikarskich: od wyszukiwania potrzebnych przykładów, przez szkolenie modelu uczenia maszynowego do rozpoznawania poszukiwanych cech, po testowanie i ocenę modelu w celu potwierdzenia, że wyniki algorytmu są wiarygodne.

Dlaczego uczenie maszynowe było właściwym narzędziem do znalezienia informacji poszukiwanych przez Texty? 

W klasycznym oprogramowaniu musimy wydawać komputerowi instrukcje krok po kroku. Mimo, że takie podejście sprawdza się przy rozwiązywaniu wielu różnych problemów, nie jest ono w stanie sprostać zadaniu rozpoznawania przykładów nielegalnego wydobycia bursztynu w ogromnej ilości zdjęć satelitarnych. Ze względu na mnogość elementów wizualnych, które musiałbym przeanalizować komputer, nie da się wymyślić zestawu zasad, które mogłyby nauczyć oprogramowanie odróżniania prawdziwych przykładów nielegalnego wydobycia bursztynu od rzeczy, które mają podobny wygląd.

Na szczęście systemy uczenia maszynowego są dobrze przystosowane do rozwiązania tego problemu.

Warto pamiętać że przypadek opisany w tym kursie – rozpoznawanie nielegalnego wydobycia bursztynu – jest tylko jednym z przykładów. Ten sam proces umożliwia zastosowanie uczenia maszynowego do wielu różnych zadań dziennikarskich, a nawet do analizy innych rodzajów treści niż obrazy. Przybliżymy kilka przykładów odmiennych zastosowań na końcu tego kursu. Wykonując to ćwiczenie należy pamiętać, aby skupić się na procesie, a nie na tym konkretnym studium przypadku.

Przed rozpoczęciem właściwego ćwiczenia musimy poświęcić kilka minut na zapoznanie się z narzędziem, którego nauczymy się używać na kolejnych lekcjach, i przygotowanie go do pracy: Google Cloud AutoML Vision.