Techniki te w coraz większym stopniu koncentrowały się nie na przepływach na globalnych rynkach finansowych, lecz na nas. Matematycy i statystycy śledzili nasze potrzeby, działania i siłę nabywczą. Oceniali naszą przyszłą i teraźniejszą wiarygodność i obliczali nasz potencjał jako studentów,
pracowników, kochanków czy przestępców. Była to ekonomia Big Data, która obiecywała spektakularne zyski.

Program komputerowy mógł w ciągu sekundy lub dwóch przetworzyć tysiące wniosków o pracę bądź kredyt i posegregować je w praktyczny sposób, umieszczając obiecujących kandydatów na szczycie listy. To nie tylko oszczędzało czas, lecz było również uznawane za obiektywne i sprawiedliwe. Bądź co bądź proces ten nie zakładał udziału pełnych uprzedzeń ludzi, lecz wyłącznie maszyn przetwarzających suche liczby. Około 2010 roku matematyka zadomowiła się w naszych sprawach, a opinia publiczna w znacznej mierze
pochwalała to zjawisko.

Ja jednak dostrzegałam problem. Zasilane matematyką aplikacje bazowały na wyborach dokonywanych przez omylne istoty ludzkie. Niektóre z tych decyzji były bez wątpienia podejmowane w najlepszej intencji. Niemniej jednak wiele z metod wpisywało w systemy oprogramowania ludzkie uprzedzenia, brak zrozumienia oraz stronniczość. Jak bogowie, modele matematyczne były nie do pojęcia, zaś sposób ich działania byli w stanie zgłębić jedynie najwyżsi kapłani – matematycy i programiści komputerowi. Rozstrzygnięcia dostarczane przez modele, nawet gdy były złe lub szkodliwe, nie podlegały dyskusji ani odwołaniu. Wymyśliłam nazwę dla takich szkodliwych odmian modeli: Broń Matematycznej Zagłady, w skrócie Beemzety.

 

NIEUCZĄCY SIĘ PROGRAM

Systemy statystyczne potrzebują informacji zwrotnej – czegoś, co im powie, że zboczyły z toru. Statystycy wykorzystują informacje o błędach po to, by sprawdzać swoje modele i modyfikować je tak, by stawały się inteligentniejsze. Gdyby amazon.com, w wyniku błędnej korelacji w swoich algorytmach, zaczął rekomendować podręczniki do pielęgnacji trawników nastoletnim dziewczynkom, liczba kliknięć spadłaby na łeb na szyję. W następstwie algorytm zostałby zmodyfikowany aż do uzyskania zadowalających efektów. Bez informacji zwrotnej machina statystyczna może w nieskończoność generować niepoprawne lub szkodliwe analizy, nigdy nie ucząc się na własnych błędach. Wiele z Beemzetów zachowuje się w taki właśnie sposób. Definiują własną rzeczywistość, a następnie wykorzystują ją do uzasadnienia generowanych wyników.