Przez ostatnią dekadę, AI przenikła niemal każdy zakątek nauki: modele uczenia maszynowego były używane do przewidywania struktur białek, szacowania procentu utraty lasów deszczowych Amazonii z powodu wylesiania, czy nawet klasyfikacji odległych galaktyk, które mogą być domem dla egzoplanet. Ale choć AI może przyspieszać odkrycia naukowe, pomagając badaczom w prognozowaniu zjawisk, które mogą być trudne lub kosztowne do badania w rzeczywistym świecie, może również wprowadzać naukowców w błąd.
W artykule opublikowanym w czasopiśmie Science, naukowcy z University of California w Berkeley opisali nową technikę statystyczną nazwaną wnioskowaniem opartym na prognozach (PPI). Używa ona niewielkiej ilości danych rzeczywistych do korekty wyników dużych, ogólnych modeli - takich jak AlphaFold, przewidujący struktury białek. "Te modele są zaprojektowane w ten sposób, by być jak najbardziej ogólne. Mogą więc odpowiadać na wiele pytań, ale nie wiemy, na które pytania odpowiadają dobrze, a na które źle. Jeżeli używasz ich w naiwnej wierze, że są prawdziwe, może to skończyć się dotkliwą porażką" - powiedział autor badania, prof. Michael Jordan. "Z PPI jesteś w stanie użyć modelu, ale skorygować możliwe błędy, nawet wtedy, gdy początkowo nie znasz ich natury."
Ryzyko ukrytych stronniczości
Kiedy naukowcy prowadzą eksperymenty, nie szukają zwykle tylko jednego rozwiązania, ale chcą uzyskać zakres prawdopodobnych odpowiedzi. Robi się to, obliczając tzw. przedział ufności, który najłatwiej można znaleźć, powtarzając eksperyment wiele razy i obserwując, jak wyniki się różnią. W większości badań naukowych, przedział ufności zwykle odnosi się do podsumowania lub połączonej statystyki, a nie pojedynczych punktów danych. Niestety, systemy uczenia maszynowego skupiają się właśnie na pojedynczych punktach danych i w związku z tym nie dostarczają naukowcom przedziałów ufności. Na przykład, AlphaFold przewiduje strukturę pojedynczego białka, ale nie dostarcza pojęcia ufności dla tej struktury, ani sposobu na uzyskanie przedziałów ufności odnoszących się do ogólnych właściwości białek.
Naukowcy mogą być skłonni używać przewidywań z AlphaFold, jakby były danymi do obliczania klasycznych przedziałów ufności, ignorując fakt, że te przewidywania nie są danymi. Problem z takim podejściem jest taki, że systemy uczenia maszynowego mogą mieć wiele ukrytych zafałszowań, które mogą zniekształcać wyniki. Powstają one częściowo z danych, na których są szkolone, i które zazwyczaj są istniejącymi badaniami naukowymi. "Rzeczywiście, w nauce często interesujemy się zjawiskami, które są na granicy między znanym a nieznanym," - powiedział Jordan. "Bardzo często nie ma zbyt wielu danych z przeszłości, które byłyby na tej granicy, co sprawia, że modele AI generujące są jeszcze bardziej skłonne do halucynacji”.
Obliczanie ważnych przedziałów ufności
PPI pozwala naukowcom włączać przewidywania z modeli takich jak AlphaFold bez żadnych założeń na temat sposobu budowy modelu czy danych, na których został wyszkolony. Aby to zrobić, PPI wymaga niewielkiej ilości danych, które są nieobciążone względem konkretnej badanej hipotezy, równolegle z prognozami uczenia maszynowego odpowiadającymi tym danym. Przez połączenie tych dwóch źródeł dowodów, PPI jest w stanie formować ważne przedziały ufności.
Na przykład, zespół badawczy zastosował technikę PPI do algorytmów, które mogą wskazać obszary wylesiania w Amazonii za pomocą obrazowania satelitarnego. Te modele były dość dokładne, gdy testowano je indywidualnie na regionach w lesie. Jednak, kiedy próbowano szacować poziom wylesiania w całej Amazonii, przedziały ufności stawały się bardzo zniekształcone. Jest to prawdopodobnie spowodowane tym, że model miał trudności z rozpoznaniem niektórych nowszych wzorców wylesiania. Z PPI, zespół był w stanie skorygować stronniczość w przedziale ufności, używając niewielkiej liczby oznaczonych ręcznie przez człowieka regionów wylesiania.
Zespół pokazał również, jak technika może być stosowana do różnorodnych innych badań, w tym pytań o skład białek, klasyfikację galaktyk, poziomy ekspresji genów, liczenie planktonu, czy nawet o związek między dochodem a prywatnym ubezpieczeniem zdrowotnym. "Nie ma naprawdę żadnych ograniczeń co do rodzaju pytań, do których to podejście może być zastosowane," powiedział Jordan.
