AI, po przeanalizowaniu setek recenzji z czasów przed „przełomem ChataGPT” (który, przypomnijmy, nastąpił w listopadzie 2022 roku) i z czasu po tym przełomie, wytypowała grupę słów, które zaczęły się wtedy pojawiać częściej niż zwykle. Jeśli ich używasz, to tak, jakbyś stawiał stempel – „pracuję ze sztuczną inteligencją”. No właśnie, „pracuję z”, niekoniecznie się nią wyręczam, bo opisane w witrynie „Nature” przez Dalmeeta Singh Chawlę badanie nie bardzo to różnicuje.
Recenzje sprzed przełomu, recenzje po przełomie
Jak do tej pory badanie ukazało się tylko jako preprint, niemniej – jego wyniki są bardzo interesujące. Informatycy z Uniwersytetu Stanforda pod kierownictwem Weixina Lianga byli ciekawi, czy recenzje prac naukowych, które powstały po listopadzie 2022 roku, kiedy do powszechnego użytku trafił model językowy firmy OpenAI – ChatGPT – różnią się od tych napisanych wcześniej.
Z analizy zespołu Lianga wynika, że po listopadzie 2022 roku mniej więcej 17 proc. recenzji naukowych była przynajmniej współtworzona przez sztuczną inteligencję. Jak podkreślają badacze, nie jest jasne, w których przypadkach AI pisała je od początku do końca, a w których była jedynie narzędziem pomocniczym, które pomagało np. ująć coś w inny sposób czy zredagować autorską wypowiedź.
Jednak, jak mówi Debora Weber-Wulff, informatyczka z Uniwersytetu Nauk Stosowanych w Niemczech (HTW Berlin), opcja, w której to ChatGPT samodzielnie recenzuje czyjeś badania, jest niezwykle niepokojąca. „Sztuczna inteligencja miewa halucynacje i nie możemy być pewni, że nie zdarzają jej się one podczas pracy nad recenzją” – komentuje naukowczyni.
Żeby zrozumieć, dlaczego to akurat recenzje naukowe trafiły pod lupę badaczy z Uniwersytetu Stanforda, warto wiedzieć, że odgrywają one kluczową rolę w obiegu nauki – decydują o tym, czy efekty czyichś badań zostaną opublikowane w punktowanym czasopiśmie, a więc, de facto, o ich być albo nie być. Jednocześnie jest to praca, choć prestiżowa i powiązana z etosem naukowym, wykonywana nieodpłatnie przez innych naukowców zajmujących się podobnymi badaniami. Pokusa, żeby „wyręczyć się” sztuczną inteligencją może być więc spora, a skutki takiej decyzji, z ww. powodu – bardzo niedobre.
Tych przymiotników nadużywa sztuczna inteligencja
Zespół Weixina Lianga wziął pod uwagę 146 000 recenzji wysyłanych na konkretne konferencje przed i po premierze ChataGPT. Badacze zauważyli, że po listopadzie 2022 roku niezwykle popularne stały się niektóre przymiotniki. Wśród nich: commendable (chwalebny, godny pochwały), innovative (innowacyjny), meticulous (skrupulatny, drobiazgowy), intricate (zawikłany, zawiły), notable (godny uwagi, znaczący) i versatile (wszechstronny, uniwersalny). Łącznie słów, których od czasu premiery modelu językowego OpenAI użycie gwałtownie wzrosło, było ponad sto.
Badania Lianga zainspirowały kolejne. Andrew Gray, specjalista ds. wsparcia bibliometrycznego w Uniwersytecie College London, przeanalizował przymiotniki i przysłówki, które pojawiały się w pracach naukowych w latach 2015-2023 i doszedł do wniosku, że autorzy ponad 1 proc. artykułów (ok. 60 000) w jakimś stopniu korzystali z chatbotów. W ankiecie przeprowadzonej przez redakcję witryny „Nature”, w której wzięło udział ok. 1600 badaczy, 30 proc. przyznało, że pisząc artykuły, korzysta z generatywnej sztucznej inteligencji, a 15 proc. – że korzysta z niej przy tworzeniu wniosków grantowych i recenzji prac kolegów.
Zjawisko jest raczej nie do zatrzymania – to tak, jakbyśmy zabraniali ludziom korzystać np. z funkcji autokorekty, bo przecież powinni umieć sami poprawnie pisać. AI weszła w każdy biznes, w tym naukowy, przebojem i raczej nie zamierza ustępować. Pytanie brzmi, czy da się uporządkować tę kwestię w sposób, który sprawi, że będzie ona kolejnym przydatnym narzędziem, a nie omylną i podlegającą halucynacjom drogą na skróty.
„Nie chcemy wartościować. Nie mówimy, że korzystanie z AI przy pisaniu recenzji naukowych jest dobre albo złe” – komentuje Weixin Liang. „Jednak wymogi przejrzystości i odpowiedzialności skłaniają nas do twierdzenia, że kluczowe jest, aby szacować, jaka część danego tekstu została stworzona lub zmodyfikowana przez sztuczną inteligencję” – dodaje.