O wynikach najnowszych badań dotyczących tego, czy sztuczna inteligencja może uczyć sztuczną inteligencję, dla witryny „Nature” pisze Elizabeth Gibney.
Kanibalizm, załamanie się modelu
Zjawisko to powinno nas niepokoić, a może uspokajać? Ciężko powiedzieć. W każdym razie póki co żaden duży model językowy sztucznej inteligencji nie stworzy swojej genialniejszej wersji. Kiedy wyczerpiemy dane szkoleniowe wyprodukowane przez człowieka i będziemy chcieli uczyć AI na danych wygenerowanych przez inną AI, ta pierwsza szybko zacznie halucynować w jeszcze szybszym tempie, niż to ma w zwyczaju. Naukowcy nazwali to zjawisko „kanibalizmem AI” i alarmują, że może ono doprowadzić to zahamowania rozwoju sztucznej inteligencji.
Nad problemem pracował zespół Zakhara Shumaylova z Uniwersytetu w Cambridge w Wielkiej Brytanii. Zgodnie z ich przewidywaniami, problem kanibalizmu (inaczej – załamania się modelu) jest uniwersalny i dotyczyć będzie modeli językowych wszystkich rozmiarów i rodzajów.
Technologiczny chów wsobny
Jak mówi informatyczka z Uniwersytetu Nowojorskiego Julia Kempe, wyniki tego badania są jak rękawica rzucona wszystkim ekspertom od sztucznej inteligencji. Do tej pory zakładali, że możliwości doskonalenia modeli są nieskończone i że po wyczerpaniu się wytworzonych przez człowieka danych szkoleniowych będzie można wykorzystać te wytworzone przez AI. Zamiast tego przed badaczami stanął wielki problem do rozwiązania.
Aby zobaczyć, jak daleko on sięga, naukowcy z Cambridge wytrenowali model na hasłach z Wikipedii, zalecili mu stworzenie własnych haseł, a następnie kolejną generację modelu trenowali właśnie na nich. Jak przyznaje Shumaylov, spodziewali się, że pojawią się problemy, ale nikt nie zakładał, że aż takie i aż tak szybko. Ponadto, jak przyznaje badacz, „z biegiem czasu błędy zaczynają się na siebie nakładać, aż w końcu model uczy się już tylko błędnych rzeczy”. Naukowcy porównują to do problemu generowanego przez chów wsobny w przypadku hodowli zwierząt.
Człowiek modelowi człowiekiem
Badacze sprawdzają różne opcje – przy zachowaniu proporcji w danych treningowych, kiedy tylko część z nich została wytworzona przez AI, a część przez człowieka, problem jest, mówiąc w uproszczeniu, do opanowania. Wyzwaniem pozostaje teraz odpowiednie indeksowanie treści, aby model odróżnił jedne od drugich.
Innym wyzwaniem jest konieczność ciągłego poszerzania danych treningowych pochodzących od człowieka, a więc kluczowa będzie praca ludzkich twórców, którą to pracę miała im zabrać właśnie AI. Oby tylko twórcy umieli się dobrze zabezpieczyć na wypadek, gdy technologia w przyszłości przestanie ich już potrzebować.
