Coraz więcej badaczy używa bestsellerowych książek o Harrym Potterze do eksperymentów z generatywną technologią sztucznej inteligencji, cytując trwały wpływ serii na kulturę popularną oraz bogaty zakres danych językowych i skomplikowanej gry słów zawartej na jej stronach. Przejrzenie listy badań i artykułów naukowych odwołujących się do Harry'ego Pottera daje wgląd w najnowsze badania nad AI oraz niektóre z najbardziej złożonych pytań dotyczących tej technologii.
Jak zapomnieć o Harrym Potterze?
Harry, Hermiona i Ron są bohaterami niedawnego artykułu zatytułowanego "Kto jest Harrym Potterem?", który rzuca światło na nową technikę pomagającą dużym modelom językowym selektywnie zapominać informacje. Te narzędzia, które napędzają chatboty AI, opierają się na ogromnych ilościach danych online, w tym na materiałach objętych prawem autorskim i innych problematycznych treściach. Doprowadziło to do pozwów sądowych i publicznej kontroli nad niektórymi firmami AI.
Autorzy artykułu, badacze z Microsoftu - Mark Russinovich i Ronen Eldan, wykazali, że modele AI mogą być zmieniane lub edytowane w celu usunięcia wszelkiej wiedzy o istnieniu książek o Harrym Potterze, w tym postaci i fabuł, bez poświęcania ogólnych zdolności decyzyjnych i analitycznych systemu AI.
Obaj naukowcy wybrali książki J.K. Rowling ze względu na ich powszechną znajomość. "Wierzyliśmy, że będzie łatwiej dla ludzi z społeczności badawczej ocenić model wynikający z naszej techniki i samodzielnie potwierdzić, że treść rzeczywiście została 'oduczona'" - powiedział Russinovich, dyrektor technologiczny Microsoft Azure. "Prawie każdy może przygotować polecenia dla modelu, które sprawdzą, czy 'zna' książki. Nawet osoby, które nie czytały książek, będą zapewne znały elementy fabuły i postaci."
Jak zwiększyć perpleksję?
W innym badaniu naukowcy z University of Washington w Seattle, University of California w Berkeley i Allen Institute for AI opracowali nowy model językowy o nazwie Silo, który może usuwać dane w celu zmniejszenia ryzyka prawnego. Jednak wydajność modelu znacznie spadła, gdy był szkolony tylko na tekstach niskiego ryzyka, takich jak książki nieobjęte prawem autorskim lub dokumenty rządowe, jak stwierdzili w artykule opublikowanym wcześniej w tym roku.
Aby zgłębić temat, naukowcy wykorzystali książki o Harrym Potterze, aby sprawdzić, czy poszczególne fragmenty tekstu wpływają na wydajność systemu AI. Utworzyli dwa magazyny danych, czyli zbiory witryn internetowych i dokumentów. Pierwszy zawierał wszystkie opublikowane książki z wyjątkiem pierwszej książki o Harrym Potterze, kolejny - wszystkie książki z serii oprócz drugiej, i tak dalej. "Gdy książki o Harrym Potterze są usuwane z magazynu danych, zwiększa się 'perpleksja'", powiedzieli naukowcy, odnosząc się do miary dokładności modeli AI.
Prace o wielu smakach
Studia nad AI cytujące Harry'ego Pottera istnieją od co najmniej dekady, ale stały się bardziej powszechne, gdy akademicy i technolodzy skupili się na narzędziach AI, które mogą przetwarzać i reagować na naturalny język z odpowiednimi odpowiedziami. „W przypadku Harry'ego Pottera obfitość scen, dialogów i emocjonalnych momentów sprawia, że jest to bardzo istotne dla specyficznej dziedziny przetwarzania języka naturalnego", powiedziała Leila Wehbe, badaczka z Carnegie Mellon, która przeprowadziła serię eksperymentów w 2014 roku, zbierając dane MRI mózgu od osób czytających historie o Harrym Potterze, aby lepiej zrozumieć mechanizmy językowe.
Na arXiv, otwartym repozytorium badań naukowych, niedawne prace obejmują "Uczenie maszynowe dla rozwoju mikstur w Hogwarcie", "Duże modele językowe spotykają Harry'ego Pottera" oraz "Wykrywanie zaklęć w literaturze fantasy z wykorzystaniem sztucznej inteligencji opartej na Transformerze".
CchatGPT jak Zwierciadło Ain Eingarp
Nawet gdy młody czarodziej nie jest centralnym elementem badania i tak staje się ulubionym literackim odniesieniem dla badaczy. Na przykład jedno badanie użyło dzieł Rowling, aby przetestować inteligencję systemów AI, takich jak np. ChatGPT. Terrence Sejnowski, który kieruje laboratorium neurobiologii obliczeniowej w Instytucie Salka, argumentował w artykule, że chatboty jedynie odzwierciedlają inteligencję i uprzedzenia swoich użytkowników, podobnie jak Zwierciadło Ain Eingarp z pierwszego tomu, które odbija pragnienia osoby.
"Harry Potter jest popularny wśród młodszych badaczy," powiedziała Wehbe. "Czytali je jako dzieci lub nastolatki, dlatego myślą o nich, wybierając korpus tekstów pisanych lub mówionych."
