Jego autorzy stwierdzili, że choć informacje od modelu językowego Google były najbardziej aktualne, to jednak mocno zniekształcone przez poszukujących klientów dostawców usług i producentów. Jednocześnie ChatGPT, który jest zdecydowanie bardziej obiektywny, nie ma dostępu do najświeższej wiedzy medycznej.
„Jeśli wyodrębnilibyśmy najlepsze cechy obu tych modeli językowych, otrzymalibyśmy dużo lepszy system. Zresztą tak się zapewne stanie w ciągu najbliższych kilku lat” – mówi prof. Vagelis Hristidis, główny autor omawianej publikacji.
Test sztucznej inteligencji
Interdyscyplinarne badanie pod jego kierownictwem (http://dx.doi.org/10.2196/48966) przeprowadzili informatycy z Uniwersytetu Kalifornijskiego w Riverside oraz klinicyści z University of Alabama i Florida International University. Przesłali 60 zapytań zarówno do sztucznej inteligencji stworzonej przez Google oraz do udostępnionego przez OpenAI ChatGPT. Były to typowe zapytania od osób żyjących z demencją i ich rodzin; codziennie tysiące takich pojawia się w wyszukiwarkach internetowych.
Naukowcy skupili się na demencji, ponieważ na zaburzenia z tej grupy cierpi już ponad sześć milionów Amerykanów. „Badania pokazują, że opiekunowie osób z demencją są jednymi z najbardziej zaangażowanych w zdobywanie informacji zdrowotnych z internetu, ponieważ to właśnie oni często muszą podejmować ważne decyzje dotyczące opieki nad chorym bliskim” – wyjaśniają.
Połowa użytych w badaniu zapytań dotyczyła informacji o samym procesie chorobowym, a połowa o usługach, które mogłyby pomóc pacjentom i ich rodzinom.
Szybkość kontra trafność odpowiedzi
Wyniki były bardzo zróżnicowane. „Google dawał bardziej aktualne informacje i obejmował wszystkie poruszane zagadnienia – opowiada prof. Hristidis. - ChatGPT jest natomiast aktualizowany co kilka miesięcy, więc pozostaje w tyle. Jeśli na przykład w zeszłym tygodniu pojawił się jakiś nowy lek na rynku, ChatGPT o nim nie opowie”.
Jednak choć nieco "przestarzały", ChatGPT dostarczał bardziej wiarygodnych i dokładniejszych informacji niż Google. Zdaniem naukowców dzieje się tak, ponieważ twórcy tego pierwszego wybierają do szkolenia swojego modelu poprzez uczenie maszynowe najbardziej niezawodne strony internetowe.
Reklamy psują jakość
W przypadku Google istnieje zaś duży problem z niezawodnością, ponieważ udzielane przez niego odpowiedzi „zasadniczo obejmują wszystko: od wiarygodnych źródeł po reklamy”.
W rzeczywistości wygląda to tak, że reklamodawcy płacą Google za wyświetlanie linków do ich witryn na górze stron z wynikami wyszukiwania. Dlatego użytkownicy często najpierw widzą odnośniki do firm poszukujących zysku, próbujących sprzedać swoje usługi lub produkty związane z opieką nad chorymi. „Znalezienie wiarygodnych informacji w Google wymaga zatem pewnego poziomu umiejętności i doświadczenia użytkownika” - mówi Hristidis.
Aktualizowanie danych
W przypadku poszukiwania informacji nt. choroby Alzheimera bardzo ważna jest jednak aktualna wiedza, ponieważ postęp w tej dziedzinie dokonuje się każdego dnia. „Chociaż nie ma lekarstwa na tę chorobę, to wiele badań klinicznych jest w toku, a ostatnio FDA zatwierdziła obiecującą terapię dla osób we wczesnym stadium - mówi badacz. - Takie aktualne informacje są więc ważne dla rodzin, które chcą dowiedzieć się o ostatnich odkryciach i dostępnych metodach leczenia”.
Bariera językowa
Autorzy badania piszą, że „dodanie zarówno źródła, jak i daty informacji związanych ze zdrowiem oraz dostępności w innych językach może zwiększyć wartość obu platform, zarówno dla pracowników niemedycznych, jak i medycznych”.
Zwracają także uwagę, że zarówno model Google, jak i ChatGPT uzyskały niskie wyniki w zakresie czytelności, co oznacza, że osoby z niższym poziomem wykształcenia oraz niskimi umiejętnościami w zakresie wiedzy o zdrowiu mają ograniczone możliwości ich odpowiedniego zrozumienia.
„Według mnie ten ostatni czynnik jest jednak najłatwiejszy do poprawienia, ponieważ istnieją już narzędzia, także oparte o sztuczną inteligencję, które potrafią czytać i parafrazować tekst – wyjaśnia prof. Hristidis. - Jeśli zaś chodzi o poprawę niezawodności i dokładności, jest to o wiele trudniejsze. Nie zapominajmy, że stworzenie ChatGPT zajęło naukowcom wiele dziesięcioleci badań nad sztuczną inteligencją. To będzie powolny proces”.
Katarzyna Czechowicz
