W badaniu na które powołuje się Quartz, poproszono grupę 50 lekarzy, aby spróbowali postawić sześć różnych diagnoz schorzeń medycznych o tej samej historii choroby. W badaniu wzięło udział 26 lekarzy prowadzący i 24 rezydentów. Część uczestników otrzymała do pomocy w podejmowaniu decyzji ChatGPT OpenAI. Inna grupa diagnozowała bez wspomagania sztucznej inteligencji.
Zaskakujące wyniki badania
Wynik badanie był dość zaskakujący. Lekarze, którzy zrealizowali projekt bez AI, uzyskali średni wynik 74 proc., podczas gdy lekarze, którzy wykorzystali AI, uzyskali średni wynik tylko o 2 pkt proc. wyższy (76 proc.). Jak się okazało dużo lepszy wynik uzyskała sztuczna inteligencja. Sam ChatGPT uzyskał średni wynik na poziomie 90 proc.
Dr Rodman, który pomagał zaprojektować badanie, powiedział New York Timese, że był zaszokowany wynikami badania. Rodman spodziewa się, że chatboty znacznie pomogą lekarzom w podejmowaniu właściwych decyzji. Tymczasem badanie wykazało, że AI niewiele poprawiło wyniku lekarzy. Ponowny szok Rodman przeżył, gdy zapoznał się z wynikami ChatGPT. Sztuczna inteligencja wystawiając samodzielnie diagnozę miała dużo lepsze wyniki niż prawdziwi lekarze.
Lekarze nie słuchali podpowiedzi AI
Badanie wykazało, że sztuczna inteligencja nie pomogła lekarzom tak bardzo, jak oczekiwano. Powody były dwojakie. Po pierwsze lekarze „nie słuchali sztucznej inteligencji, gdy mówiła im rzeczy, z którymi się nie zgadzali” — powiedział Rodman. Dodał też, że większość lekarzy była przywiązana do swoich własnych diagnoz i nie dało się przekonać, że chatbot wie więcej od nich.
Innym problemem, który się pojawił, było to, że wielu lekarzy nie wiedziało, jak w pełni wykorzystać możliwości sztucznej inteligencji.
