W półroczniku Wydziału Polonistyki Uniwersytetu Jagiellońskiego „LingVaria” ukazał się artykuł Rafała Mazura „O poprawności językowej tekstów generowanych przez SI na przykładzie ChatuGPT”. Jakie wnioski płyną z eksperymentów przeprowadzonych przez badacza?
Skąd dinozaury w wypracowaniu maturalnym?
Temat dostał ChatGPT maturalny, zeszłoroczny – „Człowiek – istota pełna sprzeczności”. Miał za zadanie odwołać się do wybranych lektur i kontekstów i napisać tekst na co najmniej 300 słów. Jak mu poszło?
Jeśli chodzi o poprawność gramatyczną, najwięcej problemów miał z prawidłowym oddaniem składni języka polskiego – badacz doliczył się aż 76 błędów, które sztuczna inteligencja popełniła w tym zakresie. Przykład?
„Wielu pisarzy i poetów, poprzez swoje utwory literackie, starali się zgłębić tę skomplikowaną naturę człowieka”. Jeśli zastanawiacie się, gdzie tu błąd, to już objaśniam. Skoro jest „wielu”, to zdecydowanie „starało się”, nie „starali się”. Gdyby ChatGPT nie postawił na ilość i zaczął to zdanie po prostu od „Pisarze i poeci”, nie byłoby tego problemu.
A jak AI poradziło sobie z ortografią i interpunkcją? Mazur doliczył się 48 błędów interpunkcyjnych. Byków ortograficznych ChatGPT raczej nie popełniał, wyjątkiem były dwie literówki – „prorobka” zamiast „prorocka” i „tyranozaurt” zamiast „tyranozaur”. Nazwy wymarłego gada chciał użyć jako metafory tyranii, jeśli kogoś interesuje, skąd dinozaury w wypracowaniu maturalnym.
Namiętnie ambitny Makbet popada w mroczne czyny
Prawdziwa zabawa zaczyna się, kiedy zaczynamy analizować poprawność leksykalną tekstu wygenerowanego przez ChatGPT. 54 błędy słownikowe to całkiem sporo jak na jeden, krótki i, nie ukrywajmy, dość trywialny eseik. To właśnie one stoją za tym, że jego pisaninę czyta się cokolwiek opornie. Tak więc Makbet w wypracowaniu AI „popada w mroczne czyny” i jest „namiętnie ambitny”, a Hiob „zachowuje wiarę w Boga i cierpienie”. Sformułowania godne stawać w szranki z tzw. humorem zeszytów, czyli zabawnymi gafami językowymi popełnianymi przez uczennice i uczniów.
A poprawność stylistyczna? Jak pisze Mazur, „wykolejenia stylistyczne w analizowanych wypowiedziach mają charakter przede wszystkim nieuzasadnionych powtórzeń”. Mówiąc krótko, na przestrzeni kilku zdań „sprzeczność” pogania „sprzeczność”, jakby ChatGPT nie bardzo potrafił w zaimki. Badacz zwraca także uwagę na nieuzasadnione użycie archaizmów i kolokwializmy.
Podsumowując – jeśli chcecie się wyręczać ChatemGPT, pisząc wypracowania, to proszę bardzo, czemu nie, i to jeszcze jak. Ale że powstaną teksty piękne i poprawne – na to nie liczcie.
