Sztuczna inteligencja może też stanowić "katastrofalne zagrożenie"
Firma informuje inwestorów przed swym wycenianym na 2 bln dol. debiutem giełdowym, że sztuczna inteligencja może też stanowić "katastrofalne zagrożenie", a jej modele mogą "manifestować zachowanie samozachowawcze" połączone z zabiegami mającymi "uniemożliwić ich wyłączenie", czy też "zamaskować" podejmowane przez nie czynności, lub "manipulować" ludźmi, a nawet podejmować kroki "przypominające szantaż".
Modele AI mogą być świadome tego, że są testowane
Prospekt wyjaśnia też, że ponieważ modele AI mogą być świadome tego, iż są poddawane testowi, "znacząco ogranicza to" możliwość ustalenia przez Anthropic, czy są bezpieczne.
Agencja Reutera, która wraz z dziennikiem "Financial Times" poinformowała jako pierwsza o ostrzeżeniach zawartych w prospekcie firmy, podkreśla, iż w liczącym 261 stron dokumencie 80 stron poświęconych jest zagrożeniom związanym z AI. Tylko 48 stron zawiera informacje o działalności biznesowej Anthropica.
OpenAI rezygnuje z premiery nowego modelu GPT-6.1 Astra
Dzień wcześniej firma OpenAI zrezygnowała z planowanej na październik premiery nowego modelu zaawansowanej sztucznej inteligencji GPT-6.1 Astra.
Nowy model wykazywał m.in. większą skłonność do oszukiwania – nie zawsze szczerze mówił użytkownikowi, jakie działania podjął. Ponadto problemem był "zakres uprawnień" przy autoryzacji, bot dążył bowiem do wykonania zadania, nie pytając użytkownika o pozwolenie.
Dziesiątki tysięcy incydentów związanych z niebezpiecznymi zachowaniami AI
Axios ujawnił w niedzielę, że Anthropic i OpenAI badają dziesiątki tysięcy incydentów, związanych z niebezpiecznymi zachowaniami AI. Portal podkreślił, że skala problemu jest nieporównywalnie większa niż, to, o czym wie opinia publiczna.
Najnowsze ustalenia w tej sprawie stawiają pod znakiem pytania zdolność OpenAI i Anthropica, czy też w ogóle firm tego typu, do "ustanowienia całkowitej kontroli nad ich własną technologią", zwłaszcza że najnowsze agenty realizują zadania, wykazując zdumiewającą determinację oraz odporność na trudności i przeszkody, a zatem praca nad ograniczeniem ich "pomysłowości" stawia często ich twórców na przegranej pozycji - kontynuuje Axios.
Redaktor i wydawca strony głównej, z redakcjami Grupy Infor (Forsal.pl, Dziennik.pl, GazetaPrawna.pl, Infor.pl, ZdrowieGO.pl) związany od 2010 roku. Zajmuje się tematyką stosunków międzynarodowych, polityki gospodarczej i technologicznej, bezpieczeństwa, a także psychologią, zarządzaniem i pracą. Wcześniej zajmował się naukowo teoriami społeczeństwa sieci.