Udostępnij dane, albo giń. Jak wyszukiwarka AI Google kreuje nową rzeczywistość w Internecie?

Google monopolistą?

Dominująca pozycja Google na rynku wyszukiwania, którą Departament Sprawiedliwości USA uznał za nielegalny monopol, zapewnia tej firmie decydującą przewagę w wojnie o sztuczną inteligencję. Rzecznik firmy powiedział, że Googlebot zarządza AI Overviews, ponieważ AI i wyszukiwarka firmy są głęboko ze sobą powiązane. Rzecznik dodał, że wyniki wyszukiwania wyświetlają informacje w różnych formatach, w tym jako obrazy i grafiki.

Google powiedział również, że wydawcy mogą blokowaćwyświetlanie określonych stron lub części stronw AI Overviews, ale prawdopodobnie uniemożliwiłoby to również wyświetlanie zablokowanych fragmentów we wszystkich innych funkcjach wyszukiwania Google, w tym na listach linków internetowych. Dlatego większość wydawców, którzy pozyskują co najmniej połowę ruchu na swoich stronach dzięki wyszukiwarce Google, nie chce podejmować ryzyka związanego z ograniczaniem zasięgu.

Konkurencja dla Google: nowe wyszukiwarki AI

Rozwój generatywnej AI zapoczątkował nową falę startupów, które chcą oferować wyszukiwarki oparte o modele sztucznej inteligencji, by dostarczać zwięzłych odpowiedzi na pytania użytkowników. Popularność chatbotów wywołała niepokój w Google o przyszłości wyszukiwarki, która przez długie lata nie miała praktycznie żadnej konkurencji. Ale zanim nowe wyszukiwarki będą mogły naprawdę zagrozić działalności giganta, będą musiały zbudować własne indeksy wyszukiwania poprzez samodzielnie przeszukiwać sieć. A to nie jest łatwe zadanie.

Przeszukiwanie kosztuje właścicieli witryn pieniądze, moc obliczeniową i pamięć masową, więc wielu wydawców dołącza plik, który określa zasady, na jakich boty mogą odwiedzać ich witryny. Firmy, którym dano najwięcej swobody, to zazwyczaj Google i Bing Microsoftu. Tylko one mogą przekierować dostatecznie duży ruch do witryn, aby opłacało się to ich wydawcom.

Duży może więcej

Jednak startupy zajmujące się wyszukiwaniem nie mogą obiecać takiego ruchu jak duzi gracze, dopóki nie zyskają popularności. To jeden z powodów, dla których młode firmy zaczęły płacić wydawcom za licencjonowanie treści, powiedział Alex Rosenberg, dyrektor generalny Tako, startupu zajmującego się sztuczną inteligencją. „Teraz masz mnóstwo firm technologicznych, które płacą za treści, płacą za dostęp do nich, ponieważ potrzebują ich, aby móc konkurować w jakikolwiek poważny sposób” — powiedział Rosenberg. „Podczas gdy Google nie musi tego robić”.

Umowy na wykorzystanie treści do uczenia AI

Fala umów zawieranych przez startupy i wydawców najwyraźniej ominęła Google. Wyjątek stanowi kontrakt o wartości 60 milionów dolarów, jaki amerykański gigant zawarł z Reddit. Według anonimowych informatorów agencji Bloomberg, Google nieoficjalnie zasygnalizował pozostałym wydawcom, że nie jest zainteresowany jakimikolwiek negocjacjami.

Umowa Google z Redditem, gdzie miliony użytkowników angażują się w gorące debaty na niszowe tematy, oferuje firmie skarbnicę informacji dla modeli AI. Umowa zbiegła się ze zmianami wprowadzonymi przez Google, które zwiększyły obecność wyników z forów takich jak Reddit w wynikach wyszukiwania, co spowodowało ogromne zwiększenie ruchu w serwisie społecznościowym. Rzecznik Reddita powiedział, że to poprawa jakości i szybkości produktu przyczyniła się do wzrostu ruchu.

Kłopoty OpenAI

Małe startupy nie są osamotnione w swoich zmaganiach. OpenAI niedawno uruchomiło SearchGPT, wersję testową swojego niezwykle popularnego chatbota dostosowanego do wyszukiwania. Jednak popularne strony internetowe, w tym Amazon, Goodreads i Uniqlo, zablokowały crawler GPT na swoich stronach, co potencjalnie oznacza kłopoty dla rozwoju wyszukiwań OpenAI. OpenAI powiedziało, że strony mogą pojawiać się w wynikach wyszukiwania, nawet jeśli zdecydują się wykluczyć swoją zawartość ze szkolenia AI.

Użytkowe walory wyszukiwarki

Jeśli wyszukiwarka ma zaoferować użytkownikom szczegółowy wgląd w zawartość Internetu, musi mieć dostęp do szczegółowego indeksu sieci, czyli spisu treści zawartych na analizowanych przez wyszukiwarkę stronach. Najczęściej zawiera on informacje dotyczące słów kluczowych, linków, nagłówków czy treść. Jednak dla firm, które chcą odpowiadać na pytania użytkowników bezpośrednio za pomocą AI, dane nabierają innego poziomu znaczenia, powiedział Vladimir Prelovac, założyciel Kagi, startupu wyszukiwarkowego.

„Generatywne modele AI same w sobie nie są zbyt inteligentne”, twierdzi ​​ Prelovac. „Aby uzyskać jakikolwiek wysokiej jakości wynik od generatywnej AI, musisz mieć dostęp do tego samego indeksu wyszukiwania”. Indeks ten zawiera zbiór stron internetowych odczytanych przez robota wyszukiwarki, zapisanych i dostępnych w danej wyszukiwarce. Największym indeksem wyszukiwania dysponuje Google.

Jak ominąć blokadę?

Wszechobecność plików robots.txt, które ustalają wytyczne dotyczące indeksowania, zmusza startupy do podejmowania złożonych decyzji, powiedział Richard Socher, założyciel startupu wyszukiwawczego You.com. Pliki te nie zostały uznane w USA za prawnie wiążące, więc firmy mogą indeksować dane publiczne, o ile nie są to dane służące do logowania ani dane osobowe użytkownika, powiedział Socher. Według niego „każda witryna, która ma plik robots.txt pozwalający na indeksowanie tylko przez Google” zasadniczo wspiera monopol Google.

Neeva, startup wyszukiwawczy założony przez byłych pracowników Google, który został kupiony przez Snowflake w zeszłym roku, opowiadał sięza „neutralnością indeksowania”, aby ułatwić startupom budowanie indeksów wyszukiwania. W następstwie przełomowego orzeczenia sądu stwierdzającego, że Google zmonopolizował rynek wyszukiwania online, Departament Sprawiedliwości rozważa poszukiwanie środków zaradczych, w tym zmuszenie giganta wyszukiwania do udostępnienia większej ilości danych konkurentom, a nawet rozbicie firmy, poinformował Bloomberg. Jedną z propozycji, która przyciągnęła znaczną uwagę, jest zobowiązanie Google do udostępniania danych zbieranych za pośrednictwem Googlebota lub udostępnienia rywalom swojego słynnego indeksu wyszukiwania. Ustawa o rynkach cyfrowych Unii Europejskiej już wymaga od Google udostępniania niektórych danych dotyczących zapytań wyszukiwania.

Miażdżąca przewaga

Dla Wiensa, CEO iFixit, przewaga Google nad innymi firmami AI, zdobyta dzięki jego imperium wyszukiwania jest sednem problemów antymonopolowych dla firmy. „Oddzielenie wyszukiwania Google od ich pracy nad AI rozwiązałoby konflikty”, dodał Wiens.

Według przedstawicieli wyszukiwarki DuckDuckGo, zmiany technologiczne zachodzące w wyszukiwaniu sprawiają, że „indeks Google’a dotyczący kwestii antymonopolowych staje się jeszcze bardziej problematyczny”. „Indeksy wyszukiwania są niezwykle ważne w dobie generatywnej sztucznej inteligencji” – powiedział Kamyl Bazbaz, starszy wiceprezes ds. kontaktów publicznych w DuckDuckGo.

Niezależnie od wyniku postępowania antymonopolowego, zachodzące zmiany na rynku wyszukiwania podkreślają, jak ważne jest, aby wydawcy sami decydowali o swoim losie i nie uzależniali się nadmiernie od jednej platformy technologicznej, w tym od Google”, powiedział Joe Ragazzo, wydawca serwisu informacyjnego Talking Points Memo. „Naszym zdaniem trzeba nawiązać prawdziwe relacje z czytelnikami”, powiedział Ragazzo, „a w ten sposób tworzy się publikację, która przetrwa różne epoki”.