AI-crawler ellenőrzés
A Cloudflare szerint az AI-crawlerek és az AI-alapú keresők felborították a web korábbi gazdasági modelljét, egyes webhelyeken az AI-botok akár 50 000 oldalletöltést is végeznek minden egyes, általuk visszaküldött látogatóra, vagyis a tartalmat tömegesen használják fel modellek tanítására és AI-válaszok készítésére, miközben alig irányítanak forgalmat az eredeti oldalakra. A vállalat ezért új szabályozási modellt vezet be, 2026. szeptember 15-től alapértelmezés szerint blokkolja azokat az úgynevezett mixed-use crawlereket, amelyek nem választják szét egyértelműen a hagyományos keresési indexelést az AI-tréningtől és az AI-ügynökök működésétől. Az AI-szolgáltatóknak külön robotokat kell használniuk ezekre a célokra, ellenkező esetben a Cloudflare ügyfelei automatikusan megtagadhatják számukra a hozzáférést.
A Cloudflare emellett tovább bővíti a Pay Per Crawl modellt, amely lehetővé teszi, hogy a tartalomtulajdonosok díjat számítsanak fel az AI-crawlereknek. Az első partnerek között a Ceramic.ai és a You.com szerepelnek, a rendszerben részt vevő kiadók akkor kapnak díjazást, amikor tartalmukat AI-válaszok előállítására használják fel. A vállalat szerint a cél nem az AI-crawlerek teljes blokkolása, hanem egy olyan modell kialakítása, amelyben a weboldalaknak nem kell választaniuk aközött, hogy láthatók maradnak a keresőkben, vagy ingyen biztosítják tartalmukat az AI-rendszerek számára. A Cloudflare külön bírálta azt a helyzetet, hogy a Google egyetlen Googlebot crawlerrel egyszerre szolgálja ki a hagyományos keresést és az AI-funkciókat, míg a Google szerint erre már létezik külön leiratkozási lehetőség a Google Extended roboton keresztül.
