Die Steuerung von KI-Crawlern hat Cloudflare deutlich ausgebaut. In Zukunft können Webseitenbetreiber Zugriffe nicht mehr nur pauschal blockieren, sondern nach Einsatzzweck unterscheiden. Für Suchindexierung, KI-Agenten und Modelltraining gibt es nun getrennte Regeln. Laut Cloudflare stehen diese Funktionen ab sofort allen Kunden auch im kostenfreien Tarif zur Verfügung.

Zudem will Cloudflare zum 15. September 2026 die Voreinstellungen für neue Domains ändern. Standardmäßig sollen KI-Training und KI-Agenten auf Seiten mit Werbung blockiert aber Suchmaschinen-Crawler weiterhin zugegelassen werden. Das begründet der Anbieter damit, dass Suchmaschinen weiterhin Klicks und damit Besucher auf die Webseiten bringen, während Trainings- und Agenten-Crawler Inhalte häufig ohne entsprechenden Gegenwert nutzen.

Zuvor hatte Cloudflare nur eine Option angeboten, mit der bekannte KI-Crawler für das Modelltraining pauschal blockiert wurden. Nun wird diese Funktion durch eine feinere Einteilung in den Kategorien "Search", "Agent" und "Training" ersetzt.

(ts, hannover)

(siehe auch: Heise-News-Ticker)

Hannover · EDV-Beratung · Linux · Novell · Microsoft · Seminar · IT-Consult · Netzwerk · LPIC · CLE