Doppelgänger Tech Talk Cloudflare Content Independence Day, Crawl-to-Refer-Ratio #472
99 snips
Jul 4, 2025 Meta und OpenAI liefern sich ein Wettrüsten um KI-Forscher, während Cloudflare seinen „Content Independence Day“ ausruft und KI-Bots blockiert. Robinhood tokenisiert US-Aktien und bringt auch europäische Investitionen in OpenAI und SpaceX. Gleichzeitig hat Tesla mit einem Rückgang bei den Auslieferungen zu kämpfen. Eine skandalöse KI-generierte Veröffentlichung von Springer Nature sorgt für Aufsehen. Zudem testen die Sparkassen eine innovative Altersverifizierungslösung für Online-Plattformen.
AI Snips
Chapters
Books
Transcript
Episode notes
Cloudflare blockiert KI-Crawler standardmäßig
- Cloudflare blockiert standardmäßig KI-Crawler per Robots.txt auf Kundenwebseiten. 80% des heutigen Internet-Traffics sind Bots, oft AI-Crawler, was enorme Ressourcenkosten verursacht.
KI-Bots crawlen übermäßig oft Webseiten
- KI-Bots crawlen Webseiten massiv öfter als sie Besucher weiterleiten. Beispiel: OpenAI crawlt 1700-mal pro Besucher, Entropic sogar 50.000-mal pro Besucher.
Cloudflare als Content-Marktplatz-Schiedsrichter
- Cloudflare wird durch das Blockieren von KI-Bots zum Marktplatz-Schiedsrichter für Content. So ermöglicht es Verlagen, erstmals KI-Bots für ihre Inhalte zu entlohnen.
