Modelverhalten: Sykophantie und Persona-Fragen

Was bedeutet es eigentlich, ein KI-Modell zu trainieren, das von Milliarden Menschen genutzt wird? Warum reichen fünf bis zehn richtig gute Leute aus, um Software mit globalem Impact zu bauen, weshalb scheitert Europa trotzdem immer wieder an genau diesem Punkt? Und wie kommen wir von offenen Forschungsprojekten endlich zu KI-Systemen, die wirklich deployed werden und Wert schaffen?

Diesen Podcast gibt es auch als Video-Podcast auf meinem YouTube Kanal.

Zu diesen und vielen weiteren Fragen spreche ich in dieser Episode von „AI to the DNA“, dem Podcast für alle, die Künstliche Intelligenz wirklich verstehen und anwenden wollen, mit Johannes Otterbach. Johannes war bei Palantir, bei OpenAI, hat an den frühen GPT-Modellen mitgearbeitet, war bei Merantix und ist heute als Innovationsmanager bei der SPRIN-D, der Bundesagentur für Sprunginnovationen, an einer der zentralen Stellen unterwegs, wenn es um die Zukunft von KI in Europa geht.

Wir sprechen darüber, warum das eigentliche Nadelöhr moderner KI nicht Talent, sondern Compute ist und weshalb ein einzelner Trainingslauf für ein Frontier-Modell schnell 10 bis 50 Millionen Dollar kostet. Johannes erklärt, wie sogenannte „YOLO-Runs“ funktionieren, warum beim Training tausende GPUs gleichzeitig laufen müssen und weshalb der Ausfall einer einzigen GPU einen kompletten Run killen kann. Es geht um Scaling Laws, experimentelle Forschung und darum, warum KI am Ende keine klassische Software ist, sondern eine zutiefst empirische Disziplin.

Wir gehen außerdem tief rein in das, was viele nur oberflächlich diskutieren: Agenten, Autonomie und Verantwortung. Warum KI weder deterministisch noch menschlich ist, sondern eine völlig neue Kategorie darstellt. Warum wir juristisch vielleicht über neue Formen von Verantwortung nachdenken müssen. Und weshalb „sykophantisches Verhalten“, also das ständige Bestätigen menschlicher Annahmen durch Modelle, kein Bug, sondern ein direktes Ergebnis von Reinforcement Learning ist.

Darüber hinaus sprechen wir über Europas echte Chancen: Multilinguale Modelle im größten Sprachraum der Welt, industrielle Anwendungsfälle jenseits von Text, Agenten-Ökonomien statt monolithischer Modelle und Frontier AI in Bereichen wie Manufacturing, Energie, Pharma und Robotik. Johannes erklärt, warum Souveränität nicht Autarkie bedeutet, sondern Wahlfreiheit und warum wir diese Wahl aktuell nicht haben.

Zum Schluss öffnen wir noch einmal bewusst den Horizont: Quantencomputing als komplementäre Technologie zu KI, neue Compute-Architekturen jenseits von CPU und GPU, die Grenzen von AGI-Debatten und warum „Transformative AI“ vielleicht die bessere Messlatte ist als jede philosophische Definition von Intelligenz.

Hier bei AI to the DNA will ich, Christoph Magnussen, tiefer in die Materie KI eintauchen. Mich interessiert nicht nur, wie man KI nutzt, sondern warum sie so funktioniert, wie sie funktioniert. Mit AI to the DNA gewinnt ihr Einblicke in die Natur der Künstlichen Intelligenz und erfahrt, wie sie Teil eurer DNA wird. So werdet ihr von neugierigen Tool-Tourist:innen zu echten AI-Anwendungsweltmeister:innen.

Spare jetzt 250€ auf unsere AI Officer Ausbildung mit dem Gutscheincode: ATTD250
-> Jetzt anmelden auf https://shop.blackboat.com

• (00:00) - Intro und warum Johannes nach Europa zurückgekehrt ist
• (02:50) - Die Mission der SPRIND: Frontier AI Labs für Europa
• (06:05) - Scaling Laws: Wie kleine Teams gigantische Modelle bauen
• (11:53) - Der "YOLO-Run": Kosten, Hardware-Crashes und der Trainingsprozess
• (16:51) - Fine-Tuning, RLHF und was nach dem Training passiert
• (18:47) - Sycophancy und AI als neue juristische Person
• (23:39) - AI-Agenten, Autonomie und das "Last Mile"-Problem
• (30:21) - Cultural Imperialism: Warum Europa eigene Modelle braucht
• (41:09) - Unfettered Research: Kreativität bei OpenAI vs. DeepSeek
• (43:55) - Europas ungenutzte Stärken: Mehrsprachigkeit und Industriedaten
• (48:07) - AGI, Messbarkeit von Intelligenz und Credit Scoring mit Social Data
• (56:39) - Die Zukunft von SaaS: Tech-enabled Services
• (01:00:43) - Lovable und die Attention Economy
• (01:02:58) - Warum Audio-Modelle schwieriger sind als Bild-Modelle
• (01:08:03) - Black Forest Labs und die Wurzeln von Stable Diffusion
• (01:13:04) - Quantencomputer: Hype vs. Realität und Anwendungsfälle
• (01:17:20) - Das Hardware-Game: GPUs, QPUs und die Abhängigkeit von ASML
• (01:24:22) - Fehlende Sinne für AGI: Geruch, Geschmack und Haptik
• (01:30:30) - Transformative AI (TAI): Welche Jobs wirklich ersetzt werden
• (01:38:52) - Warum Data Engineering ein Job mit Zukunft bleibt