DeepSeek R1 sorgte im Januar für Aufsehen: Ein chinesisches KI-Modell, das mit offenen Gewichten und ausgefeiltem Chain-of-Thought Reasoning die etablierten US-amerikanischen Modelle wie o1 herausfordert – und das zu einem Bruchteil der bisher als notwendig erachteten Kosten. Die Ankündigung ließ sogar die Aktienkurse namhafter Chiphersteller einbrechen. Wie gelang DeepSeek dieser Durchbruch? Welche innovativen Engineering-Ansätze ermöglichten den Sprung vom klassischen Foundation Model zum leistungsstarken Reasoning-Modell? Ole und Robert nehmen die Evolution von DeepSeek R1 unter die Lupe und analysieren die mehrschichtigen technischen Innovationen, die hinter diesem Erfolg stehen. Sie diskutieren außerdem die konkreten Auswirkungen dieser Entwicklung auf den deutschen Unternehmenssektor.
Shownotes:
- Buch: "Thinking, Fast and Slow"
- Chain of Thought Prompting
- How cheap, outsourced labour in Africa is shaping AI English (RLHF)
- AlphaGo: The Movie
- Group Relative Policy Optimization (GRPO)
- Running DeepSeek V3 671B on M4 Mac Mini Cluster
- DeepSeek FAQ von Ben Thompson auf Stratecherry
- Gewinner und Verlierer nach dem KI-Erdbeben: Analyse von Marcel Weiß für FAZ (Paywall)
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (das Paper zur Veröffentlichung von R1)
- DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models
- ARC Prize: ARC-AGI Benchmark