

#72: TabPFN: Die KI-Revolution für tabulare Daten mit Noah Hollmann
May 15, 2025
Noah Hollmann, Mitbegründer von Prior Labs und einer der Entwickler von TabPFN, spricht über die revolutionäre Technologie zur Analyse tabellarischer Daten. Er erklärt, wie In-Context Learning und Transformer-Architekturen eingesetzt werden, um Vorhersagen zu verbessern. Hollmann beleuchtet die Herausforderungen bei der Anwendung und die beeindruckenden Benchmarking-Ergebnisse des Modells, das sogar auf Consumer-Hardware läuft. Zudem diskutiert er die zukünftigen Entwicklungen und die Bedeutung von Open Source für die Datenwissenschaft.
AI Snips
Chapters
Transcript
Episode notes
TabPFN und In-Context Learning
- TabPFN nutzt Transformer-Architektur, um Vorhersagen auf tabellarischen Daten effizient zu machen.
- Es macht In-Context Learning und benötigt kein neues Training für jeden Task.
Synthetische Daten mit SCMs
- Trainingsdaten generiert TabPFN synthetisch mit strukturellen kausalen Modellen (SCMs).
- SCMs beschreiben Feature-Abhängigkeiten kausal und erzeugen so realistisch herausfordernde Datensätze.
Effizientes Training auf normaler Hardware
- TabPFN wurde auf Consumer-Hardware mit älteren GPUs trainiert, nicht auf riesigen Clustern.
- Das Modell generalisiert auch auf größere Datensätze als die Trainingsgrößen.