Wir sprechen mit Noah Hollman von Prior Labs, einem der Schöpfer von TabPFN (Tabular Prior Fitted Network), über dieses bahnbrechende Foundation-Modell für tabulare Daten. In der Diskussion geht es um die Funktionsweise von TabPFN, die Rolle von In-Context Learning, die Herausforderungen bei der Anwendung der Transformer-Architektur auf tabulare Daten sowie die Generierung synthetischer Daten mit strukturellen kausalen Modellen (SCMs). Darüber hinaus beleuchten wir die beeindruckenden Benchmarking-Ergebnisse und zusätzliche Features des Modells. Zum Ende hin sprechen wir über die offenen Herausforderungen von Prior Labs und welche "Moonshots" sie für die Zukunft planen.

**Zusammenfassung:**

TabPFN ist ein Modell für Vorhersagen auf tabellarischen Daten, entwickelt von Prior Labs
Es nutzt In-Context Learning, um Aufgaben durch Sequenzen von Daten zu lernen, und wurde speziell für die Transformer-Architektur angepasst
TabPFN wurde mit 100 Millionen synthetischen Datensätzen, die durch strukturelle kausale Modelle (SCMs) generiert wurden, trainiert
Es stellt einen neuen Benchmark dar und liefert starke Leistungen über verschiedene Domänen hinweg
Das Modell kann Unsicherheiten quantifizieren, mit fehlenden Werten umgehen und Outlier erkennen
TabPFN ist auf Consumer-Hardware trainierbar, was die Entwicklung auch auf kleinen GPUs ermöglicht
Zukünftige Entwicklungen fokussieren sich auf Zeitreihen, Kausalität und multimodale Modelle

**Links:**

Blog: TabPFN: Die KI-Revolution für tabulare Daten https://www.inwt-statistics.de/blog/tabpfn-die-ki-revolution-fuer-tabulare-daten
Nature Publikation zu tabPFN aus 2025: https://www.nature.com/articles/s41586-024-08328-6
Artikel über tabPFN in Fortune: https://fortune.com/2025/02/05/prior-labs-9-million-euro-preseed-funding-tabular-data-ai/
Nature News & views von Duncan C. McElfresh: https://www.nature.com/articles/d41586-024-03852-x
Zeit für Unternehmer: https://www.zeit.de/zeit-fuer-unternehmer/2025/01/kuenstliche-intelligenz-tabpfn-tabellen-daten?freebie=a67d9166
Publikation zu tabICL: https://arxiv.org/abs/2502.05564
früher Hintergrund-Artikel zur Transformers Architektur für Bayesianische Inferenz : https://arxiv.org/abs/2112.10510
früheres Working Paper zu tabPFN: https://arxiv.org/abs/2207.01848
GitHub Repo zu tabPFN: https://github.com/PriorLabs/TabPFN
Homepage Prior Labs: https://priorlabs.ai/
#71: Predictive LLMs: Skalierung, Reproduzierbarkeit & DeepSeek https://www.podbean.com/ew/pb-p2wjd-1897b7e
Feedback, Fragen oder Themenwünsche gern an podcast@inwt-statistics.de

W cieniu Ordy: Litwa i Moskwa wobec Tatarów XIV-XV w | cz. 1