Warum ein Wiener Startup sein eigenes LLM trainiert

Wie baut man als Startup eigentlich ein eigenes LLM?  Jakob Steinschaden (Trending Topics, newsrooms) und Clemens Wasner (enliteAI, AI Austria) begrüßen dazu in der Folge 54 des AI Talk die beiden Gründer Matthias Neumayr und Dima Rubanov (Branding5, Oscar Stories, HeyQQ) und sprechen über folgende Themen:

• 🎙️ Kindgerechte KI aus Österreich: Matthias Neumayr und Dima Rubanov stellen Oscar Stories vor – eine App für personalisierte Gute-Nacht-Geschichten, die auf einem selbst trainierten Mistral-7B-Modell namens LORA basiert
• 🔧 Fine-Tuning statt Prompting: Warum Prompt Engineering an Grenzen stößt und wie die Gründer mit enormem Aufwand – inklusive 24-Stunden-Trainings auf dem MacBook-Chip M3 – ihr eigenes Modell entwickelt haben
• 📊 Datensammlung und Benchmarking: Der komplexe Prozess von Data Cleaning über Modellauswahl bis zu Readability-Tests - und warum ältere Modelle wie GPT-3.5 teilweise bessere einfache Texte liefern als Reasoning-Modelle
• 🇪🇺 Mistral statt Meta: Warum das französische Open-Source-Modell Mistral die beste Wahl für deutsche Sprache war und Llama 3.1 sowie Phi-4 im Vergleich durchfielen
• 📱 On-Device AI als Zukunft: Vision einer komplett lokalen Ausführung auf iPhones - Privacy-First für Eltern, ohne Cloud-Abhängigkeit, inspiriert von Apples Foundation Model Framework
• ✅ TÜV-Zertifizierung für Vertrauen: Der aufwendige, aber freiwillige Weg zur Trusted-AI-Zertifizierung
• ⚖️ AI Act in der Praxis: Warum die meisten Kritiker gar nicht von High-Risk-Regulierung betroffen sind, wie Compliance tatsächlich funktioniert und weshalb Copyright-Regeln Foundation Models stärker bremsen als der AI Act selbst