Engineering Kiosk #214 Daten aus Spotify & Co: Architektur einer skalierbaren API-Data-Pipeline
Sep 23, 2025
Die Diskussion dreht sich um die Architektur einer skalierbaren API-Datenpipeline für das 'Open Podcast'-Projekt. Es werden die Herausforderungen beim Sammeln von Analytics-Daten aus Plattformen wie Spotify und Apple beleuchtet. Die Hosts vergleichen Monolithen und Microservices, während sie verschiedene ETL-Strategien und Datenbanklösungen empfehlen. Einblicke in das Handling von Rate-Limits, Sicherheit von Credentials und Backup-Strategien runden das Thema ab. Praktische Learnings und die Bedeutung von Community-Austausch werden ebenfalls hervorgehoben.
AI Snips
Chapters
Transcript
Episode notes
Plattformen Sitzen Zwischen Hörer Und Hoster
- Podcasts verteilen sich per RSS-Feed; große Plattformen wie Spotify/Apple agieren als Proxies zwischen Hoster und Hörer.
- Dadurch besitzen sie die Interaktionsdaten (Plays, Abbrüche) und kontrollieren wichtige Metriken für Podcaster.
Zuerst Alles Holen, Dann Filtern
- Sammle nicht nur ein enges Subset; speichere idealerweise alle verfügbaren Metriken, um künftige Produktfragen zu beantworten.
- Plane Datensparsamkeit und PII-Fälle explizit ein und filtere sensible Felder bei Bedarf.
Uneinheitliche Metriken Brauchen Gemeinsamen Nenner
- Plattform-Metriken unterscheiden sich (Namen, Berechnung, Granularität) und erlauben keinen perfekten Vergleich.
- Definiere einen akzeptablen gemeinsamen Nenner und dokumentiere Unschärfen für Analysen.