
#214 Daten aus Spotify & Co: Architektur einer skalierbaren API-Data-Pipeline
Engineering Kiosk
Welche Quellen und Metriken sollen gesammelt werden?
Andi und Wolfi besprechen Hosts, Spotify, Apple und weitere Plattformen sowie die Vielfalt und HeterogenitÀt von Metriken.
Wie wĂŒrdest du ... Open Podcasts ⊠bauen? Architektur- und Design-Diskussion, die zweite.
Monolith oder Microservices? Python oder Go? Wer trĂ€umt nachts eigentlich vom perfekten ETL-Stack? Als Softwareentwickler:in kennst du das: Daten aus zig Quellen, kapriziöse APIs, Security-Bedenken und der Wunsch nach einem skalierbaren, sauberen Architekturkonzept. Fragen ĂŒber Fragen und etliche mögliche Wege. Welcher ist âder Richtigeâ?
Genau dieses Szenario nehmen wir uns zur Brust: Wolfi hat mit âOpen Podcastâ ein reales Projekt gebaut, das Analytics-Daten aus Plattformen wie Spotify, Apple & Co. zusammenfĂŒhrt. Du willst wissen, wie du verteilte APIs knackst, Daten harmonisierst, Backups sicherst und deine Credentials nicht als Excel-Sheet auf den Desktop legst? Komm mit auf unseren Architektur-Deepdive! Andy wird Schritt fĂŒr Schritt interviewt und challenged, wie er als Engineer, von API-Strategie ĂŒber Message Queues bis Security und Skalierung, dieses Problem kreativ lösen wĂŒrde. Nebenbei erfĂ€hrst du alles Wichtige ĂŒber Open-Source-Vorteile, Datenbanken (PostgreSQL, Clickhouse), Backups, Monitoring und DevOps. Das Ganze immer garniert mit Learnings aus der echten Praxis.
Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners
Das schnelle Feedback zur Episode:
Anregungen, Gedanken, Themen und WĂŒnsche
Dein Feedback zĂ€hlt! Erreiche uns ĂŒber einen der folgenden KanĂ€le âŠ
- EngKiosk Community: https://engineeringkiosk.dev/join-discord
- LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
- Email: stehtisch@engineeringkiosk.dev
- Mastodon: https://podcasts.social/@engkiosk
- Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
- Instagram: https://www.instagram.com/engineeringkiosk/
UnterstĂŒtze den Engineering Kiosk
Wenn du uns etwas Gutes tun möchtest ⊠Kaffee schmeckt uns immer
- Buy us a coffee: https://engineeringkiosk.dev/kaffee
Links
- Engineering Kiosk Episode #154 Architektur-Diskussion: Design eines einfachen und robusten Preis-Scrapers: https://engineeringkiosk.dev/podcast/episode/154-architektur-diskussion-design-eines-einfachen-und-robusten-preis-scrapers/
- Open Podcast: https://openpodcast.dev/
- Open Podcast auf GitHub: https://github.com/openpodcast/
- Restic: https://restic.net/
- Percona XtraBackup: https://www.percona.com/mysql/software/percona-xtrabackup
Sprungmarken
(00:00:00) Wie wĂŒrdest du ... Open Podcasts bauen?
(00:03:35) Info/Werbung
(00:04:35) Wie wĂŒrdest du ... Open Podcasts bauen?
(00:14:25) Die Produkt-Fragen: Was muss berĂŒcksichtigt werden?
(00:25:16) Daten anfragen, vereinheitlichen und die Message Queue
(00:41:23) Security: Wie speicherst du Zugangsdaten? Wie machst du Backups?
(00:49:08) Monitoring und Continuous Integration (CI)/Continuous Delivery (CD)
(00:52:28) Wie wurde das Produkt gebaut?
Hosts
- Wolfgang Gassler (https://gassler.dev)
- Andy Grunwald (https://andygrunwald.com/)
Community
Diskutiere mit uns und vielen anderen Tech-Spezialistâ innen in unserer Engineering Kiosk Community unter https://engineeringkiosk.dev/join-discord


