Technologie: Delta, S3 und Push-Pull-Pattern

Data as a Product: Was steckt dahinter?

Warum ist AI überall, aber der Weg von der Datenbank zu "Wow, das Modell kann das" wirkt oft wie ein schwarzes Loch? Du loggst brav Events, die Daten landen in irgendwelchen Silos, und trotzdem bleibt die entscheidende Frage offen: Wer sorgt eigentlich dafür, dass aus Rohdaten ein zuverlässiges, verkaufbares Datenprodukt wird.

In dieser Episode machen wir genau dort das Licht an. Gemeinsam mit Mario Müller, Director of Data Engineering bei Veeva Systems, schauen wir uns an, was Datenteams wirklich sind, wie "Data as a Product" in der Praxis funktioniert und warum Data Engineering mehr ist als nur ein paar CSVs über FTP zu schubsen. Wir sprechen über Teamstrukturen von der One-Man-Show bis zur cross-functional Squad, über Ownership auf den Daten, Data Governance und darüber, wie du Datenqualität wirklich misst, inklusive Monitoring, Alerts, SQL-Regeln und menschlicher Quality Control.

Dazu gibt es eine ordentliche Portion Tech: Spark, AWS S3 als primärer Speicher, Delta Lake, Athena, Glue, Airflow, Push-Pull statt Event-Overkill und die Entscheidung für Batch Processing, obwohl alle Welt nach Streaming ruft.

Und natürlich klären wir auch, was passiert, wenn KI an den Daten rumfummelt: Wo AI beim Bootstrapping hilft, warum Production und Scale tricky werden und wieso Verantwortlichkeit beim Commit nicht von einem LLM übernommen wird.

Wenn du Datenteams aufbauen willst, Data Products liefern musst oder einfach verstehen willst, wie aus Daten verlässlicher Business-Impact wird, bist du hier genau richtig.

Bonus: Batchjobs bekommen heute mal ein kleines Comeback.

Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners

Das schnelle Feedback zur Episode:

👍 (top) 👎 (geht so)

Anregungen, Gedanken, Themen und Wünsche

Dein Feedback zählt! Erreiche uns über einen der folgenden Kanäle …

• EngKiosk Community: https://engineeringkiosk.dev/join-discord 
• LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
• Email: stehtisch@engineeringkiosk.dev
• Mastodon: https://podcasts.social/@engkiosk
• Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
• Instagram: https://www.instagram.com/engineeringkiosk/

Unterstütze den Engineering Kiosk

Wenn du uns etwas Gutes tun möchtest … Kaffee schmeckt uns immer 

• Buy us a coffee: https://engineeringkiosk.dev/kaffee

Links

• Mario Müller auf LinkedIn: https://www.linkedin.com/in/mariomueller/
• The Second Line Perspective: https://www.thesecondlineperspective.blog/
• Apache Spark: https://spark.apache.org/
• AWS EMR: https://aws.amazon.com/de/emr/
• Apache Iceberg: https://iceberg.apache.org/
• Apache Parquet: https://parquet.apache.org/
• Presto DB: https://prestodb.io/
• Delta Format: https://delta.io/
• Change Data Capture: https://en.wikipedia.org/wiki/Change_data_capture
• ClinicalTrials.gov: https://clinicaltrials.gov/
• Airbyte: https://airbyte.com/
• Selenium: https://www.selenium.dev/
• Apache Airflow: https://airflow.apache.org/

Sprungmarken

(00:00:00) Data as a Product und Strukturierung von Daten-Teams mit Mario Müller

(00:04:35) Was sind "Daten-Teams" und der Unterschied zu klassischen Analytics Teams?

(00:05:54) Info/Werbung

(00:06:54) Was sind "Daten-Teams" und der Unterschied zu klassischen Analytics Teams?

(00:19:39) Data as a Product: Eine klassische Data-Pipeline

(00:25:08) Batch- vs. Stream-Processing und Abhängigkeiten zwischen Teams

(00:40:52) Sourcing von Daten

(00:44:13) Data Quality Monitoring

(00:48:24) Strukturierung von Daten-Teams: One-Man-Show bis 50 Personen

(01:05:37) AI als neue Daten-Quelle oder Daten-Mitarbeiter

(01:13:30) Tipps um Daten-Teams aufzubauen

Hosts

• Wolfgang Gassler (https://gassler.dev) 
• Andy Grunwald (https://andygrunwald.com/)

Community

Diskutiere mit uns und vielen anderen Tech-Spezialist⋅innen in unserer Engineering Kiosk Community unter https://engineeringkiosk.dev/join-discord