Engineering Kiosk #97 Metriken, Hypothesen und Fehler: A/B-Testing in der Praxis mit Philipp Monreal
Kontinuierliches Lernen mit Hilfe von Experimenten und A/B-Testing
In vielen Diskussion geht es darum, welche Lösung die bessere ist und einen größeren Impact hat. Viele Entscheidungen werden aus dem Bauch heraus getroffen, obwohl gesagt wird, dass wir datengetrieben arbeiten. Doch Daten und Ergebnisse sind oft nicht vorhanden. Experimente mit A/B-Tests sind für solche Situationen das Mittel der Wahl.
Hypothese aufstellen. Experiment umsetzen und durchführen. Ergebnis evaluieren. Und das ganze wiederholen. Klingt einfach.Experimentelles Mindset: Check. Doch wie macht man sowas denn im Detail? Auf welche und wie viele Metriken schaut man während eines Experiments? Wie lange darf es dauern? Kann ich das ganze auch mit wenig Kunden und Traffic umsetzen? Was sind die typischen Fehler beim A/B-Testing? Was ist ein p-Wert, eine statistische Signifikanz, eine Power-Analyse, ein A/A-Test, der Priming-Effekt?
Das und noch viel mehr in dieser Episode mit unserem Gast Dr. Philipp Monreal.
Bonus: Ob A/B-Testing mit Podcast-Episoden-Titeln für normale Podcast-Hosts möglich ist.
Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners
Das schnelle Feedback zur Episode:
Feedback (gerne auch als Voice Message)
- EngKiosk Community: https://engineeringkiosk.dev/join-discord
- Email: stehtisch@engineeringkiosk.dev
- Mastodon: https://podcasts.social/@engkiosk
- Twitter: https://twitter.com/EngKiosk
- WhatsApp +49 15678 136776
Gerne behandeln wir auch euer Audio Feedback in einer der nächsten Episoden, einfach Audiodatei per Email oder WhatsApp Voice Message an +49 15678 136776
Links
- Dr. Philipp Monreal: https://www.linkedin.com/in/dr-philipp-monreal-095a2648/
- Sample Size Calculator: https://www.evanmiller.org/ab-testing/sample-size.html
- Buch “Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing” von Ron Kohavi: https://www.amazon.de/Trustworthy-Online-Controlled-Experiments-Practical/dp/1108724264
- Andrew Gelman blog: https://statmodeling.stat.columbia.edu/
- “A day in the life of Oscar the cat”: https://core.ac.uk/download/pdf/31059034.pdf
- Buch “Thinking, Fast and Slow” von Daniel Kahneman: https://www.amazon.de/Thinking-Fast-Slow-Daniel-Kahneman/dp/0141033576
- How Not To Run an A/B Test: https://www.evanmiller.org/how-not-to-run-an-ab-test.html
Sprungmarken
(00:00:00) Intro
(00:01:01) Unser Gast: Philipp Monreal
(00:03:06) Experimenten in der Softwareentwicklung und das experimentelle Mindset
(00:07:46) Hypothesengetriebene Entwickeln und die Implementierung einer Lernkultur
(00:14:29) Metriken für Experimente und die Verteilung von Test- und Kontrollgruppen
(00:26:45) Statistisches Rauschen, der p-Wert, die Nullhypothese und statistische Signifikanz
(00:35:30) "Extraordinary claims, require extraordinary evidence" und "Any figure that looks interesting or different is usually wrong"
(00:41:49) Günstiges Testen im Tech-Bereich
(00:45:31) Mehrere Tests gleichzeitig durchführen
(00:49:57) Storytelling als Ergebnis-Präsentation und Kontrolle der Daten
(00:58:00) Vorbereitung und Nachbereitung von Experimenten
(01:01:44) Lernen als wichtiger Faktor in der Organisation Vermeidung von "Hippos"
(01:06:31) Podcast-Titel-Tests mit A/B-Testing
Hosts
- Wolfgang Gassler (https://mastodon.social/@woolf)
- Andy Grunwald (https://twitter.com/andygrunwald)
Feedback (gerne auch als Voice Message)
- EngKiosk Community: https://engineeringkiosk.dev/join-discord
- Email: stehtisch@engineeringkiosk.dev
- Mastodon: https://podcasts.social/@engkiosk
- Twitter: https://twitter.com/EngKiosk
- WhatsApp +49 15678 136776