Kontinuierliches Lernen mit Hilfe von Experimenten und A/B-Testing

In vielen Diskussion geht es darum, welche Lösung die bessere ist und einen größeren Impact hat. Viele Entscheidungen werden aus dem Bauch heraus getroffen, obwohl gesagt wird, dass wir datengetrieben arbeiten. Doch Daten und Ergebnisse sind oft nicht vorhanden. Experimente mit A/B-Tests sind für solche Situationen das Mittel der Wahl.

Hypothese aufstellen. Experiment umsetzen und durchführen. Ergebnis evaluieren. Und das ganze wiederholen. Klingt einfach.Experimentelles Mindset: Check. Doch wie macht man sowas denn im Detail? Auf welche und wie viele Metriken schaut man während eines Experiments? Wie lange darf es dauern? Kann ich das ganze auch mit wenig Kunden und Traffic umsetzen? Was sind die typischen Fehler beim A/B-Testing? Was ist ein p-Wert, eine statistische Signifikanz, eine Power-Analyse, ein A/A-Test, der Priming-Effekt?

Das und noch viel mehr in dieser Episode mit unserem Gast Dr. Philipp Monreal.

Bonus: Ob A/B-Testing mit Podcast-Episoden-Titeln für normale Podcast-Hosts möglich ist.

Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners

Das schnelle Feedback zur Episode:

👍 (top) 👎 (geht so)

Feedback (gerne auch als Voice Message)

EngKiosk Community: https://engineeringkiosk.dev/join-discord
Email: stehtisch@engineeringkiosk.dev
Mastodon: https://podcasts.social/@engkiosk
Twitter: https://twitter.com/EngKiosk
WhatsApp +49 15678 136776

Gerne behandeln wir auch euer Audio Feedback in einer der nächsten Episoden, einfach Audiodatei per Email oder WhatsApp Voice Message an +49 15678 136776

Links

Dr. Philipp Monreal: https://www.linkedin.com/in/dr-philipp-monreal-095a2648/
Sample Size Calculator: https://www.evanmiller.org/ab-testing/sample-size.html
Buch “Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing” von Ron Kohavi: https://www.amazon.de/Trustworthy-Online-Controlled-Experiments-Practical/dp/1108724264
Andrew Gelman blog: https://statmodeling.stat.columbia.edu/
“A day in the life of Oscar the cat”: https://core.ac.uk/download/pdf/31059034.pdf
Buch “Thinking, Fast and Slow” von Daniel Kahneman: https://www.amazon.de/Thinking-Fast-Slow-Daniel-Kahneman/dp/0141033576
How Not To Run an A/B Test: https://www.evanmiller.org/how-not-to-run-an-ab-test.html

Sprungmarken

(00:00:00) Intro

(00:01:01) Unser Gast: Philipp Monreal

(00:03:06) Experimenten in der Softwareentwicklung und das experimentelle Mindset

(00:07:46) Hypothesengetriebene Entwickeln und die Implementierung einer Lernkultur

(00:14:29) Metriken für Experimente und die Verteilung von Test- und Kontrollgruppen

(00:26:45) Statistisches Rauschen, der p-Wert, die Nullhypothese und statistische Signifikanz

(00:35:30) "Extraordinary claims, require extraordinary evidence" und "Any figure that looks interesting or different is usually wrong"

(00:41:49) Günstiges Testen im Tech-Bereich

(00:45:31) Mehrere Tests gleichzeitig durchführen

(00:49:57) Storytelling als Ergebnis-Präsentation und Kontrolle der Daten

(00:58:00) Vorbereitung und Nachbereitung von Experimenten

(01:01:44) Lernen als wichtiger Faktor in der Organisation Vermeidung von "Hippos"

(01:06:31) Podcast-Titel-Tests mit A/B-Testing

Hosts

Wolfgang Gassler (https://mastodon.social/@woolf)
Andy Grunwald (https://twitter.com/andygrunwald)

Feedback (gerne auch als Voice Message)

EngKiosk Community: https://engineeringkiosk.dev/join-discord
Email: stehtisch@engineeringkiosk.dev
Mastodon: https://podcasts.social/@engkiosk
Twitter: https://twitter.com/EngKiosk
WhatsApp +49 15678 136776

'Harry Potter' Actor DISSES JK Rowling, Sophie Rain Talks About Faith, Gentle Parenting Ls