Engineering Kiosk #180 Skalierung, aber zu welchem Preis? (Papers We Love)
Skalierung und verteilte Berechnungen: Sind mehr CPUs wirklich immer schneller?
Stell dir vor, du bist Softwareentwickler*in und jeder spricht von Skalierung und verteilten Systemen. Doch wie effizient sind diese eigentlich wirklich? Heißt mehr Rechenpower gleich schnellere Ergebnisse?
In dieser Episode werfen wir einen Blick auf ein wissenschaftliches Paper, das behauptet, die wahre Leistung von verteilten Systemen kritisch zu hinterfragen. Wir diskutieren, ab wann es sich lohnt, mehr Ressourcen einzusetzen, und was es mit der mysteriösen Metrik COST (ausgesprochen Configuration that Outperforms a Single Thread) auf sich hat. Hör rein, wenn du wissen willst, ob Single-Threaded Algorithmen in vielen Fällen die bessere Wahl sind.
Bonus: Ggf. machen nicht alle Wissenschaftler so wissenschaftliche Arbeit.
Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners
Das schnelle Feedback zur Episode:
Feedback
- EngKiosk Community: https://engineeringkiosk.dev/join-discord
- Buy us a coffee: https://engineeringkiosk.dev/kaffee
- Email: stehtisch@engineeringkiosk.dev
- LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
- Mastodon: https://podcasts.social/@engkiosk
- Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
- Twitter: https://twitter.com/EngKiosk
Links
- Papers We Love: https://paperswelove.org/
- Papers We Love GitHub Repository: https://github.com/papers-we-love/papers-we-love
- Paper “Scalability! But at what COST?”: https://www.usenix.org/system/files/conference/hotos15/hotos15-paper-mcsherry.pdf
- Blogpost “Scalability! But at what COST?”: https://www.frankmcsherry.org/graph/scalability/cost/2015/01/15/COST.html
- Slides “Scalability! But at what COST?”: https://www.usenix.org/sites/default/files/conference/protected-files/hotos15_slides_mcsherry.pdf
- HackerNews Threas #1 zu “Scalability, but at what cost? (2015)”: https://news.ycombinator.com/item?id=11855594
- HackerNews Threas #2 zu “Scalability, but at what cost? (2015)”: https://news.ycombinator.com/item?id=26925449
- Paper “GraphX: Graph Processing in a Distributed Dataflow Framework”: https://www.usenix.org/system/files/conference/osdi14/osdi14-paper-gonzalez.pdf
- GraphChi: https://www.usenix.org/conference/osdi12/technical-sessions/presentation/kyrola
- Stratosphere (nun Apache Flink): http://stratosphere.eu/
- X-Stream: https://sigops.org/s/conferences/sosp/2013/papers/p472-roy.pdf
- Apache Spark: https://spark.apache.org/
- Apache Giraph: https://giraph.apache.org/
- GraphLab: https://github.com/lqvito/graphlab?tab=readme-ov-file
- Dilbert Comics: https://dilbert.com/
- Single Thread Implementierung in Rust: https://github.com/frankmcsherry/COST
- Single Thread Implementierung in C++: https://github.com/MicrosoftResearch/NaiadSamples/tree/master/COST
- Command-line Tools can be 235x Faster than your Hadoop Cluster: https://adamdrake.com/command-line-tools-can-be-235x-faster-than-your-hadoop-cluster.html
- “Naiad” von Microsoft Research: https://www.microsoft.com/en-us/research/project/naiad/
- OpenMP: https://www.openmp.org/
- OpenMPI: https://www.open-mpi.org/
- HotOS 15 Workshop: https://www.usenix.org/conference/hotos15
Sprungmarken
(00:00:00) Papers We Love: Scalability! But at what COST?
(00:03:11) Was bedeutet Skalierung?
(00:05:32) Info/Werbung
(00:06:32) Was bedeutet Skalierung?
(00:16:20) PageRank- und Label Propagation-Algorithmus
(00:24:10) Optimierung der Daten und verwendeten Algorithmen für spezifische Probleme
(00:29:17) COST: Configuration that Outperforms a Single Threat
(00:31:58) Learnings aus dem Paper
(00:37:50) Wissenschaftlicher Anspruch und Einschätzung des Papers
(00:52:34) Was können wir für die Praxis aus dem Paper lernen?
Hosts
- Wolfgang Gassler (https://gassler.dev)
- Andy Grunwald (https://andygrunwald.com/)
Feedback
- EngKiosk Community: https://engineeringkiosk.dev/join-discord
- Buy us a coffee: https://engineeringkiosk.dev/kaffee
- Email: stehtisch@engineeringkiosk.dev
- LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
- Mastodon: https://podcasts.social/@engkiosk
- Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
- Twitter: https://twitter.com/EngKiosk