Warum neuronale Netze gut auf GPUs laufen

GPU-Programmierung: Andere Chips und eine andere Art zu programmieren

In der heutigen Zeit dreht sich fast alles in der IT um AI. Und damit auch oft um den sich positiv entwickelnden Aktienkurs von Nvidia. Warum Nvidia? Als Hersteller von Grafikkarten bzw. Grafikchips (kurz GPUs) profitieren sie deutlich von den hohen Nachfragen nach dieser Art von Chips. Das Ganze hat die Frage aufgeworfen: Inwieweit ist die Programmierung auf bzw. für eine GPU anders als bei einer klassischen CPU?

In dieser Episode behandeln wir dieses Thema: Paralleles Programmieren auf der GPU.

Wir bröseln das Buzzword-Bingo auf und schauen uns an, was der Unterschied zu verteiltem vs. parallelem Rechnen ist, was HPC und CUDA eigentlich ist, ob bzw. wie man auf Grafikkarten ohne Frameworks programmieren kann, welche algorithmischen Use Cases neben AI und Transformer-Modelle existieren, wie man einen Algorithmus für die GPU programmiert und was man alles vermeiden sollte, sprechen über Speicherzugriffsmuster und warum Matrizen-Multiplikationen so gut auf GPUs funktionieren aber auch was Performance-Portabilität bedeutet und ob es Probleme mit der Heterogenität von Grafikkarten und Chips gibt.

Und das alles mit Dr. Prof. Peter Thoman.

Bonus: Wie besucht man möglichst effizient alle Städte in Deutschland? Das Problem des Handlungsreisenden.

Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners

Das schnelle Feedback zur Episode:

👍 (top) 👎 (geht so)

Feedback

• EngKiosk Community: https://engineeringkiosk.dev/join-discord 
• Buy us a coffee: https://engineeringkiosk.dev/kaffee
• Email: stehtisch@engineeringkiosk.dev
• LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
• Mastodon: https://podcasts.social/@engkiosk
• Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
• Twitter: https://twitter.com/EngKiosk

Links

• Dr. Peter Thoman: https://dps.uibk.ac.at/~petert/
• PH3 GmbH: https://www.ph3.at 
• SimSYCL: https://github.com/celerity/SimSYCL 
• Celerity: https://celerity.github.io/
• CUDA: https://developer.nvidia.com/cuda-toolkit
• Was ist CUDA: https://www.bigdata-insider.de/was-ist-cuda-a-851005/
• OpenMP: https://www.openmp.org/
• OpenMPI: https://www.open-mpi.org/
• OpenGL: https://www.opengl.org/
• OpenCL: https://www.khronos.org/opencl/
• Engineering Kiosk Episode #180 Skalierung, aber zu welchem Preis? (Papers We Love): https://engineeringkiosk.dev/podcast/episode/180-skalierung-aber-zu-welchem-preis-papers-we-love/
• Nvidia Self-Paced Training: https://learn.nvidia.com/en-us/training/self-paced-courses
• SYCL Academy: https://github.com/codeplaysoftware/syclacademy

Sprungmarken

(00:00:00) Intro

(00:01:28) Paralleles Programmieren auf der GPU mit Peter Thoman

(00:07:26) Was ist was? Verteiltes vs. paralleles Rechnen, HPC, CUDA und mehr

(00:08:34) Info/Werbung

(00:09:34) Was ist was? Verteiltes vs. paralleles Rechnen, HPC, CUDA und mehr

(00:22:34) Wie hat die Berechnung auf der GPU begonnen?

(00:33:23) Use-Cases für die GPU

(00:45:58) Matrizenmultiplikation und Neuronale Netze auf der GPU

(00:55:11) Heterogenität der Grafikkarten und Chips

(01:00:10) Dein Einstieg in die GPU-Programmierung

Hosts

• Wolfgang Gassler (https://gassler.dev) 
• Andy Grunwald (https://andygrunwald.com/)

Feedback

• EngKiosk Community: https://engineeringkiosk.dev/join-discord 
• Buy us a coffee: https://engineeringkiosk.dev/kaffee
• Email: stehtisch@engineeringkiosk.dev
• LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
• Mastodon: https://podcasts.social/@engkiosk
• Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
• Twitter: https://twitter.com/EngKiosk