Engineering Kiosk #153 Wie hoste ich ein Large Language Modell (LLM) mit Kubernetes in 5 Minuten mit Data Science Deep Dive
Dec 2, 2024
07:56
Wie hoste ich ein Large Language Modell in 5 Minuten mit Kubernetes mit Data Science Deep Dive.
Im Engineering Kiosk Adventskalender 2024 sprechen befreundete Podcaster⋅innen und wir selbst, Andy und Wolfi, jeden Tag kurz & knackig innerhalb von wenigen Minuten über ein interessantes Tech-Thema.
Unsere aktuellen Werbepartner findest du auf https://engineeringkiosk.dev/partners
Das schnelle Feedback zur Episode:
Links
- Data Science Deep Dive Podcast: https://inwt.podbean.com/
- In Numbers We Trust: https://www.inwt-statistics.de/
- Kubernetes: https://kubernetes.io/
- Hugging Face: https://huggingface.co/
- Databricks: https://www.databricks.com/de
- Tabby: https://github.com/TabbyML/tabby
- Gradio: https://www.gradio.app/
- Ollama: https://ollama.com/
- vLLM: https://github.com/vllm-project/vllm
- NVIDIA device plugin for Kubernetes: https://github.com/NVIDIA/k8s-device-plugin#quick-start
Sprungmarken
(00:00:00) Wie hoste ich ein Large Language Modell in 5 Minuten mit Kubernetes?
Hosts
- Wolfgang Gassler (https://mastodon.social/@woolf)
- Andy Grunwald (https://andygrunwald.com/)
Feedback
- EngKiosk Community: https://engineeringkiosk.dev/join-discord
- Buy us a coffee: https://engineeringkiosk.dev/kaffee
- Email: stehtisch@engineeringkiosk.dev
- LinkedIn: https://www.linkedin.com/company/engineering-kiosk/
- Mastodon: https://podcasts.social/@engkiosk
- Bluesky: https://bsky.app/profile/engineeringkiosk.bsky.social
- Twitter: https://twitter.com/EngKiosk