IA Sob Controle - Inteligência Artificial 172: Zachary Mueller, líder técnico de Accelerate no Hugging Face
17 snips
Aug 13, 2025 Zachary Mueller, líder técnico da Accelerate no Hugging Face, traz uma perspectiva fascinante sobre a evolução da IA generativa. Ele compartilha sua trajetória de biologia marinha à programação, e como essa jornada influenciou sua visão sobre acessibilidade no código. A conversa se aprofunda em inovações na GPT e desafios do treinamento distribuído, incluindo o suporte a GPUs e TPUs. Além disso, Mueller discute a estruturalização de cursos de IA e a importância da educação acessível, promovendo o aprendizado contínuo na tecnologia.
AI Snips
Chapters
Books
Transcript
Episode notes
Entrando Na Hugging Face Antes Do Boom
- Zach conta que entrou na Hugging Face antes do boom e viveu um ambiente de startup pequeno e focado.
- Ele aprendeu treinamento distribuído antes do Accelerate virar infraestrutura central da empresa.
Abstração Que Mantém Controle
- Accelerate simplifica o código de treinamento distribuído mantendo controle do desenvolvedor.
- Ele permite trocar backend (DeepSpeed, FSDP) com poucas mudanças no código PyTorch.
Três Pilares Do Treinamento Distribuído
- Treinamento distribuído usa técnicas como paralelismo de tensor, FSDP/Zero e pipeline para escalar modelos.
- A escolha depende se as camadas ou o modelo inteiro não cabem em uma GPU só.
