Vida com IA #101- Como OpenAI o1 funciona? Explicando test time compute scalling.
Dec 19, 2024
Neste bate-papo, são exploradas maneiras intrigantes de otimizar modelos de inteligência artificial durante a inferência. A conversa destaca a escalabilidade e o papel crucial da temperatura na qualidade das respostas. Além disso, há uma conexão com um estudo da DeepMind que aprofunda essas técnicas. Um olhar fascinante sobre a evolução da IA e como ela pode ser ajustada para melhor desempenho!
AI Snips
Chapters
Transcript
Episode notes
Escalando a Computação no Teste
- Escalar a computação na inferência melhora os modelos.
- Abordagens incluem auto-refinamento e busca contra um verificador.
Métodos de Busca
- Existem três métodos principais para busca contra um verificador: Best of N, Beam Search e Diverse Verifier Tree Search.
- Cada um aumenta a complexidade e o poder computacional.
Beam Search e Look Ahead
- Beam Search evita a abordagem gulosa, permitindo olhar para frente (look ahead).
- Considera a probabilidade cumulativa para escolher o melhor caminho.