Vida com IA #132- História dos LLMs.
Oct 16, 2025
A história dos LLMs é fascinante! Tudo começou com o paper do Transformer em 2017, revolucionando o campo com sua técnica de atenção. A evolução dos modelos como BERT e GPT trouxe novas abordagens e aumentou a capacidade de processar dados. O impacto do ChatGPT foi massivo na popularização das interações com IA. 2024 prometerá avanços em multimodalidade, enquanto o raciocínio automático está se tornando o novo foco. O futuro parece promissor, com melhorias na geração de imagem e modelos rodando em dispositivos móveis.
AI Snips
Chapters
Transcript
Episode notes
Transformer Revolucionou Arquiteturas
- O paper Attention Is All You Need (2017) substituiu RNNs por atenção e criou o Transformer, base dos LLMs atuais.
- A arquitetura encoder-decoder foi proposta para tradução e abriu caminho para modelos modernos.
BERT Dominou Compreensão, XLM Abriu Multilinguismo
- Em 2018-2019 os modelos encoder-only como BERT dominaram tarefas de compreensão de texto, não geração.
- Modelos multilingues como XLM surgiram para reduzir custo de treinar modelos por idioma.
Decoder-Only Mostrou Poder Ao Gerar
- OpenAI explorou a arquitetura decoder-only (GPT) que gera texto autoregressivamente sem encoder.
- Escalar parâmetros e dados (GPT-2 até GPT-3) mostrou ganho de capacidade significativa.