IA Sob Controle - Inteligência Artificial 126: Fine tuning vs. engenharia de prompt na adoção de LLMs para SACs, com Pedro Tabacof
11 snips
Mar 5, 2025 Pedro Tabacof, staff machine learning scientist na Intercom, compartilha sua expertise em inteligência artificial, destacando a transição de métodos tradicionais para técnicas avançadas no setor. Ele discute como empresas como iFood e Nubank estão adotando Modelos de Linguagem de Grande Escala para melhorar o atendimento ao cliente. Tabacof enfatiza a importância do equilíbrio entre teoria e prática no aprendizado de máquina e reflete sobre o futuro incerto da IA, ressaltando desafios e oportunidades nesse campo em constante evolução.
AI Snips
Chapters
Transcript
Episode notes
Bloqueio Inesperado
- Pedro Tabacof relembra como um executivo do iFood foi bloqueado por uma regra manual de detecção de fraude.
- Isso motivou a empresa a adotar modelos de machine learning, que se mostraram mais eficientes e lucrativos.
Prompt Engineering x Fine-tuning
- Na Intercom, Pedro trabalha com modelos preexistentes, focando em prompt engineering e avaliação.
- A avaliação é complexa, exigindo testes em produção e métricas de negócios em vez de validação cruzada.
Técnicas de Prompt Engineering
- Pedro recomenda usar Chain of Thought e Few-Shot Examples, mas com atenção aos custos e latência.
- Equilibre a qualidade da resposta com o tempo de processamento, especialmente em interações com usuários em tempo real.