Vida com IA #107- Model distillation.
Feb 27, 2025
Descubra a técnica de destilação de modelos, que transfere conhecimento de modelos maiores para versões mais compactas. O conceito é chamado também de teacher-student. Aprenda sobre as duas principais abordagens: a white box e a black box, cada uma com suas aplicações e vantagens. Exemplos práticos, como Distilbert e Tinybert, mostram como essa técnica pode ser utilizada na inteligência artificial. Uma abordagem fascinante para otimizar modelos e tornar a IA mais eficiente!
Chapters
Transcript
Episode notes