Génération Do It Yourself [EXTRAIT] Décryptage du fonctionnement d’un LLM en 5min - par Stanislas Polu, CEO de Dust
Oct 25, 2023
Stanislas Polu éclaire le fonctionnement des modèles de langage et leurs limites. Il souligne comment ces systèmes interpolent des réponses basées sur des exemples passés, tout en étant parfois désemparés face à des questions nouvelles. Le potentiel d'innovation automatique de ces modèles est également débattu, tout comme les défis liés à leur capacité à générer des problèmes originaux. Une réflexion fascinante sur l'avenir de l'intelligence artificielle!
AI Snips
Chapters
Transcript
Episode notes
Interpolation des modèles de langage
- Les modèles de langage sont principalement interpolatifs.
- Ils excellent à combiner des exemples connus pour répondre à des questions nouvelles, mais similaires.
Limites de l'extrapolation
- Face à des problèmes radicalement différents de leurs données d'entraînement, les modèles échouent.
- L'extrapolation vers des domaines inconnus reste un défi majeur.
Point de bascule hypothétique
- L'hôte propose que la capacité d'auto-vérification des modèles pourrait mener à un point de bascule.
- Avec une puissance de calcul suffisante, l'exploration de milliards de problèmes pourrait générer des solutions inédites.