#338.src - Evaluation de GenAI: Pourquoi l'évaluation de l'IA n'a rien d'automatique avec Louis Pinsard

"La solution à tout, pour moi, c'est une complémentarité de technologie. Mais pour ça, il faut comprendre les limites de chacune."

Le D.E.V. de la semaine est Louis Pinsard, cofondateur et CTO chez Dialog. On plonge dans les coulisses de l'évaluation des modèles d'intelligence artificielle générative appliqués au e-commerce. Louis partage comment son équipe adapte tests A/B, datasets et observabilité pour améliorer les performances des assistants IA. Ils abordent la difficulté des tests unitaires face au non-déterminisme des LLM et la nécessité de nouvelles pratiques, notamment contre les hallucinations. Un échange pragmatique sur l'humain derrière la tech et l'importance de garder un esprit critique face à la hype GenAI.

Chapitrages

00:01:00 : Introduction à l'IA Générative

00:01:30 : Présentation de Louis

00:01:53 : Être AI First

00:05:10 : Évaluation des Modèles

00:09:09 : Outils d'Observabilité

00:09:53 : Tests Unitaires en IA

00:12:28 : Agents et Workflow

00:17:55 : Évaluation des Réponses

00:18:29 : Évaluation et Labellisation

00:23:08 : Démarche de Recherche

00:26:09 : L'Importance des ML Engineers

00:28:45 : Conversion vs Qualité

00:34:54 : Gestion des Hallucinations

00:39:00 : Normes de Qualité

00:43:34 : Humanisation des Réponses

00:47:02 : Recommandations et Conclusion

Liens évoqués pendant l'émission

Thomas Walter : Comment j'ai codé 2 mois de features en 3 semaines

**Restez compliant !**

Cet épisode est soutenu par Vanta, la plateforme de Trust Management qui aide les entreprises à automatiser leur sécurité et leur conformité. Avec Vanta, se mettre en conformité avec des standards comme SOC 2, ISO 27001 ou HIPAA devient plus rapide, plus simple, et surtout durable. Plus de 10 000 entreprises dans le monde utilisent déjà Vanta pour transformer leurs obligations de sécurité en véritable moteur de croissance. 👉 Découvrez-en plus et réservez votre démo gratuite sur vanta.com/IFTTD

🎙️ Soutenez le podcast If This Then Dev ! 🎙️ Chaque contribution aide à maintenir et améliorer nos épisodes. Cliquez ici pour nous soutenir sur Tipeee 🙏

Archives | Site | Boutique | TikTok | Discord | Twitter | LinkedIn | Instagram | Youtube | Twitch | Job Board |

Hébergé par Audiomeans. Visitez audiomeans.fr/politique-de-confidentialite pour plus d'informations.