L'IA à la Vitesse de la Lumière : Groq Redéfinit le Futur avec Valentin Reis

Depuis un an, je suis bluffé chaque semaine par de nouvelles fonctionnalités ou de nouveaux outils IA. GPT4, Midjourney bien sûr, Heygen avec le doublage et la synchronisation labiale, Claude que je viens d’utiliser ce week-end en tant qu’avocat sur de la doc juridique, et aussi Magnific et les upscalers récemment.

Mais j’ai été scotché par Groq 🏎️ et sa démo de LLM ultra-rapide ⚡️. Essayez le et vous comprendrez que la vitesse d’inférence va changer la donne dans les prochains mois en rendant possibles plein de cas d’usage (par exemple dans les centres d’appel) comme si on passait du edge à la 5G !

Essayez Groq par vous-même en un clic... et vous comprendrez de quoi je parle. 💡https://chat.groq.com/

Pour ce 57ème épisode, j’ai reçu Valentin Reis, basé à Austin au Texas, chercheur en informatique chez Groq, licorne spécialisée dans l'accélération matérielle et logicielle pour l'intelligence artificielle.

Des performances bluffantes des modèles de langage sur Groq Chat, avec jusqu'à 300 tokens par seconde. Attendons de voir Groq sur Llama 3 et Mixtral ! 🔜

Nous parlons de l'architecture matérielle et logicielle de Groq, basée sur des puces appelées LPU (Language Processing Unit), créées par Jonathan Ross, un ancien ingénieur de Google.

Valentin nous présente l’économie unitaire de l’inférence par GPU qui est complètement prohibitive. Il y a une course vers le bas en matière de tarification des services d’API. Les chiffres sont totalement incompatibles !

Cette vitesse d’inférence permettra de nouvelles applications : traduction simultanée 🌍, jeux vidéo immersifs 🎮, centres d'appels 📞, etc...

Il va falloir prendre en compte l'efficacité énergétique 🔋 dans le développement de ces systèmes d'IA.

Il nous présente la possibilité d'une "ingénierie automatique" ou encore la compréhension du langage animal grâce aux performances accrues des LLM !!

🍿 Film recommandé : Once Within a Time, Godfrey Reggio

Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.