Nouvel épisode passionnant de Comptoir IA avec Julien Launay, co-fondateur d'Adaptive ML, pépite de la frenchtech 🇫🇷 ! 🚀 On approche du 100ème et je pense que c’est un des meilleurs épisodes !
Julien nous embarque dans un voyage captivant à travers l'évolution de l'IA générative et nous plonge dans les coulisses de la création de Falcon, l'un des plus grands modèles de langage open source, lors de son passage chez Lighton. Une aventure fascinante entre Paris et Abu Dhabi qui a posé les bases d'Adaptive ML. 🎥 Je pense qu'on pourrait faire un film sur son histoire !
💡 Anecdotes et insights passionnants partagés par Julien :
1️⃣ Le post-training des modèles de langage : il explique comment Adaptive permet aux entreprises d'adapter finement les LLM à leurs besoins spécifiques, améliorant significativement leurs performances.
🔥 Citation marquante : "On vit les derniers moments du contenu non personnalisé. Je pense que dans le futur, tout le contenu qu'on va consommer sera personnalisé.
2️⃣ Les débuts de Falcon : Julien raconte comment une simple pause cigarette à Abu Dhabi, par 40°C, a donné naissance à l'idée de Falcon. Avec son collègue Baptiste, ils ont réalisé qu'ils pouvaient reproduire l'approche de Chinchilla de DeepMind, donnant ainsi vie à l'un des plus grands modèles open source !
3️⃣ Le challenge du hardware exotique : Julien partage ses souvenirs des premiers réseaux de neurones qu'il a entraînés, débugant chaque patch à l'oscilloscope avec des lunettes laser.
4️⃣ La course aux GPUs : il révèle l'ampleur des investissements actuels dans l'IA, évoquant des data centers à 4 milliards de dollars avec 100 000 GPUs. Il souligne que ce n'est que le début, avec des projets futurs encore plus ambitieux.
🔥 Citation marquante : "Aujourd'hui, on sous-estime encore beaucoup l'échelle des changements que l'IA va causer. D'ici cinq à 10 ans, on en aura commencé à en réaliser plus l'impact que ça va avoir."
Nous évoquons aussi avec beaucoup d’admiration l’excellent essai de Dario Amodei, Machines of Loving Grace à mettre entre toutes les mains pour une vision positive de l’IA.
📚 Livre recommandé : "Blindsight" de Peter Watts, un roman de science-fiction sur le contact avec une intelligence extraterrestre radicalement différente.
Merci à Anais pour avoir rendu cela possible ! Et mention spéciale à Baptiste, CTO d’Adaptive ainsi qu’à Pierre et aussi Nicolas de Motier Ventures.
Merci à notre partenaire l'Allianz Accelerator
Merci de penser à mettre 5⭐️⭐️⭐️⭐️⭐️ au podcast pour me soutenir !!
Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.
Comptoir IA 🎙️🧠🤖