🔥 "100 000 GPUs, ce n'est que le début !" - Julien Launay prédit l'avenir fou de l'IA

Oct 18, 2024

Julien Launay, co-fondateur d'Adaptive ML et ancien de Lighton et Hugging Face, nous plonge dans l'univers fascinant de l'IA générative. Il révèle comment il a participé à la création de Falcon, l'un des plus grands modèles de langage open source, insistant sur l'importance du post-training pour personnaliser les modèles d'IA. Les anecdotes captivantes, comme l'idée de Falcon née d'une pause cigarette à 40°C, illustrent les défis innovants du secteur. Julien prédit un avenir où tout contenu consommé sera personnalisé, soulignant l'évolution inéluctable de l'IA.

Ask episode

Chapters

Transcript

Episode notes

Intro

00:00 • 2min

L'émergence de l'IA générative

02:02 • 11min

De Lighton à Adaptive : L'Innovation Lumineuse

12:59 • 18min

Évolution des Modèles d'IA et Personnalisation

30:55 • 21min

Évaluation des performances de la technologie O-One

51:36 • 2min

L'Évolution des Modèles d'IA

53:08 • 13min

L'avenir de l'IA : entre promesses et incertitudes

01:06:09 • 8min

L'acceptation du progrès et la découverte d'intelligences différentes

01:14:00 • 4min

Nouvel épisode passionnant de Comptoir IA avec Julien Launay, co-fondateur d'Adaptive ML, pépite de la frenchtech 🇫🇷 ! 🚀 On approche du 100ème et je pense que c’est un des meilleurs épisodes !

Julien nous embarque dans un voyage captivant à travers l'évolution de l'IA générative et nous plonge dans les coulisses de la création de Falcon, l'un des plus grands modèles de langage open source, lors de son passage chez Lighton. Une aventure fascinante entre Paris et Abu Dhabi qui a posé les bases d'Adaptive ML. 🎥 Je pense qu'on pourrait faire un film sur son histoire !

💡 Anecdotes et insights passionnants partagés par Julien :

1️⃣ Le post-training des modèles de langage : il explique comment Adaptive permet aux entreprises d'adapter finement les LLM à leurs besoins spécifiques, améliorant significativement leurs performances.

🔥 Citation marquante : "On vit les derniers moments du contenu non personnalisé. Je pense que dans le futur, tout le contenu qu'on va consommer sera personnalisé.

2️⃣ Les débuts de Falcon : Julien raconte comment une simple pause cigarette à Abu Dhabi, par 40°C, a donné naissance à l'idée de Falcon. Avec son collègue Baptiste, ils ont réalisé qu'ils pouvaient reproduire l'approche de Chinchilla de DeepMind, donnant ainsi vie à l'un des plus grands modèles open source !

3️⃣ Le challenge du hardware exotique : Julien partage ses souvenirs des premiers réseaux de neurones qu'il a entraînés, débugant chaque patch à l'oscilloscope avec des lunettes laser.

4️⃣ La course aux GPUs : il révèle l'ampleur des investissements actuels dans l'IA, évoquant des data centers à 4 milliards de dollars avec 100 000 GPUs. Il souligne que ce n'est que le début, avec des projets futurs encore plus ambitieux.

🔥 Citation marquante : "Aujourd'hui, on sous-estime encore beaucoup l'échelle des changements que l'IA va causer. D'ici cinq à 10 ans, on en aura commencé à en réaliser plus l'impact que ça va avoir."

Nous évoquons aussi avec beaucoup d’admiration l’excellent essai de Dario Amodei, Machines of Loving Grace à mettre entre toutes les mains pour une vision positive de l’IA.

📚 Livre recommandé : "Blindsight" de Peter Watts, un roman de science-fiction sur le contact avec une intelligence extraterrestre radicalement différente.

Merci à Anais pour avoir rendu cela possible ! Et mention spéciale à Baptiste, CTO d’Adaptive ainsi qu’à Pierre et aussi Nicolas de Motier Ventures.

Merci à notre partenaire l'Allianz Accelerator

Merci de penser à mettre 5⭐️⭐️⭐️⭐️⭐️ au podcast pour me soutenir !!

Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.