🦙 Llama 3.1 405B : Thomas Scialom dévoile l'avenir de l'IA open source chez Meta

🦙 Découvrez le nouvel épisode de Comptoir IA avec Thomas Scialom, PhD, Senior Staff Research Scientist chez Meta, pour parler du nouveau modèle Llama 3.1 405B !

C’est la 3️⃣ème participation de Thomas au podcast, ce qui est un indicateur de l’activité de Meta dans l’IA générative ! Le nouveau modèle a été très bien accueilli, avec un positionnement open source affirmé, marquant un stade de maturité pour l'IA générative chez Meta avec une lettre de Mark Zuckerberg, Open Source AI Is the Path Forward.

Thomas Scialom nous présente le tout nouveau modèle Llama 3.1 de Meta, sorti la semaine dernière :

🔹Un modèle de 405 milliards de paramètres, entraîné sur 15 trillions de tokens, au-dessus de GPT-4, pas loin de GPT-4o. Voir le benchmark de Maxime Labonne !

🔹Une fenêtre de contexte étendue à 128 000 tokens

🔹Des performances exceptionnelles sur de nombreuses tâches (code, raisonnement, etc.)

🔹Une licence open source encore plus permissive

Thomas explique les principales avancées par rapport à Llama 2 : "On a scalé tout ça, en termes de pre-training, le nombre de tokens, la qualité des données, et en post-training avec beaucoup plus d'annotations et de domaines couverts."

Il nous partage sa vision captivante sur le futur des agents IA : "Lorsque le modèle pourra interagir avec le web, exécuter du code de manière autonome, nous sortirons d'un système fermé. Le modèle pourra s'enrichir continuellement, marquant une nouvelle ère dans l'intelligence artificielle, un autre niveau d’intelligence."

La course à l'IA s'intensifie avec l'annonce d'Elon Musk concernant l'entraînement d'un nouveau modèle massif utilisant 100 000 GPU en seulement 19 jours. Et de l’autre côté, OpenAI va certainement lever des fonds à nouveau car l’entraînement des prochaines générations de modèles est très coûteux mais l’AGI vaut bien cela.

🌐 Fait marquant : Mark Zuckerberg a annoncé que l'assistant Meta AI pourrait devenir le plus utilisé au monde d'ici la fin de l'année, avec un potentiel de 3,2 milliards d'utilisateurs. Espérons que nous y aurons accès rapidement en France et en Europe !

Merci à notre partenaire l'Allianz Accelerator.

Merci de penser à mettre 5 ⭐⭐⭐⭐⭐ au podcast pour me soutenir !!

Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.