Thomas Scialom, Led Llama2 and now Llama3, discusses pre-training with synthetic data, scaling laws, RLHF vs instruction tuning, and the use of pure synthetic data. Llama3 was trained on 15T tokens, leveraging Llama2 as a classifier for pre-training data mix. Exploring the significance of synthetic data generation models and challenges in optimizing AI models with human feedback in reinforcement learning.

Dans ce dialogue captivant, Thomas Sialom, expert en IA chez Meta, Paul Vielle, ingénieur réseau spécialisé en reverse engineering, et Jérôme Meyer, chercheur chez Nokia Deepfield, plongent dans le monde fascinant des attaques DDoS. Ils explorent l'évolution inquiétante de ces menaces, les motivations derrière les cybercriminels, ainsi que l'impact croissant des objets connectés. Les discussions mettent également en lumière le rôle des analyses de trafic pour contrer ces attaques et l'importance d'une meilleure sécurité réseau dans un paysage technologique en constante évolution.

Thomas Scialom, Senior Staff Research Scientist at Meta AI, discusses the release of Llama 3.1, the challenges in training LLMs, open vs closed-source models, the GenAI landscape, scalability of AI models, current research, and future trends in AI.