Tronche de Tech #58 - Marina Vinyes - Elle a recodé ChatGPT
Elle a quitté un job de rêve pour coder son propre LLM.
Parce que même les meilleurs ingénieurs IA sont en train d’être dépassés.
Et pour cause.
Aucun domaine n’avance plus vite que l’IA générative.
Chaque semaine, un nouveau modèle.
Un qui code.
Un qui traduit vos vidéos.
Un qui les génère…
Et un…
Qui s’appelle ”Banana” 🍌
Pendant que les utilisateurs ne savent plus où donner de la tête, les scientifiques eux se noient dans les publications…
Et les ingénieurs dans le code 😅
Personne n’arrive à suivre le rythme.
Absolument personne.
Marina peut vous le confirmer.
Après une thèse en IA, elle va passer 7 ans à faire du Machine Learning chez Criteo.
Et chez Criteo, l’IA, c’est pas pour faire joli.
C’est même une des pierres angulaires du produit
Alors dès que les IA génératives pointent le bout de leur nez, Marina est déjà sur le coup.
Au coeur de l’innovation.
Au top du domaine.
Et pourtant, même pour elle, le malaise est palpable.
L’impression que tout va trop vite.
Qu’elle n’a plus le temps de maitriser.
Et que son propre domaine est en train de la dépasser.
Alors elle prend une décision drastique :
Tout plaquer.
Mais pas pour faire le tour du monde.
Non.
Pour créer elle-même, son propre LLM.
Le coder.
Et l’entrainer, grâce aux 2 GPUs qu’elle vient d’acheter.
Son objectif n’est pas d’aller concurrencer OpenAI ou Anthropic. ❌
Mais juste, de continuer à maitriser ses outils.
Plutôt que d’en devenir dépendant.
Je suis parti à la rencontre de Marina Vinyes pour qu’elle me raconte tout ce qu’elle a tiré de cette expérience passionnante...
Grâce à laquelle elle a pu contribuer au Project Numina,
Une IA open-source qui après avoir remporté une olympiade de Maths,
s’est mise en tête de rivaliser avec les modèles des GAFAM 🚀
Un nouvel épisode qui risque (encore) de vous apprendre 2-3 trucs.
(si c’est pas le cas, dites le moi en commentaire, je vous rembourse 😅)
Bonne écoute 🎧
PS : dites-moi ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)
Notes de l'épisode :
- le site de Andrej Karpathy : https://karpathy.ai/
- nanoGPT, l'implémentation simple d'un LLM : https://github.com/karpathy/nanoGPT
- le Hugging face du projet Numina : https://huggingface.co/AI-MO
- le site Unsloth AI : https://unsloth.ai/
---------------------------------
Retrouvez Marine sur :
- Linkedin : https://www.linkedin.com/in/marina-vinyes-ph-d-02257998
- son site : https://vinyesm.github.io/
Et voici le repo GH avec le code de son LLM : https://github.com/vinyesm/nanoGPT-for-image
--------------------------------
Je suis Mathieu Sanchez, et vous pouvez me suivre ici : https://www.linkedin.com/in/matsanchez/
Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :
- Linkedin : https://www.linkedin.com/company/tronche-de-tech/
- Instagram : https://www.instagram.com/tronchedetech/
Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.