Distillation : transférer la connaissance vers un petit modèle

Ce disciple de Yann LeCun est en passe de faire économiser plusieurs milliards à l’industrie de l’IA.

En résolvant un problème qui plombe tous les modèles.

Tout a commencé chez Twitter.

À l’époque, Bertrand fait de la recherche sur les modèles d’IA du réseau social américain.

Tout se passe bien, jusqu’à l’arrivée d’un certain…

Elon Musk.

Car quand il débarque, Musk regarde ce que vous “produisez”.

Il compte vos lignes de codes.

(oui oui 🙄)

Mais il regarde aussi ce que vous rapportez. 🤑

Et quand votre boulot, c’est d’entraîner des modèles d’IAs,

Pour plusieurs dizaines de milliers de dollars,

Sans garantie de résultat…

Autant vous dire que vous n’êtes pas vraiment “rentables”. 😫

Quelques jours plus tard, le verdict tombe.

⛔ ACCESS DENIED ⛔

Impossible de se connecter au réseau interne. 😨

Le voilà licencié.

Sans autre forme de procès.

Mais qu’importe !

Car avant de perdre ses accès, Bertrand a eu le temps de découvrir quelque chose.

Un problème qui affecte les IAs de Twitter.

Et qui s’est généralisé récemment à toute la discipline.

Un problème qui paralyse petit à petit les chercheurs du monde entier.

Et qui concentre le pouvoir de l’IA dans les boîtes les plus puissantes de l’industrie.

Aussi incroyable que cela puisse paraître, Yann LeCun avait déjà étudié ce problème il y a presque 40 ans.

Dans un papier au nom évocateur :

”Optimal Brain Damage” 🤔

Depuis, Bertrand est en mission.

Il ne s’arrêtera pas tant qu’il n’aura pas transformé l’industrie.

Petit à petit.

Modèle après modèle.

Ce problème fondamental, et les techniques qu’il utilise pour le résoudre,

Bertrand Charpentier n’en fait pas de secrets.

Comment rendre les IAs jusqu’à 100x plus efficaces,

Voilà le thème de ce nouvel épisode.

Bonne écoute 🎧

PS : dites-moi ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)

Notes de l'épisode :

• le tweet de Bertrand, repris par Yann LeCun : https://x.com/Bertrand_Charp/status/1788244161956630842/photo/1
• "Optimal Brain Damage", le papier de LeCun sur le pruning : https://proceedings.neurips.cc/paper_files/paper/1989/file/6c9882bbac1c7093bd25041881277658-Paper.pdf

---------------------------------

Retrouvez Bertrand sur Linkedin : https://www.linkedin.com/in/bertrand-charpentier-76995ab6/

--------------------------------

Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/

Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :

- Linkedin : https://www.linkedin.com/company/tronche-de-tech/

- Instagram : https://www.instagram.com/tronchedetech/

- TikTok : https://www.tiktok.com/@tronchedetech

- Twitter : https://twitter.com/TroncheDeTech

Et nous rejoindre sur le Discord : https://discord.gg/EET4MfwXKHr

Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.