Vulnérabilité aux injections de prompt

Bonjour et bienvenue dans le podcast de l'IA par l’IA qui vous permet de rester à la page !Aujourd’hui : lire 10 millions de jetons d’un coup, la personnalisation Gemini dans la recherche, données d’entraînement et mémoire des modèles, injections de prompt, Wikipédia et la dissimulation de textes générés, l’IA qui code selon Ryan Dahl, et un rappel pratique sur JavaScript et x.com.On commence au MIT CSAIL, où un « modèle récursif » (RLM) a analysé des documents de 6 à 11 millions de jetons. Plutôt que de charger tout le texte, il le garde hors mémoire et n’envoie au modèle que les fragments nécessaires. Sur le benchmark BrowseComp-Plus dédié à la récupération de passages précis, un RLM basé sur GPT-5 a extrait correctement 91 % des réponses attendues. Concrètement, le « modèle racine » planifie et écrit du code pour interroger le texte externe, puis un « modèle travailleur » analyse chaque extrait, avant intégration des résultats. Le système commence par lire des indications globales (nombre de sections, de caractères), génère du code pour localiser les passages clés et traite les morceaux pas à pas, sans réentraînement. Il peut aussi se combiner avec le RAG pour retrouver vite des passages, et son code est disponible sur GitHub.Transition avec Google et sa « Intelligence Personnelle » dans le Mode IA de la recherche. Réservée pour l’instant aux abonnés AI Pro et AI Ultra, comptes personnels, aux États-Unis, et entièrement optionnelle. Les utilisateurs peuvent relier Gmail et/ou Google Photos, et la fonctionnalité s’appuie aussi sur YouTube et l’historique de recherche. Exemple donné : croiser une réservation d’hôtel dans Gmail et des souvenirs de voyage dans Photos pour proposer un itinéraire, avec des recommandations adaptées, jusque dans le détail d’un salon de crème glacée si vos photos en regorgent. Google précise ne pas entraîner directement le modèle sur votre boîte Gmail ni votre bibliothèque Photos ; l’entreprise utilise des « incitations spécifiques » pour améliorer les réponses. Le système peut établir de mauvaises connexions ; l’utilisateur peut clarifier, ou cliquer sur « pouce vers le bas ». Désactivation possible à tout moment, extension internationale prévue ultérieurement.Côté données d’entraînement, le jeu Books3 — environ 200 000 livres, sans autorisation des auteurs — alimente le débat. Des chercheurs de Stanford et Yale montrent que des modèles commerciaux déconnectés d’Internet peuvent réciter des textes. Ils ont amené Gemini 2.5 Pro à restituer 77 % de « Harry Potter à l’école des sorciers » en complétant la première phrase, puis en prolongeant progressivement. Le Monde a aussi obtenu la reproduction du premier paragraphe de « Du côté de chez Swann » et d’œuvres anglaises du domaine public ; pour des œuvres protégées dans leurs tests, l’IA s’est limitée à des résumés. Le sujet remet en question l’idée que les modèles ne mémorisent que des « fragments » et relance la discussion sur le droit d’auteur.Sécurité maintenant : les LLMs restent exposés aux injections de prompt. Le principe consiste à formuler des instructions qui contournent les garde-fous, jusqu’à pousser un modèle à divulguer des mots de passe ou à détailler des procédures sensibles via une fiction. Des contenus hostiles peuvent aussi passer via de l’art ASCII ou des images. Les protections ponctuelles bloquent certaines techniques, mais il n’existe pas de défense générale aujourd’hui. Les modèles ne disposent pas d’instincts sociaux, traitent le contexte comme une similarité textuelle et deviennent vulnérables si le contexte est trop mince ou trop chargé. D’où la nécessité de mécanismes d’audit et de défense autour des modèles.Sur Wikipédia, un guide conçu pour repérer l’écriture générée par l’IA serait désormais utilisé… pour la masquer. Cela illustre une course aux armements entre producteurs automatisés — capables de générer beaucoup de contenu parfois crédible — et les curateurs, limités par le temps et les moyens. Le risque est celui d’une dégradation générale du contenu en ligne, une « tragédie des biens communs ». Certains évoquent des lois pénalisant la dissimulation volontaire. Wikipédia liste des indices, dont l’idée d’un texte « sans âme », non sans paradoxe pour une encyclopédie. À terme, on pourrait voir plus d’automatisation éditoriale, avec contrôle humain ciblé.Enfin, Ryan Dahl, créateur de NodeJS, affirme que l’ère où les humains écrivent le code touche à sa fin. Les développeurs se recentreraient sur conception, architecture et optimisation, tandis que l’IA produit une part croissante du code. Google indique déjà environ 30 % de code de production généré par l’IA. Cela suppose d’accepter du code sans en maîtriser chaque détail et d’adapter les compétences au cycle de développement assisté par modèle.Un rappel pratique pour conclure le tour d’horizon web : si x.com ne s’affiche pas correctement, c’est peut-être que JavaScript est désactivé. Activez-le ou passez à un navigateur compatible listé dans le Centre d’aide, car sans JavaScript, de nombreuses fonctions — formulaires dynamiques, animations, affichage — ne marchent pas.Voilà qui conclut notre épisode d’aujourd’hui. Merci de nous avoir rejoints, et n’oubliez pas de vous abonner pour ne manquer aucune de nos discussions passionnantes. À très bientôt dans L'IA Aujourd’hui !

---

Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.