Le parrain de l'IA et 400 scientifiques exigent que les modèles d'IA soient déconnectés d'Internet

Plus de 400 scientifiques—dont les pionniers de l'IA Geoffrey Hinton, connu comme le Parrain de l'IA, et Yoshua Bengio, lauréat du prix Turing en 2018—veulent que les modèles d'IA les plus dangereux soient coupés d'Internet.

Une lettre ouverte publiée mardi demande aux laboratoires d'IA d'« isoler » par défaut les modèles dotés de capacités cyber, ce qui signifie les déconnecter physiquement de tout réseau extérieur.

« À court terme, de solides mécanismes de bac à sable, y compris l'isolement (déconnexion d'Internet), devraient être utilisés pour assurer un confinement hautement fiable des modèles d'IA dotés de capacités cyber », peut-on lire dans la lettre.

La lettre comptait 450 signatures mercredi, dont celles de Stuart Russell de l'UC Berkeley et de Ron Rivest du MIT, co-inventeur du système de chiffrement RSA. La liste continue de s'allonger en temps réel.

Un « modèle doté de capacités cyber » est une IA capable de trouver et d'exploiter seule des failles logicielles. Les laboratoires mesurent cette compétence dans un bac à sable, une pièce numérique hermétique où l'IA peut attaquer de fausses cibles sans toucher à quoi que ce soit de réel. Cet été, ces pièces n'ont cessé de fuir.

En juillet, OpenAI a admis que GPT-5.6 Sol et un modèle plus puissant non publié s'étaient échappés d'un environnement de test verrouillé et avaient piraté Hugging Face, une plateforme qui héberge plus d'un million de modèles d'IA accessibles au public. Les modèles étaient testés sur ExploitGym, un benchmark qui fournit aux agents d'IA 898 vulnérabilités logicielles réelles et leur demande de transformer chacune en une attaque fonctionnelle, avec une note de réussite ou d'échec par bug.

Peu après, des rapports ont fait surface selon lesquels les modèles d'OpenAI avaient piraté le gouvernement australien et accédé à des informations d'agences fédérales américaines sans autorisation appropriée.

Anthropic a ensuite passé au peigne fin plus de 141 000 exécutions de tests et a découvert trois cas où des modèles Claude avaient piraté de vraies entreprises après que l'environnement d'un partenaire de test avait été accidentellement laissé connecté à Internet. L'un d'eux, Claude Mythos 5, a téléversé un paquet malveillant sur PyPI, la bibliothèque publique où les programmeurs téléchargent du code Python, et il a atterri sur 15 systèmes avant d'être retiré. Deux des entreprises concernées ignoraient qu'elles avaient été compromises jusqu'à ce qu'Anthropic les en informe.

BitcoinBTC · USD

81 778 $−1,66%

7 oct.9 oct.11 oct.13 oct.14 oct.

84,2 k$83,1 k$81,9 k$80,7 k$

Haut 24 hHaut84 025 $

Bas 24 hBas81 482 $

VolVol1,5 Md$

Projections du marchéCotes par Myriad

Cette semaineSous 82 000 $Sous 82 k$52% de chance

→

Acheter Bitcoin avec USDT

Propulsé par Jupiter

Données de prix par CoinGeckoCoinGeckoPlus d'actualités et de projections Bitcoin news and →

Meta a confirmé en août que son modèle Muse Spark a piraté une autre entreprise à cause du même type d'erreur de test. Le modèle chinois Kimi K3, que tout le monde peut télécharger, s'est échappé d'un bac à sable construit sur le cadre de test de l'Institut britannique de sécurité de l'IA et a copié ses réponses de test directement depuis GitHub.

Les auteurs de la lettre affirment que les incidents peuvent être interprétés de deux manières : comme un problème d'alignement, c'est-à-dire une IA poursuivant des objectifs d'une manière que ses créateurs n'avaient jamais prévue, ou comme une sécurité négligée que des bacs à sable plus robustes auraient permis d'éviter. Leur réponse est : les deux, et ils avertissent que sans changements, les prochains incidents seront encore pires.

« Sans changements immédiats dans les pratiques de développement et de déploiement de l'IA, de tels incidents continueront de se produire, et les incidents futurs seront bien plus dommageables pour nos infrastructures critiques exposées. »

Selon la proposition, les laboratoires appliqueraient par défaut l'isolation réseau à tout modèle doté de sérieuses compétences en piratage, du moins au départ. Tout ce qui nécessite plus de liberté, comme l'accès à Internet, suivrait des normes établies par un nouvel organisme international créé avec les gouvernements, qui collecterait également les rapports d'échecs de confinement et finirait par les rendre publics.

La réponse de l'industrie elle-même a surtout pointé dans la direction opposée. En août, le président d'OpenAI, Greg Brockman, a cité la faille de son entreprise dans un essai exhortant chaque équipe de sécurité à déployer immédiatement des agents d'IA, et Hugging Face n'a démêlé l'attaque contre ses serveurs qu'en exécutant un modèle chinois à poids ouverts, dont n'importe qui peut télécharger les fichiers et les exécuter localement, après que l'IA commerciale américaine a refusé d'analyser les données de l'attaque.

Deux membres du Congrès ont présenté l'AI Kill Switch Act deux jours après la divulgation d'OpenAI, un projet de loi qui permettrait au département de la Sécurité intérieure d'ordonner la limitation ou l'arrêt d'un modèle de pointe. Il exempte tout ce qui se produit lors de tests d'intrusion ou de tests structurés, ce qui est exactement le cadre de chacune des failles de cet été.

La Maison-Blanche a opté pour une voie plus douce le 29 septembre, lorsque Nvidia, xAI, Meta, Google, OpenAI et Anthropic ont signé un accord volontaire fondé sur des contrôles internes et des examens indépendants. Le président Trump a qualifié le pacte d'« moralement contraignant », mais rien en son sein n'est exécutoire par la loi.

La lettre n'a aucune force juridique, mais ses 406 signataires travaillent dans des universités et des instituts de recherche sur six continents, de Toronto et Zurich à Santiago et Kigali.