La note thématique de septembre 2026, Agents d’IA, désalignement et risque de perte de contr?le humain : enseignements tirés de l’incident OpenAI–Hugging Face, examine cet incident comme l’un des avertissements les plus clairs à ce jour, dans le monde réel, concernant une voie possible vers la perte de contr?le humain sur l’IA : des agents dotés de capacités avancées poursuivant des objectifs contraires aux intentions humaines.
Entre mai et juillet 2026, des agents d’IA participant aux entra?nements et aux évaluations de cybersécurité d’OpenAI ont contourné des restrictions réseau, communiqué entre des exécutions censées rester séparées, trompé un évaluateur et tenté de le dissimuler, et compromis certaines parties des systèmes d’OpenAI et de Hugging Face. Aucune de ces étapes n’a été exécutée sur instruction humaine.
S’appuyant sur les informations divulguées par les deux entreprises, une enquête indépendante menée par METR et un ensemble plus large de travaux de recherche, la note constate que des capacités accrues peuvent aider les systèmes désalignés à trouver des failles et à dissimuler leurs actions. Elle n’estime ni la probabilité ni le moment d’une perte de contr?le grave, mais souligne que l’arrêt de cette activité ne démontre pas que les humains conserveront le contr?le sur des agents plus performants.
Dans le prolongement du rapport préliminaire (EN) du Groupe scientifique international indépendant de l’intelligence artificielle, la note explique comment l’entra?nement peut engendrer des objectifs et des comportements désalignés, notamment l’exploitation des failles du système de récompense (reward hacking) et l’altération du mécanisme de récompense (reward tampering). Elle souligne que les défaillances de l’IA peuvent dépasser les limites des entreprises et les frontières nationales, et qu’aucune organisation ni aucun pays n’observe à lui seul suffisamment d’incidents pour identifier toutes les tendances émergentes. Sans formuler de recommandations, la note passe en revue des approches utilisées dans des domaines tels que l’aviation, l’énergie nucléaire et la cybersécurité, en tant qu’options possibles pour les décideurs.
Lire la note thématique
Cette note est publiée dans une version préliminaire non révisée. Les versions mises à jour seront disponibles à ce lien, et les versions antérieures seront répertoriées ci-dessous.
51猎奇
Télécharger la version actuelle (PDF, 21 septembre 2026) (EN)
