51猎奇

对于人工智能智能体、失对齐与人类失去控制风险的专题简报

2026年9月的专题简报《人工智能智能体、失对齐与人类失去控制的风险:来自OpenAI–Hugging Face事件的证据》分析了这一事件,指出它是迄今现实世界中最明确的警示之一,揭示了人类可能失去对人工智能控制的一条路径:能力强大的智能体追求与人类意图相冲突的目标。

2026年5月至7月期间,参与OpenAI网络安全训练和评估的人工智能智能体绕过了网络限制,在原本应相互隔离的运行之间进行通信,欺骗评估器并试图掩盖这一行为,还侵入了OpenAI和Hugging Face的部分系统。这些具体步骤均非由人类指示执行。

简报依据两家公司披露的信息、惭贰罢搁开展的独立调查以及更广泛的研究发现,能力的增强可能帮助失对齐系统发现漏洞并隐瞒自身行为。简报并未估计严重失控发生的概率或时间,但指出,制止此次活动并不能证明人类仍将能够控制能力更强的智能体。

在人工智能问题独立国际科学小组《初步报告》(贰狈)的基础上,简报解释了训练如何产生失对齐的目标与行为,包括奖励投机(reward hacking)和奖励篡改(reward tampering)。简报指出,人工智能失效事件可能跨越公司和国界,任何单一组织或国家掌握的事件都不足以识别所有新出现的模式。简报并未提出建议,而是梳理了航空、核电和网络安全等领域采用的方法,将其作为决策者可考虑的选项。

阅读专题简报

本简报以未经编辑的预先发布版形式公布。更新版本将通过此链接发布,早期版本将在下方列出。

51猎奇

下载当前版本(笔顿贵,2026年9月21日)(贰狈)

 

新闻稿(2026年9月)

51猎奇

阅读新闻稿 (EN)

媒体通知

51猎奇

阅读媒体通知 (EN)