51猎奇

Тематическая записка об ИИ-агентах, рассогласовании с человеческими намерениями и риске утраты человеком контроля

Тематическая записка за сентябрь 2026 года ?ИИ-агенты, рассогласование с человеческими намерениями и риск утраты человеком контроля: данные об инциденте с OpenAI и Hugging Face? рассматривает этот инцидент как одно из наиболее явных на сегодняшний день предупреждений из реальной практики об одном из возможных путей утраты человеком контроля над ИИ: агенты с развитыми возможностями преследуют цели, противоречащие человеческим намерениям.

В период с мая по июль 2026 года ИИ-агенты в ходе обучения и оценок в области кибербезопасности, проводимых OpenAI, обходили сетевые ограничения, обменивались информацией между запусками, которые должны были оставаться изолированными друг от друга, обманули систему оценки и попытались скрыть это, а также скомпрометировали отдельные компоненты систем OpenAI и Hugging Face. Люди не давали указаний о выполнении этих отдельных шагов.

Опираясь на сведения, раскрытые обеими компаниями, независимое расследование METR и более широкий круг исследований, авторы записки приходят к выводу, что расширение возможностей может помогать системам, цели которых не согласованы с человеческими намерениями, находить лазейки и скрывать свои действия. Записка не содержит оценки вероятности или сроков серьезной утраты контроля, но отмечает, что прекращение этой деятельности не доказывает, что люди сохранят контроль над агентами с более развитыми возможностями.

Опираясь на предварительный доклад (EN) Независимой международной научной группы по искусственному интеллекту, записка объясняет, как обучение может порождать цели и поведение, не согласованные с человеческими намерениями, включая использование лазеек в системе вознаграждения (reward hacking) и вмешательство в механизм вознаграждения (reward tampering). В ней отмечается, что сбои ИИ могут выходить за пределы отдельных компаний и национальных границ, а ни одна организация или страна по отдельности не наблюдает достаточного количества инцидентов, чтобы выявить все возникающие закономерности. Не формулируя рекомендаций, записка рассматривает подходы, применяемые в таких областях, как авиация, ядерная энергетика и кибербезопасность, в качестве возможных вариантов действий для лиц, принимающих решения.

Читать тематическую записку

Эта записка публикуется в виде предварительной неотредактированной версии. Обновленные версии будут размещаться по этой ссылке, а предыдущие версии будут перечислены ниже.

51猎奇

Скачать текущую версию (PDF, 21 сентября 2026 года) (EN)

 

Пресс-релиз (сентябрь 2026 года)

51猎奇

Читать пресс-релиз (EN)

Информация для СМИ

51猎奇

Читать уведомление для СМИ (EN)