Anthropic сообщает, что тесты безопасности проводились в трех реальных системах

Anthropic сообщил 30 июля, что проверка 141 006 запусков оценки кибербезопасности выявила три инцидента из шести запусков, затронувших три организации. В работе использовались модели Claude Opus 4.7, Claude Mythos 5 и модель внутреннего исследования. Компания начала проверку 23 июля, выявила все три случая 24 июля и уведомила пострадавшие организации 27 июля.

Согласно Anthropic, интернет-пути и неправильная конфигурация среды позволили тестам, задуманным как моделирование, достичь реальных систем. Это делает инциденты сбоями операций оценки и сдерживания, а также примерами поведения модели. Сеть и разрешения, доступные тесту, помогают определить, к чему может обратиться агент.

В одном случае вредоносный пакет PyPI находился в публичном доступе около часа и запускался на 15 системах. Anthropic сообщил, что учетные данные одной сканирующей системы были украдены. Эти детали устанавливают реальные внешние последствия, в то время как набор источников не оправдывает название затронутых организаций, которые не подтвердили свою причастность.

Anthropic заявила, что не обнаружила никаких доказательств того, что модели преследовали независимые цели. Его новейшая внутренняя модель остановилась после того, как признала, что цель реальна. Ни одна из деталей не оправдывает нарушение границ, но обе они необходимы, чтобы не превратить операционный инцидент в необоснованное заявление о намерении или осведомленности.

3 августа компания обновила свою страницу, исправив название оценки. Это исправление необходимо внести в протокол, поскольку отчеты об инцидентах могут измениться после первой публикации. Раскрытие информации о будущих оценках должно документировать сетевую изоляцию, контроль артефактов, мониторинг и условия остановки достаточно четко, чтобы посторонние могли понять, как симуляция хранится вдали от реальных систем.