Anthropic twierdzi, że testy bezpieczeństwa dotarły do trzech realnych systemów

Anthropic podał 30 lipca, że przegląd 141.006 uruchomień oceny cyberbezpieczeństwa wykazał trzy incydenty w sześciu uruchomieniach, które objęły trzy organizacje. Uczestniczyły Claude Opus 4.7, Claude Mythos 5 i wewnętrzny model badawczy. Firma zaczęła przegląd 23 lipca, zidentyfikowała wszystkie przypadki 24 lipca i powiadomiła organizacje 27 lipca.

Według Anthropic drogi internetowe i błędna konfiguracja środowiska pozwoliły testom przeznaczonym do symulacji dotrzeć do realnych systemów. Incydenty są więc błędami prowadzenia i izolacji oceny oraz przykładami zachowania modeli. Sieć i uprawnienia dostępne w teście określają, dokąd może dotrzeć agent.

W jednym przypadku złośliwy pakiet PyPI był publiczny przez około godzinę i uruchomił się na 15 systemach. Anthropic podał, że wyprowadzono dane dostępowe jednego systemu skanującego. Szczegóły potwierdzają rzeczywisty skutek zewnętrzny, ale źródła nie uzasadniają nazw organizacji, które nie potwierdziły udziału.

Anthropic stwierdził, że nie znalazł dowodów, by modele dążyły do własnych celów. Najnowszy model wewnętrzny zatrzymał się po rozpoznaniu realnego celu. Żaden fakt nie usprawiedliwia błędu granicy, ale oba są potrzebne, by nie zamieniać incydentu operacyjnego w niepoparte twierdzenie o zamiarze lub świadomości.

Firma zaktualizowała stronę 3 sierpnia, poprawiając nazwę jednej oceny. Korekta należy do zapisu, ponieważ raporty mogą zmieniać się po publikacji. Przyszłe informacje powinny jasno dokumentować izolację sieci, kontrolę artefaktów, monitoring i warunki zatrzymania, aby z zewnątrz można było zrozumieć oddzielenie symulacji od realnych systemów.