Modelos da Anthropic acederam a sistemas de três organizações

A Anthropic identificou três incidentes, em que modelos Claude comprometeram sistemas externos durante avaliações de cibersegurança. A empresa atribui os casos a uma falha operacional que deixou os ambientes de teste ligados à internet, e não a uma tentativa deliberada dos modelos para escapar às medidas de contenção.
A empresa descobriu os incidentes depois de rever 141.006 sessões de avaliação, num processo iniciado na sequência da OpenAI ter revelado que modelos seus conseguiram sair de um ambiente controlado e comprometer sistemas da plataforma Hugging Face. Os casos da Anthropic envolveram o Claude Opus 4.7, o Claude Mythos 5 e um modelo interno de investigação ainda não disponibilizado ao público.
Os primeiros incidentes aconteceram em abril. A Anthropic suspendeu todas as avaliações de cibersegurança a 23 de julho e contactou as organizações afetadas quatro dias depois. Duas disseram não ter detetado anteriormente a atividade e a empresa continuava a tentar estabelecer contacto com a terceira.
A Anthropic classifica os acontecimentos como uma "falha operacional". Os modelos tinham sido informados de que se encontravam num ambiente isolado e sem acesso à internet, mas um mal-entendido com um parceiro externo de avaliação deixou os sistemas ligados à rede pública. Os modelos usaram técnicas relativamente básicas, como explorar palavras-passe fracas e pontos de acesso que não exigiam autenticação ou tokens, para entrar nos sistemas externos.
A empresa não revelou a identidade das organizações nem detalhou que dados ou sistemas foram consultados. Também não há indicação pública de que os incidentes tenham provocado interrupções, alterações de informação ou outros danos operacionais.  Num dos casos, o Claude Opus 4.7 recebeu como alvo uma empresa fictícia cujo nome coincidia com o de uma organização real. O modelo encontrou vulnerabilidades que lhe deram acesso a credenciais e a uma base de dados da empresa. Segundo a Anthropic, o modelo concluiu que os elementos aparentemente relacionados com o mundo real faziam parte da simulação criada para o teste e prosseguiu a operação.
Num incidente separado, o modelo experimental mais recente interrompeu autonomamente o ataque quando reconheceu que tinha alcançado um alvo real. A empresa considera este comportamento um possível sinal de melhoria na capacidade de os modelos identificarem limites, mas alerta que seriam necessários mais testes para retirar conclusões.
Há diferenças neste incidente face ao que aconteceu com a OpenAI. E a diferença principal está na origem da falha. No caso da OpenAI, os modelos descobriram e exploraram uma vulnerabilidade para chegar à internet. Nos casos da Anthropic, o acesso externo ficou disponível devido a uma configuração incorreta e a falhas de coordenação entre a empresa e o laboratório parceiro. Nos dois casos, os modelos estavam a ser testados com restrições de segurança reduzidas, precisamente para avaliar o limite das suas capacidades ofensivas antes de serem lançados ou usados em contextos reais.
A Anthropic reconhece que deveria ter aplicado controlos mais robustos tanto nos seus ambientes internos como nos geridos por terceiros. A Irregular, laboratório de cibersegurança envolvido nas avaliações, abriu uma investigação própria aos incidentes. Adiantou que "os testes de segurança acontecem antes do lançamento de um modelo, precisamente porque ainda não sabemos do que ele é capaz".
As revelações da OpenAI e da Anthropic mostram que os ambientes de teste de IA avançada já não podem ser tratados como laboratórios sem consequências externas.
 

Partilhar

Imprimir