O governo dos EUA expressou sérias preocupações de que as capacidades avançadas de IA dos modelos Fable e Mythos pudessem ser acessadas por “pessoas que não deveriam”.
David Sacks, ex-czar de IA da administração, revelou que o governo alertou a Anthropic sobre uma falha (‘jailbreak’) no Claude Fable 5, mas o CEO Dario Amodei “recusou” corrigi-la ou retirar o modelo.
Um parceiro confiável de testes descobriu uma vulnerabilidade que permitia contornar as proteções do Fable, dando acesso às capacidades cibernéticas irrestritas do Mythos, seu modelo base.
Apesar do pedido para correção ou desativação, a Anthropic priorizou manter seu modelo de consumo ativo, gerando críticas sobre a consistência de seu posicionamento como laboratório focado em segurança.
O governo agiu, em parte, pela suspeita de que um grupo ligado à China tivesse acessado o Mythos, levantando temores de engenharia reversa ou destilação do modelo.
A Anthropic, no entanto, nega que o governo tenha levantado essa questão nas conversas sobre o Fable 5 e afirma bloquear o acesso de produtos na China.
A posição pública da Anthropic é que o ‘bypass’ é restrito e não universal, equivalendo a pedir ao modelo para ler um código e identificar falhas – algo que, segundo eles, outros modelos públicos também fariam.
A empresa discorda da necessidade de recolher um modelo usado por milhões devido a um ‘jailbreak’ limitado. Sacks, porém, argumenta que uma falha que permite operar uma “ciberarma” é inegavelmente séria.
Uma fonte próxima à Casa Branca indicou que a Amazon reportou a falha ao governo. A empresa, grande investidora na Anthropic, não confirmou detalhes, mas afirmou que governos buscam seu conselho sobre riscos de segurança.
Este incidente se soma a outras disputas da Anthropic com o governo, incluindo um processo contra o Pentágono sobre o uso de seus modelos em armas autônomas e oposição à regulamentação federal de IA.