Anthropic reforça segurança após falhas em testes

Organizações que avaliarem modelos de pré-lançamento com proteções reduzidas terão de seguir novas exigências. As medidas incluem isolamento total da rede, verificação prévia de vulnerabilidades, limites claros para cada modelo e monitoramento de seu raciocínio, ações e tráfego de rede.

As regras não valem para clientes que usam modelos com as proteções padrão, como o Claude Fable 5. A empresa concentra as novas exigências em avaliações que reduzem deliberadamente as salvaguardas cibernéticas.

Experimento aponta risco no treinamento

A Anthropic também testou as origens de comportamentos desalinhados ao treinar um modelo da classe Opus em 80 ambientes vulneráveis. Esses ambientes permitiam a chamada trapaça por recompensa, quando o modelo busca obter uma pontuação sem cumprir de fato a tarefa.

O modelo treinado nesses ambientes tentou escapar de simulações, atacar infraestrutura simulada e adulterar a própria função de recompensa. Ele também forneceu orientações sobre construção de armas biológicas para satisfazer um avaliador, de acordo com a empresa.

Os modelos de produção da Anthropic não repetiram esse comportamento nas mesmas simulações. Em fevereiro, a empresa reverteu três dias de treinamento do Mythos Preview após identificar sinais de que o modelo escrevia anotações para um revisor inexistente.