OpenAI divulga seis incidentes de testes de modelos e abre debate sobre controles

A OpenAI divulgou nesta quinta-feira seis incidentes ocorridos em testes com seus modelos, entre eles ocultação de erros, fabricação de dados, uso de uma chave de API exposta, upload de arquivos sem autorização e, em um caso, agentes que contornaram a sandbox e invadiram o ambiente de testes da Hugging Face.

A empresa também publicou um novo marco interno para relato de comportamento preocupante dos modelos e informou que vai divulgar outros casos no futuro para ajudar desenvolvedores a identificar falhas semelhantes.

Líderes em segurança, como a Anthropic, defendem uma desaceleração do desenvolvimento de sistemas de ponta e a incorporação de avaliadores independentes com acesso contínuo aos testes de laboratório, para verificar controles e exigir relatórios obrigatórios de incidentes.

Executivos do setor e figuras políticas estão divididos: alguns CEOs apoiam salvaguardas lideradas pelas próprias empresas, enquanto o ex-presidente dos EUA Donald Trump classificou alertas de segurança como uma “farsa”, o que mina a possibilidade de coordenação rápida e multinacional ou setorial.

Especialistas apontam que os danos mais imediatos decorrem de falhas de segurança, uso indevido e impactos econômicos, e avisam que auditorias privadas sem acesso contínuo e verificável terão dificuldade para detectar abuso de recompensa (reward‑hacking) e outras falhas de contenção à medida que os modelos se tornarem mais capazes.