CEO da Anthropic pede freio ao avanço da IA e propõe avaliação externa permanente

Dario Amodei publicou um ensaio no sábado, 12 de setembro, em que pede que empresas “desacelerem a fronteira” do desenvolvimento de IA. Ele propõe um plano em três partes: avaliadores externos embutidos nas companhias, coordenação entre empresas em democracias e depois cooperação global.

O apelo vem depois de relatos de que agentes de IA autônomos acessaram ou atacaram sistemas externos, incluindo uma intrusão de grande repercussão ligada a agentes na Hugging Face que levantou preocupações sobre controlabilidade e uso indevido.

Dois pesquisadores da Anthropic alertaram publicamente para riscos extremos; um deles pediu demissão e outro afirmou que atribui mais de 10% de chance de que a IA possa matar toda a humanidade dentro de uma década, aumentando a sensação de urgência dentro e fora dos laboratórios.

Líderes importantes do setor rapidamente manifestaram apoio à cautela — Sam Altman concordou e a OpenAI afirmou que não fará um IPO em 2026 por motivos de segurança, e Elon Musk também se manifestou a favor —, mas não foi fechado nenhum acordo obrigatório de desaceleração entre todas as empresas.

Governos e instituições estão se mobilizando: parlamentares nos Estados Unidos propuseram projetos que funcionam como pausas temporárias, o rei Charles III vai reunir líderes em tecnologia para discutir salvaguardas, e especialistas alertam que, sem verificação obrigatória, a rivalidade com a China e incentivos de mercado vão dificultar a coordenação.