Estudo independente diz que modelos da Anthropic melhoraram quase duas vezes mais rápido
Pesquisa aponta que aceleração veio sobretudo de ferramentas de IA em vez de mais poder de treinamento — achado gera dúvidas sobre governança e riscos antes de oferta pública
A organização Model Evaluation and Threat Research (METR) recebeu amplo acesso a dados internos da Anthropic e fez entrevistas com funcionários durante uma revisão de cerca de 11 semanas, usando esse material para avaliar o desempenho em benchmarks.
A METR concluiu que o desempenho da Anthropic em tarefas de benchmark bem definidas praticamente dobrou de ritmo em comparação com o período anterior, e estimou que o desenvolvimento assistido por IA explicou a maior parte dessa mudança.
O grupo afirmou que pôde excluir com confiança o aumento do poder de cómputo de treinamento como causa primária e estimou que a IA pode responder por cerca de 80% da aceleração recente, embora tenha ressaltado incerteza nesse número.
A METR apontou limites à sua análise, incluindo redacções em documentos e o foco em tarefas avaliadas automaticamente, e alertou que o uso de IA para projetar e ajustar modelos pode ampliar o progresso por meio de autoaperfeiçoamento recursivo — ou seja, sistemas que potencialmente aumentam suas próprias capacidades com menos intervenção humana.
As conclusões aprofundam perguntas sobre governança e controle de riscos da Anthropic. A empresa se prepara para abrir capital e as descobertas pressionam reguladores, investidores e clientes a examinar como laboratórios monitoram o desenvolvimento assistido por IA e verificam a emergência de novos riscos.