Cientista-chefe da OpenAI pede padrão comum de ‘perplexity’ para treinos de IA
Ele sugere limites voluntários de pré-treinamento baseados nessa métrica para permitir uma pausa quando modelos se aproximarem de limiares associados a saltos de capacidade.
Jakub Pachocki publicou no domingo números internos de perplexity da OpenAI e pediu que empresas adotem a perplexity — ou cross-entropy loss por token — como forma comum de acompanhar o progresso do pré-treinamento.
A perplexity mede, em média, o quanto um modelo acerta ao prever o próximo token; valores mais baixos indicam melhor desempenho preditivo e, segundo a OpenAI, têm se correlacionado com o surgimento de novas capacidades, como conversação fluente e melhor raciocínio.
A OpenAI observou internamente que modelos que atingiram log-perplexity de cerca de 0,76 coincidiram com ganhos súbitos em tarefas difíceis, como matemática, e afirmou que mudanças transformacionais adicionais poderiam plausivelmente aparecer conforme as perdas caiam para cerca de 0,68–0,70.
Pachocki propôs que desenvolvedores se comprometam voluntariamente a limites de desenvolvimento baseados em perplexity até que sejam cumpridos marcos concretos de monitoramento e alinhamento; o CEO da OpenAI, Sam Altman, apoiou publicamente a iniciativa de transparência.
Ele alertou, porém, que comparar perplexity entre laboratórios é difícil porque equipes usam conjuntos de avaliação e misturas de dados diferentes, e destacou o risco de que pesquisa algorítmica assistida por IA acelere o pré-treinamento mais rápido do que as ferramentas de segurança conseguem acompanhar.