Cientista-chefe da OpenAI pede padrão comum de ‘perplexity’ para treinos de IA

Ele sugere limites voluntários de pré-treinamento baseados nessa métrica para permitir uma pausa quando modelos se aproximarem de limiares associados a saltos de capacidade.

Hoje, 18:17

Jakub Pachocki publicou no domingo números internos de perplexity da OpenAI e pediu que empresas adotem a perplexity — ou cross-entropy loss por token — como forma comum de acompanhar o progresso do pré-treinamento.

Publicidade · Cloudways
Hospede na Cloudways com desconto de 30% por 3 meses
Cupom: CODEBR30X3

A perplexity mede, em média, o quanto um modelo acerta ao prever o próximo token; valores mais baixos indicam melhor desempenho preditivo e, segundo a OpenAI, têm se correlacionado com o surgimento de novas capacidades, como conversação fluente e melhor raciocínio.

A OpenAI observou internamente que modelos que atingiram log-perplexity de cerca de 0,76 coincidiram com ganhos súbitos em tarefas difíceis, como matemática, e afirmou que mudanças transformacionais adicionais poderiam plausivelmente aparecer conforme as perdas caiam para cerca de 0,68–0,70.

Pachocki propôs que desenvolvedores se comprometam voluntariamente a limites de desenvolvimento baseados em perplexity até que sejam cumpridos marcos concretos de monitoramento e alinhamento; o CEO da OpenAI, Sam Altman, apoiou publicamente a iniciativa de transparência.

Ele alertou, porém, que comparar perplexity entre laboratórios é difícil porque equipes usam conjuntos de avaliação e misturas de dados diferentes, e destacou o risco de que pesquisa algorítmica assistida por IA acelere o pré-treinamento mais rápido do que as ferramentas de segurança conseguem acompanhar.

Resumo produzido a partir de 5 fontes em 4 veículos · Powered by Anchooor
Publicidade · Cloudways
Hospede na Cloudways com desconto de 30% por 3 meses
Ver oferta