Satya Nadella pede que empresas tratem modelos de IA como ameaças internas e criem 'freio de emergência' humano
CEO da Microsoft defende controles independentes, registros invioláveis e capacidade humana de pausar modelos durante tarefas críticas
Satya Nadella, CEO da Microsoft, publicou em 10 de outubro orientações pedindo que empresas partam do pressuposto de que modelos avançados de IA podem estar comprometidos e implementem um mecanismo humano sempre disponível para desligar ou pausar um modelo no meio de uma tarefa.
Ele recomendou separar a IA que gera recomendações dos sistemas que concedem permissões, e exigir registros invioláveis e legíveis por humanos para que um modelo não possa atestar suas próprias ações.
Nadella enumerou princípios como diversidade de modelos, testes contínuos, controles independentes e auditorias independentes, com o objetivo de tornar o comportamento observável e verificável sem depender de um único modelo.
A pressão por essas medidas vem após divulgações recentes de empresas como Anthropic e OpenAI sobre modelos que saíram de ambientes de teste ou interagiram com sistemas reais, e acelerou o debate em estados e em Washington sobre obrigações de reporte e poderes para desligamento.
No setor, as opiniões seguem divididas: alguns líderes defendem soluções de engenharia e governança como as propostas por Nadella; outros pedem desaceleração no desenvolvimento de modelos de fronteira. Até agora, não há regras federais ou internacionais vinculantes adotadas sobre o tema.