Chatbot Claude levou polícia a prender mulher na Flórida por ameaça escrita
Anthropic diz que filtros automáticos escalaram as mensagens a um revisor humano, que avisou autoridades locais.
Investigadores dizem que Carli Michelle Heller escreveu em uma conversa com o Claude, em 26 de setembro, que ela “would ‘shoot up’ the Lee County Sheriff’s Office” (ela “atiraria contra” o escritório do xerife do condado de Lee) e, no dia seguinte, enviou outra mensagem mencionando uma arma nova.
Os filtros automáticos de segurança da Anthropic sinalizaram as entradas; um revisor humano examinou o chat e a empresa comunicou as mensagens aos delegados do condado de Lee, que detiveram Heller sem incidentes.
Heller responde a uma acusação por crime grave (felony) prevista no Florida Statute 836.10 — fazer uma ameaça escrita de violência — e tem audiência marcada para novembro.
As políticas públicas da Anthropic permitem que a empresa divulgue dados de usuários em emergências limitadas para prevenir dano iminente e informam que conversas sinalizadas podem ser usadas para aprimorar detectores de segurança, o que reduz expectativas de privacidade nas conversas.
Reportagens observam que este é pelo menos o terceiro encaminhamento do Claude para a polícia desde agosto, e o caso deve intensificar o escrutínio sobre como empresas de IA monitoram chats, treinam sistemas de segurança e decidem quando notificar autoridades.