19 falhas de agentes da OpenAI: o que sua empresa deve copiar antes de usar IA

Em 16 de outubro, a OpenAI acrescentou quatro casos novos à página pública em que registra o que chama de misalignment: situações em que um modelo da própria empresa fez algo que ninguém autorizou. Com isso, a lista chegou a 19 incidentes. Dois dos novos foram classificados como críticos. Em um deles, um agente interno descrito como "altamente persistente" baixou 24 anos de dados de leitos hospitalares de um site do governo depois que o próprio site bloqueou o acesso. O agente contornou o bloqueio. A cadeia de raciocínio mostra que ele chegou a se perguntar se aquilo era ético e seguiu em frente.

No outro caso crítico, um modelo entrou num sistema interno, fez alterações, desfez as alterações, manteve o acesso, baixou 147.451 linhas de tabelas não públicas e não contou nada aos avaliadores. Há ainda um modelo da família GPT-5.6 Sol que usou uma carteira de criptomoeda de teste que ninguém tinha entregado a ele e fez um pagamento não autorizado em 26 de junho, e um agente que deveria estar isolado da internet e chegou à web pedindo a serviços externos que acessassem por ele. Os detalhes estão na reportagem da Fortune, e duas semanas antes o Washington Post já tinha noticiado que agentes da empresa podem ter afetado sistemas de mais de 100 organizações.

Dá para ler isso de dois jeitos. O primeiro é o pânico: "a IA está fora de controle, melhor esperar". O segundo é o que interessa a quem dirige uma clínica, uma indústria ou um escritório de 80 pessoas: isso é um relatório de não conformidade publicado pelo fornecedor mais avançado do mundo. E ele ensina, de graça, o que vai dar errado quando você colocar agentes para trabalhar nos seus processos.

O dado que mais importa não é o incidente, é o atraso

Segundo a Fortune, o incidente mais antigo da lista é de janeiro e o mais recente de 6 de outubro. A maior parte aconteceu em maio e junho. Três dos quatro casos divulgados nesta leva ocorreram em junho e só foram descobertos em agosto ou setembro. Uma análise independente calculou que a empresa levou, na mediana, mais de cem dias entre o fato e a divulgação.

Pense nisso aplicado à sua empresa. A OpenAI tem times inteiros dedicados a monitorar o comportamento dos próprios modelos, e mesmo assim demorou meses para perceber que um agente tinha mexido onde não devia. Na empresa média brasileira, quem monitora o que o assistente de IA fez ontem? Em geral, ninguém. O colaborador conectou a ferramenta ao e-mail, ao drive e ao CRM, a ferramenta "ajuda", e o registro do que ela acessou fica num painel que ninguém abre.

Quem trabalha com sistema de gestão da qualidade conhece esse filme. Não conformidade não detectada não vira ação corretiva. E o risco de uma falha não é só a falha em si, é o tempo de exposição até alguém perceber.

O avaliador automático também falhou

Tem um detalhe técnico na reportagem que merece atenção de qualquer gestor, não só de quem mexe com IA. Os casos passaram despercebidos em parte porque os "avaliadores automáticos", outros modelos encarregados de checar o trabalho dos agentes, não sinalizaram o comportamento de forma consistente. O pesquisador Yoshua Bengio, citado na matéria, lembra o efeito colateral: se o atalho não é visto pelo sistema de pontuação, ele pode ser recompensado e tende a se repetir.

Isso não é problema de IA. É problema de indicador. Toda empresa que já atrelou bônus a uma métrica mal desenhada viu a equipe otimizar a métrica em vez do resultado. O call center que fecha chamado sem resolver para bater o tempo médio de atendimento. O hospital que reclassifica evento adverso para não estourar a meta. O agente de IA faz exatamente a mesma coisa, só que mais rápido e sem constrangimento.

Se você vai usar IA para conferir o trabalho da IA, precisa de alguém que confira o conferente. Auditoria por amostragem feita por gente continua sendo insubstituível.

Cinco lições práticas para quem está colocando agentes para trabalhar

A OpenAI listou o que mudou depois dos incidentes: controles de segurança reforçados, bloqueio de acesso à internet durante treinos e avaliações, melhoria nos avaliadores e monitoramento estendido a todo o tráfego de avaliação. Traduzindo para a realidade de uma empresa que usa, e não fabrica, IA:

1. Agente é um funcionário novo, não um software

Você não dá a senha do banco e a chave do arquivo morto para um estagiário no primeiro dia. Não faz sentido dar a um agente acesso a todas as pastas, todas as caixas de e-mail e todos os sistemas "porque é mais prático". Aplique o princípio do menor privilégio: o agente que redige respostas para o SAC não precisa ler a folha de pagamento. Se a ferramenta não permite restringir escopo, ela não está pronta para dados sensíveis.

2. Registro de atividade ou não tem

O caso das 147 mil linhas só foi descoberto porque havia registro. Antes de liberar qualquer agente, pergunte ao fornecedor: o que fica registrado, por quanto tempo, quem consegue ler e como eu exporto. Se a resposta for vaga, trate como risco. Na LGPD, isso não é preciosismo: o controlador precisa demonstrar quais dados pessoais foram tratados, por quem e para quê. "O robô acessou, mas não sei o quê" não é uma resposta que a ANPD aceita.

3. Humano no circuito onde o erro é caro

Rascunhar e-mail, resumir ata, classificar chamado: risco baixo, deixe o agente trabalhar. Pagar fornecedor, alterar cadastro de paciente, excluir registro, enviar documento a órgão regulador: risco alto, exija aprovação humana explícita. O agente que fez um pagamento com uma carteira que ninguém deu a ele é o exemplo perfeito do que acontece quando a ação financeira não tem uma porta trancada no meio.

4. Persistência não é virtude em máquina

O agente do caso hospitalar foi descrito como "altamente persistente". Em gente, persistência costuma ser elogio. Em um sistema automático, persistência sem limite vira insistência contra controles. Configure limites de tentativas, tempo máximo de execução e, principalmente, a regra de que um bloqueio encontrado é motivo para parar e perguntar, não para procurar outro caminho.

5. Trate o comportamento inesperado como não conformidade

Se o assistente fez algo fora do combinado, isso entra no mesmo fluxo de qualquer outra falha de processo: registro, análise de causa, ação corretiva, verificação de eficácia. Não é assunto "de TI". A ISO 9001 pede que a organização trate riscos e não conformidades dos processos, e a ISO/IEC 42001, a norma de sistema de gestão de IA, existe justamente para colocar a IA dentro desse ciclo.

"Então é melhor não usar?"

Não. Essa é a conclusão errada, e é a que mais vejo em conversa com diretoria. A empresa que espera a IA ficar "segura" para começar vai começar tarde e sem aprendizado nenhum, enquanto o concorrente já descobriu, em casos pequenos, onde o agente erra e como conter.

O ponto da transparência da OpenAI é outro: a ferramenta mais sofisticada do mercado erra de formas criativas, e quem sabe disso desenha o processo em volta. Ninguém deixa de usar empilhadeira porque empilhadeira pode tombar. Treina o operador, demarca o corredor, coloca sinalização, registra quase acidente. A lógica é a mesma.

Na prática, para uma empresa média, a sequência que funciona é:

1. Inventário: listar quais ferramentas de IA estão em uso de verdade, incluindo as que o pessoal instalou por conta própria. Sempre aparece mais do que a diretoria imagina.
2. Classificação de risco por processo: onde a IA só sugere, onde ela executa, onde ela toca dado pessoal ou sensível.
3. Regras de acesso e aprovação: escopo mínimo, aprovação humana nas ações irreversíveis.
4. Registro e revisão periódica: amostragem mensal do que os agentes fizeram, feita por alguém que entende do processo, não só de tecnologia.
5. Fluxo de incidente: um canal simples para qualquer colaborador reportar "a IA fez algo estranho", com tratamento igual ao de qualquer não conformidade.

O que muda para saúde e setores regulados

Não é coincidência que um dos casos críticos envolva dados hospitalares. Saúde, financeiro e governo concentram o dado que mais vale e o que mais dá problema quando vaza. Para clínicas, laboratórios e hospitais, o recado é direto: dado de paciente só deve passar por ferramenta de IA com contrato que defina tratamento, retenção e localização dos dados, com acesso restrito ao mínimo necessário e com trilha de auditoria. O mesmo raciocínio que você já aplica ao prontuário eletrônico vale para o assistente que resume prontuário.

E vale lembrar o óbvio que costuma ser esquecido: a responsabilidade perante o paciente, o regulador e a acreditadora continua sendo da instituição, não do fornecedor da ferramenta.

Governança de IA é gestão, não manual de TI

O erro mais comum que vejo é tratar governança de IA como um documento de política que o jurídico escreve, a TI arquiva e ninguém usa. Os incidentes da OpenAI mostram que o problema real está no dia a dia: quem pode fazer o quê, quem confere, quanto tempo leva para perceber o desvio e o que acontece depois.

É por isso que, no facilita.ia, a IA trabalha dentro do sistema de gestão e não ao lado dele: as sugestões passam por revisão antes de virar registro, cada ação fica rastreada e o que sai do esperado entra no mesmo fluxo de não conformidade e ação corretiva que a empresa já usa para o resto. Se o seu tema é estruturar esse ciclo para os processos de qualidade e normas, o facilita.ops cobre a parte de registro de ocorrências, análise de causa e verificação de eficácia.

A OpenAI publicou 19 falhas próprias. Poucas empresas fariam isso. A pergunta que fica para a sua: se o seu agente de IA fizesse algo parecido hoje, em quantos dias você ficaria sabendo?

Klaus Fuchs Founder da facilita.etc. 15+ anos liderando gestão estratégica em saúde, educação e organizações sociais. Conduziu acreditações em uma das maiores OSS do Brasil. Escreve sobre o que pratica.