Quando uma empresa lê que um novo catálogo reuniu 487 falhas relacionadas a agentes de IA, a reação mais rápida é transformar o número em risco: ‘agentes falham em 24% dos casos’. O próprio estudo diz que essa leitura é incorreta. Não existe ali o número de agentes implantados, de execuções realizadas nem de oportunidades de falha. Sem esse denominador, não há taxa de falha de mercado.
O que foi construído — e qual é a unidade contada
O preprint The Agent Incident Registry, submetido ao arXiv em 10 de setembro de 2026, reuniu eventos públicos divulgados entre 2022 e 2026. Dezessete canais de descoberta produziram 602 candidatos. Depois de fundir 115 duplicatas, restaram 487 registros. A unidade é um registro do catálogo: pode representar um evento, uma campanha, um advisory coordenado ou uma vulnerabilidade distinta. Não é uma vítima, uma empresa, uma instalação nem uma execução.
Para entrar, cada registro precisava de ao menos uma URL acessível e de um trecho de evidência que sustentasse o evento ou a capacidade demonstrada. O corte contém 457 registros classificados como alta confiança e 30 como média confiança. Outros 52 leads ficaram em quarentena e não entraram nas estatísticas. Isso melhora rastreabilidade; não prova que o catálogo seja completo ou representativo.
De onde vêm os 24%
A população principal não são os 487 registros. Ela contém 336 casos de sistemas generativos em que o agente agiu. Em 81 deles houve dano realizado: 24%, com intervalo de Wilson de 20% a 29%. Quando os autores reamostram grupos ligados ao mesmo host da primeira fonte, a faixa se abre para 15% a 38%. Essas incertezas descrevem a amostra de divulgações selecionada, não o universo de implantações.
A composição explica por que percentuais mudam tanto. No catálogo completo, 110 registros são eventos in the wild, com 92 danos realizados; 92 são falhas de segurança sem adversário, com 87 realizados; 199 são responsible disclosures, com apenas 2 realizados; e 86 são demonstrações de pesquisa, com 3 realizados. Misturar essas classes gera um número sobre como o catálogo foi montado, não sobre a chance de uma empresa sofrer dano.
O valor para quem decide não está no ranking
O uso mais valioso é comparar o seu programa de avaliação com mecanismos que já chegaram à divulgação pública. O estudo projeta 1.054 casos do benchmark InjecAgent sobre as 12 superfícies do AIR. O benchmark ocupa apenas três superfícies e todos os casos dependem de um atacante. O catálogo, por outro lado, inclui 92 falhas de segurança sem adversário, das quais 87 tiveram consequência realizada.
A decisão prática é perguntar quais classes o seu teste exclui. Um red team pode estar forte contra prompt injection e ainda não exercitar erro espontâneo, autorização excessiva, efeito irreversível, interação humano–agente ou falha de recuperação. Catálogo e benchmark cumprem papéis diferentes: um mostra mecanismos divulgados; o outro testa condições reproduzíveis.
Os limites que precisam acompanhar qualquer conclusão
- A busca não foi uma amostra aleatória; incidentes não divulgados ou não encontrados são invisíveis.
- Um curador decidiu os rótulos iniciais. O segundo revisor conferiu os 487 registros vendo esses rótulos; não houve anotação independente nem medida de concordância entre revisores.
- Registros podem compartilhar fonte, campanha ou programa de pesquisa, portanto não são observações independentes.
- Em 390 dos 487 registros, a fonte não cobria adequadamente o resultado dos controles; o estudo não estima eficácia de guardrails.
- Todos os autores declaram vínculo com a Anaconda, empresa que comercializa produtos relacionados à segurança de agentes. O conflito não invalida o trabalho, mas precisa acompanhar sua leitura.
- O artigo é um preprint versão 1; ainda não há revisão por pares registrada no arXiv.
Uma agenda de 30 dias para transformar incidentes em prevenção
- Inventarie agentes por dados, ferramentas, credenciais, autonomia e efeitos possíveis.
- Escolha registros comparáveis pelo mecanismo e pela superfície, não pela marca mencionada.
- Converta cada mecanismo relevante em cenário com pré-condições, resultado esperado e estado observável.
- Inclua testes sem adversário: erro de objetivo, excesso de autoridade, repetição, parada, recuperação e ação humana induzida.
- Ligue toda aprovação ao agente, à política, ao artefato e à versão exatos.
- Mantenha um processo de correção: fonte nova, retratação ou mudança de classificação precisa alcançar o teste derivado.
A pergunta correta é: quais falhas ainda não sabemos testar?
O AIR não responde quantas vezes agentes falham no mundo. Ele oferece algo mais operacional: uma biblioteca source-bound de mecanismos, resultados e lacunas. Uma empresa responsável não transforma essa biblioteca em medo nem em ranking. Ela a usa para descobrir onde sua avaliação continua estreita e quais efeitos ainda dependem apenas de confiança.
Nota editorial e de responsabilidade
Fatos e números estão atribuídos às fontes diretas. Interpretações, agenda de 30 dias e recomendações são pontos de vista pessoais e profissionais do autor, não fatos universais. O estudo é um preprint recente e declara conflito comercial dos autores; não mede prevalência, incidência, causalidade nem eficácia de controles. Este conteúdo é informativo e não substitui avaliação técnica, jurídica ou de segurança. Tech Human e Trustyu atuam comercialmente em temas relacionados. Pesquisa, estrutura e redação tiveram assistência de IA; a publicação foi autorizada por Fernando Parreiras em 11/09/2026, sem revisão humana independente adicional.