TechHuman

Análise especial · IA e governança

Código funcional não é código seguro

Um novo estudo transformou correções históricas de vulnerabilidades em testes executáveis para treinar agentes de programação. O resultado reforça uma decisão de negócio: software que passa no teste funcional ainda precisa provar as propriedades de segurança que o pedido não escreveu.

Por Fernando ParreirasRevisão: Fernando ParreirasPublicado em 02 de outubro de 202611 min de leitura

O pedido parecia completo: implementar uma função, preservar o comportamento esperado e fazer os testes passarem. O agente entregou. O software rodou. Mesmo assim, uma autorização poderia ter sido enfraquecida, uma entrada não confiável poderia atravessar a aplicação ou um segredo poderia aparecer onde não deveria. Funcionalidade e segurança respondem a perguntas diferentes.

O que o novo estudo fez

O preprint AuraForge, publicado em 1º de outubro de 2026 por pesquisadores ligados à Carnegie Mellon University, UCLA e ScOp Venture Capital, parte de correções históricas de vulnerabilidades em projetos reais. A proposta é sintetizar testes que observem o efeito de um ataque — e não apenas reproduzam a forma específica como um desenvolvedor corrigiu o problema [1].

A equipe construiu o AuraGym com 679 tarefas executáveis provenientes de 344 repositórios, distribuídas entre Python, JavaScript e TypeScript e associadas a 177 categorias CWE [1][2]. Cada tarefa combina uma solicitação funcional com requisitos de segurança que permanecem implícitos para o agente. Os ambientes também foram tratados para reduzir caminhos de recuperação da correção histórica, como histórico Git, artefatos gerados e cópias instaladas.

Os números importam — e os denominadores também

  • No conjunto de comparação com testes humanos, o estudo relata aproximadamente três vezes mais casos de teste por tarefa com a síntese automática.
  • Na análise de 183 tarefas que possuíam ao menos uma solução segura para adjudicação, os autores relatam redução relativa de 83,23% na taxa de falsos positivos dos testes sintetizados [1].
  • O treinamento usou Qwen3.5-4B e foi avaliado em dois conjuntos: 186 tarefas do SusVibes e 82 tarefas de JavaScript/TypeScript, totalizando 268 casos de avaliação.
  • Na média desses dois conjuntos, a supervisão sintetizada aumentou FuncPass em 19,7 pontos percentuais e SecPass em 6,2 pontos; a supervisão baseada nos testes humanos elevou as mesmas métricas em 14,9 e 4,4 pontos [1].

Esses resultados não significam que o modelo ficou seguro em qualquer contexto. Eles mostram melhora dentro dos repositórios, vulnerabilidades, linguagens, agentes, ambientes e testes avaliados. O próprio paper afirma que passar nos testes oferece evidência dentro do escopo coberto, não uma garantia geral de segurança [1].

Por que o teste funcional não basta

Uma especificação funcional descreve o que o software deve fazer. Segurança também depende do que ele nunca pode permitir. O usuário pode pedir upload de arquivo sem declarar limites de caminho; integração com uma API sem repetir regras de autorização; ou importação de dados sem explicar quais entradas são hostis. Um agente pode cumprir a frase e violar a fronteira.

Esse problema já aparecia em trabalhos independentes. O SusVibes avaliou 186 tarefas reais e encontrou grande distância entre correção funcional e segurança: na configuração destacada pelos autores, 57% das soluções eram funcionalmente corretas, mas apenas 11,8% eram seguras [3]. O SecureVibeBench, publicado na ACL 2026, avaliou 105 tarefas de C/C++ de 41 projetos; seu melhor resultado conjunto de correção e segurança foi 23,8% [4]. Os estudos não são comparáveis como um ranking único, mas corroboram a existência do mesmo tipo de lacuna.

O que muda para quem compra ou constrói software com IA

  • Defina propriedades negativas: além do resultado esperado, registre o que não pode acontecer com identidade, dados, segredos, permissões e recursos.
  • Mantenha testes funcionais e de segurança como evidências diferentes; um não deve ser usado como substituto do outro.
  • Derive testes de ameaças e efeitos observáveis, evitando amarrar o aceite a uma única implementação considerada correta.
  • Proteja o ambiente de avaliação contra respostas prontas, artefatos antigos, dependências adulteradas e acesso indevido à implementação de referência.
  • Use análise estática, testes dinâmicos, revisão arquitetural, controle de acesso e observabilidade em camadas; nenhum teste isolado cobre todo o sistema.
  • Registre modelo, agente, instruções, versões, código, testes e decisão humana para que a evidência possa ser reproduzida depois.

Limites, conflitos e contrapontos

  • O trabalho é um preprint v1 e ainda não apresenta validação independente ou revisão por pares publicada para seus resultados centrais.
  • A avaliação cobre três linguagens e usa um único modelo-base no experimento principal de treinamento; os ganhos não devem ser generalizados automaticamente para outros agentes ou stacks.
  • Os testes sintetizados também falharam. O paper relata concentração de falsos negativos em famílias como path traversal e SSRF, nas quais pequenas variações do payload podem mudar o resultado [1].
  • A construção parte de vulnerabilidades históricas conhecidas e de ambientes controlados. Riscos inéditos, integração real, configuração, identidade e comportamento em produção permanecem fora de parte relevante do experimento.
  • Danqing Wang declara apoio de uma Amazon AI PhD Fellowship. O trabalho recebeu apoio da Microsoft por meio da parceria com o CyLab da Carnegie Mellon, de Coefficient Giving e de Ivan Bercovich, da ScOp Venture Capital; Bercovich também assina o paper [1].
  • O projeto externo chamado AuraForge não possui relação com a Trustyu Forge. A semelhança de nomes é coincidência e não implica parceria, validação ou uso do método pela Tech Human ou pela Trustyu.

A regra prática: aceitar, assegurar e operar são gates diferentes

O teste funcional ajuda a aceitar uma entrega. O teste de segurança ajuda a assegurar propriedades específicas. A operação real ainda exige identidade, limites de ferramenta, revisão, observabilidade, resposta a incidentes e responsabilidade definida. A IA acelera a escrita do software; não elimina a necessidade de saber qual prova autoriza sua entrada em produção.

Nota editorial e de responsabilidade

Números, métodos, afiliações e apoios financeiros foram atribuídos às fontes citadas diretamente. O artigo distingue resultados do paper, evidência anterior e interpretação editorial. Recomendações e conclusões executivas são pontos de vista pessoais e profissionais do autor, não fatos universais nem garantia de segurança. Este conteúdo é informativo e não substitui avaliação técnica, jurídica, regulatória ou de segurança aplicada ao seu contexto. Tech Human e Trustyu atuam comercialmente em desenvolvimento e governança de produtos digitais. Pesquisa, estrutura e redação tiveram assistência de IA; revisão factual, aprovação autoral e autorização de publicação foram confirmadas por Fernando Parreiras em 02/10/2026, sem revisão humana independente adicional.

Este conteúdo ajudou?

Resposta anônima, sem cadastro.

Fontes e método

O que sustenta esta análise.

As referências numeradas abaixo são links diretos para permitir verificação. Síntese, análise própria, hipótese e experiência de campo permanecem identificadas separadamente.

Corte da pesquisa
02 de outubro de 2026
Última revisão
02 de outubro de 2026
Correções
Nenhuma correção registrada
  1. [1]AuraForge: Scaling Security Supervision for Training Coding AgentsarXiv · fonte primária · acesso em 02 de outubro de 2026
  2. [2]AuraGym datasetHugging Face · fonte primária · acesso em 02 de outubro de 2026
  3. [3]Is Vibe Coding Safe? Benchmarking Vulnerability of Agent-Generated Code in Real-World TasksProceedings of Machine Learning Research · fonte primária · acesso em 02 de outubro de 2026
  4. [4]SecureVibeBench: Benchmarking Secure Vibe Coding of AI Agents via Reconstructing Vulnerability-Introducing ScenariosACL Anthology · fonte primária · acesso em 02 de outubro de 2026

Continue a decisão

Ver IA e governança
Análise especialIA e governança12 min

Pedir ‘faça seguro’ não torna o código seguro

Um estudo com 4.240 gerações de código encontrou forte efeito dos prompts sobre a disposição do modelo para responder, mas não uma redução consistente das fraquezas detectadas. Para a liderança, a decisão é simples: instrução ajuda; controle precisa ser verificável fora do modelo.

Ler análise
Análise especialIA e governança10 min

Quando o agente encontra um atalho, a prova visual pode virar exposição

A pesquisa PixelLeak atribuiu a agentes de código a publicação de milhares de imagens em repositórios públicos. Os totais ainda carecem de auditoria independente completa, mas o caso já expõe uma falha de governança: a evidência de revisão não pode sair da fronteira autorizada.

Ler análise