TechHuman

Análise especial · IA e governança

Pedir ‘faça seguro’ não torna o código seguro

Um estudo com 4.240 gerações de código encontrou forte efeito dos prompts sobre a disposição do modelo para responder, mas não uma redução consistente das fraquezas detectadas. Para a liderança, a decisão é simples: instrução ajuda; controle precisa ser verificável fora do modelo.

Por Fernando ParreirasRevisão: Fernando ParreirasPublicado em 24 de outubro de 202612 min de leitura

A nova geração de ferramentas transforma uma intenção em software com velocidade inédita. No mesmo campo de texto, o builder pede a função, a interface e também ‘boas práticas de segurança’. O produto pode funcionar, parecer completo e chegar ao cliente em horas. O risco começa quando essa instrução é confundida com evidência de que o sistema está seguro.

O que o estudo realmente testou

O paper de Urmi e coautores [1], aceito na CASCON 2026, usou 424 tarefas Python de um dataset sintético orientado a vulnerabilidades. Cada tarefa foi submetida uma vez a cinco variantes de prompt e a dois modelos — GPT-4o e LLaMA 3.1-8B — totalizando 4.240 interações. Os resultados válidos foram avaliados por Bandit e CodeQL [4][5].

A primeira medição não era segurança, mas compliance de geração: se o modelo entregava Python executável ou recusava e devolvia outro tipo de resposta. No GPT-4o, os resultados inválidos caíram de 338 em 424 tarefas no prompt mínimo para uma faixa de 37 a 52 nos prompts estruturados. A estrutura tornou o modelo muito mais disposto a produzir código analisável.

Redistribuir findings não é eliminar risco

Condicionado aos arquivos Python válidos, o estudo não encontrou redução consistente da prevalência total de fraquezas entre modelos e prompts. No GPT-4o, prompts mais fortes deslocaram a distribuição dos findings: os de alta severidade caíram de 20,8% para 13,6%, enquanto os de baixa severidade subiram de 32% para 43,5%. No LLaMA, os movimentos foram menores e menos consistentes.

Isso não significa que o prompt seja inútil. Significa que o efeito foi heterogêneo, dependente do modelo e mais próximo de moldar comportamento e composição dos findings do que de remover o risco. Algumas classes permaneceram frequentes; outras diminuíram ou aumentaram de maneira não uniforme.

Finding estático não é vulnerabilidade explorável

  • A amostra reúne tarefas sintéticas e deliberadamente sensíveis, não aplicações reais em produção.
  • Foram avaliados apenas Python, dois modelos e uma geração por configuração; não há estimativa de variância entre execuções.
  • Bandit e CodeQL identificam padrões e fluxos potenciais. Podem produzir falsos positivos, deixar problemas de fora e não demonstram comportamento em runtime ou explorabilidade.
  • A auditoria manual de relevância e deriva semântica cobriu 15 das 424 tarefas.
  • O pacote de replicação [2] foi disponibilizado, mas nenhuma replicação independente havia sido localizada no corte desta análise.

O código pode parecer mais seguro e fazer algo diferente

Na amostra manual, instruções de segurança mais fortes levaram o GPT-4o a substituir ou remover construções inseguras exigidas pela tarefa. A deriva semântica subiu de 3 em 15 saídas no baseline estruturado para 9 ou 10 em 15 nas variantes seguintes. Como eram tarefas que por desenho pediam construções perigosas, essa mudança pode ser desejável; mas ela mostra que reduzir findings não prova fidelidade ao requisito.

Do prompt ao controle verificável

  • Requisito: declarar dados, identidades, ações, limites e abuso esperado antes da geração.
  • Arquitetura: manter autorização, segredos, isolamento e políticas fora da decisão livre do modelo.
  • Verificação: combinar testes funcionais, negativos, análise estática, dependências, contratos e testes dinâmicos proporcionais ao risco.
  • Revisão: tratar findings como sinais a confirmar, priorizar e resolver — não como certificado automático.
  • Release: bloquear promoção sem evidência ligada ao commit e ao artefato exato.
  • Operação: observar falhas, abuso, custo, regressão e condição de rollback depois da publicação.

O NIST SSDF [6] recomenda integrar práticas seguras ao ciclo de desenvolvimento. Essa é a diferença entre uma orientação desejável e um trilho de engenharia: o trilho transforma propriedades em critérios executáveis, registra resultados e impede que a velocidade do gerador tenha autoridade para aceitar o próprio risco.

Perguntas que a liderança precisa fazer

  • Quais propriedades de segurança são obrigatórias para este produto e quem as definiu?
  • Qual mecanismo verifica cada propriedade sem depender da declaração do mesmo modelo que gerou o código?
  • Que comportamento funcional pode ter mudado para o scan ficar verde?
  • Quais resultados são findings potenciais, falhas confirmadas, risco aceito ou evidência ausente?
  • Quem pode dispensar um controle, por quanto tempo e com qual justificativa?
  • Conseguimos reconstruir prompt, modelo, diff, ferramentas, resultados, aprovação, artefato e operação?

Este conteúdo ajudou?

Resposta anônima, sem cadastro.

Fontes e método

O que sustenta esta análise.

As referências numeradas abaixo são links diretos para permitir verificação. Síntese, análise própria, hipótese e experiência de campo permanecem identificadas separadamente.

Corte da pesquisa
26 de agosto de 2026
Última revisão
26 de agosto de 2026
Correções
Nenhuma correção registrada
  1. [1]Prompt Structure Redistributes, Not Reduces: An Empirical Analysis of Security-Weaknesses in LLM-Generated Python CodeMaitreyee Das Urmi, Jessica Pourleyli, Fabio Santos e Glaucia Melo · fonte primária · acesso em 26 de agosto de 2026
  2. [2]Replication package — Prompt Structure Redistributes, Not ReducesZenodo · fonte primária · acesso em 26 de agosto de 2026
  3. [3]Code Vulnerability Security DPO datasetCyberNative · fonte primária · acesso em 26 de agosto de 2026
  4. [4]Welcome to BanditPyCQA Bandit · fonte primária · acesso em 26 de agosto de 2026
  5. [5]About CodeQLGitHub CodeQL · fonte primária · acesso em 26 de agosto de 2026
  6. [6]Secure Software Development Framework (SSDF) Version 1.1National Institute of Standards and Technology · fonte primária · acesso em 26 de agosto de 2026

Continue a decisão

Ver IA e governança
Análise especialIA e governança11 min

Código funcional não é código seguro

Um novo estudo transformou correções históricas de vulnerabilidades em testes executáveis para treinar agentes de programação. O resultado reforça uma decisão de negócio: software que passa no teste funcional ainda precisa provar as propriedades de segurança que o pedido não escreveu.

Ler análise
Análise especialIA e governança11 min

Trocar o modelo não elimina o risco do código

Um estudo longitudinal avaliou 380.800 programas gerados por 32 modelos de sete famílias. Todos melhoraram em segurança absoluta, mas nenhuma família fechou a distância entre código funcional e código seguro — e versões novas também regrediram em fraquezas específicas.

Ler análise