A nova geração de ferramentas transforma uma intenção em software com velocidade inédita. No mesmo campo de texto, o builder pede a função, a interface e também ‘boas práticas de segurança’. O produto pode funcionar, parecer completo e chegar ao cliente em horas. O risco começa quando essa instrução é confundida com evidência de que o sistema está seguro.
O que o estudo realmente testou
O paper de Urmi e coautores [1], aceito na CASCON 2026, usou 424 tarefas Python de um dataset sintético orientado a vulnerabilidades. Cada tarefa foi submetida uma vez a cinco variantes de prompt e a dois modelos — GPT-4o e LLaMA 3.1-8B — totalizando 4.240 interações. Os resultados válidos foram avaliados por Bandit e CodeQL [4][5].
A primeira medição não era segurança, mas compliance de geração: se o modelo entregava Python executável ou recusava e devolvia outro tipo de resposta. No GPT-4o, os resultados inválidos caíram de 338 em 424 tarefas no prompt mínimo para uma faixa de 37 a 52 nos prompts estruturados. A estrutura tornou o modelo muito mais disposto a produzir código analisável.
Redistribuir findings não é eliminar risco
Condicionado aos arquivos Python válidos, o estudo não encontrou redução consistente da prevalência total de fraquezas entre modelos e prompts. No GPT-4o, prompts mais fortes deslocaram a distribuição dos findings: os de alta severidade caíram de 20,8% para 13,6%, enquanto os de baixa severidade subiram de 32% para 43,5%. No LLaMA, os movimentos foram menores e menos consistentes.
Isso não significa que o prompt seja inútil. Significa que o efeito foi heterogêneo, dependente do modelo e mais próximo de moldar comportamento e composição dos findings do que de remover o risco. Algumas classes permaneceram frequentes; outras diminuíram ou aumentaram de maneira não uniforme.
Finding estático não é vulnerabilidade explorável
- A amostra reúne tarefas sintéticas e deliberadamente sensíveis, não aplicações reais em produção.
- Foram avaliados apenas Python, dois modelos e uma geração por configuração; não há estimativa de variância entre execuções.
- Bandit e CodeQL identificam padrões e fluxos potenciais. Podem produzir falsos positivos, deixar problemas de fora e não demonstram comportamento em runtime ou explorabilidade.
- A auditoria manual de relevância e deriva semântica cobriu 15 das 424 tarefas.
- O pacote de replicação [2] foi disponibilizado, mas nenhuma replicação independente havia sido localizada no corte desta análise.
O código pode parecer mais seguro e fazer algo diferente
Na amostra manual, instruções de segurança mais fortes levaram o GPT-4o a substituir ou remover construções inseguras exigidas pela tarefa. A deriva semântica subiu de 3 em 15 saídas no baseline estruturado para 9 ou 10 em 15 nas variantes seguintes. Como eram tarefas que por desenho pediam construções perigosas, essa mudança pode ser desejável; mas ela mostra que reduzir findings não prova fidelidade ao requisito.
Do prompt ao controle verificável
- Requisito: declarar dados, identidades, ações, limites e abuso esperado antes da geração.
- Arquitetura: manter autorização, segredos, isolamento e políticas fora da decisão livre do modelo.
- Verificação: combinar testes funcionais, negativos, análise estática, dependências, contratos e testes dinâmicos proporcionais ao risco.
- Revisão: tratar findings como sinais a confirmar, priorizar e resolver — não como certificado automático.
- Release: bloquear promoção sem evidência ligada ao commit e ao artefato exato.
- Operação: observar falhas, abuso, custo, regressão e condição de rollback depois da publicação.
O NIST SSDF [6] recomenda integrar práticas seguras ao ciclo de desenvolvimento. Essa é a diferença entre uma orientação desejável e um trilho de engenharia: o trilho transforma propriedades em critérios executáveis, registra resultados e impede que a velocidade do gerador tenha autoridade para aceitar o próprio risco.
Perguntas que a liderança precisa fazer
- Quais propriedades de segurança são obrigatórias para este produto e quem as definiu?
- Qual mecanismo verifica cada propriedade sem depender da declaração do mesmo modelo que gerou o código?
- Que comportamento funcional pode ter mudado para o scan ficar verde?
- Quais resultados são findings potenciais, falhas confirmadas, risco aceito ou evidência ausente?
- Quem pode dispensar um controle, por quanto tempo e com qual justificativa?
- Conseguimos reconstruir prompt, modelo, diff, ferramentas, resultados, aprovação, artefato e operação?