Uma IA escreve a correção, cria um teste para a própria interpretação e recebe verde. Parece eficiência. Também pode ser uma forma rápida de tornar dois erros coerentes: o patch entende o problema de um jeito incompleto e o teste verifica exatamente essa leitura incompleta.
O que o paper realmente testou
O preprint ExecCritic, submetido ao arXiv em 8 de setembro de 2026, propõe dois agentes com o mesmo backbone Qwen-3.5-35B-A3B, treinados separadamente. O Test Agent cria um teste nativo do repositório e um contrato de comportamento. Um harness fail-closed valida o pacote, exige falha limpa na versão base e congela o teste. O Repair Agent pode mudar apenas o código e recebe feedback de execução. O avaliador oficial do SWE-bench continua sendo a autoridade final [1][2].
A independência é delimitada: os agentes não compartilham a mesma trajetória nem as mesmas permissões de escrita, mas podem interpretar o requisito de forma parecida. O próprio paper diz que falhar na base não prova alinhamento semântico com a issue; mostra apenas que o teste distingue aquela condição observada [2].
O resultado central: feedback ruim pode fazer pior
- Sem teste gerado, o Repair Agent base reportou 61,2% de resolução no SWE-bench Verified.
- Com testes do Test Agent base, mantendo o Repair fixo, a taxa caiu para 57,3%: menos 3,9 pontos percentuais.
- Com testes gerados por GPT-5.6-sol, o mesmo Repair subiu para 65,3%.
- Após treinamento específico, o Test Agent passou de 22,2% para 62,2% em Base-to-Gold.
- A composição dos dois agentes treinados chegou a 72,6%, ganho de 11,4 pontos sobre o baseline original sem teste.
Os resultados de Repair são médias de três execuções nas configurações correspondentes. O ganho de 72,6% pertence ao sistema completo, com custo adicional de geração de teste e revisões; o paper não apresenta esse número como comparação compute-matched [2].
O que o estudo não prova
- É um preprint v1, ainda sem revisão por pares ou replicação independente localizada no corte.
- O benchmark não representa todos os repositórios, linguagens, organizações ou tipos de manutenção.
- Separar papéis reduz um acoplamento; não garante independência estatística dos erros.
- Um teste que falha na base e passa numa correção conhecida ainda pode ser estreito, incompleto ou inadequado para produção.
- O repositório público oferece código e protocolo, mas exclui resultados, trajetórias, checkpoints, datasets e estado de sandbox; reproduzir integralmente exige infraestrutura e artefatos adicionais [3].
A nova esteira de entrega com agentes
- Contrato: transformar a demanda em comportamento observável, exceções e critérios de aceite.
- Teste: criar evidência que consiga reprovar a base e discriminar correções erradas.
- Qualificação: validar vínculo com a tarefa, ambiente, comando, alcance e falha operacional.
- Reparo: alterar apenas o código sob o alvo congelado, sem reescrever o critério para obter verde.
- Avaliação: usar suíte independente, revisão de risco e autoridade humana proporcional à consequência.
- Aprendizagem: registrar falsos verdes, testes inúteis, custo, regressões e decisões de promoção.
Checklist para um time adotar amanhã
- O agente que muda o código pode também mudar o teste que encerra a tarefa?
- O teste verifica o requisito ou apenas demonstra que algo executou?
- Falha do ambiente, falha do teste e falha do comportamento são estados separados?
- O alvo aprovado fica congelado e recebe digest ou referência imutável?
- A suíte independente continua tendo autoridade sobre a conclusão?
- O time mede custo e revisões adicionais junto com a taxa de resolução?
Nota editorial e de responsabilidade
Este artigo interpreta um preprint e seu repositório público; resultados são reportados pelos autores no SWE-bench Verified e não foram reproduzidos pela Tech Human. Pontos de vista e recomendações do autor são análise profissional, não fatos universais. O conteúdo é informativo e não substitui avaliação técnica ou de segurança. Há concentração de autores ligados à Microsoft Research e ausência de replicação independente no corte; isso contextualiza, mas não invalida, o estudo. Pesquisa, estrutura e redação tiveram assistência de IA; revisão factual, autoral e aprovação foram confirmadas por Fernando Parreiras em 09/09/2026.