Um agente constrói autenticação, catálogo, busca, pagamento e painel. Cada item parece pronto quando visto sozinho. Na jornada completa, porém, o perfil não preserva a preferência, o filtro perde estado e a autorização entra em conflito com a edição. O produto não falhou por ausência de peças. Falhou na composição.
17 produtos, 241 solicitações de funcionalidades e 544 planos
O ViBench 2.0, publicado pela Replit, avalia 17 produtos. O agente recebe uma especificação curta, constrói a primeira versão e acrescenta até 18 funcionalidades sobre o próprio código. O conjunto contém 241 solicitações e 544 planos de teste. Cada combinação de produto e modelo foi construída quatro vezes; oito produtos são públicos e nove permanecem retidos para reduzir ajuste direto ao benchmark [1][2].
Nos resultados publicados, a faixa de produto completo ficou de 49% a 65%: GPT-6.1 Sol concluiu todos os planos de um produto em 65% das construções, GPT-6 Astra em 60% e Opus 5.5 em 49%. Ao mesmo tempo, os melhores modelos passaram em mais de 90% dos planos considerados individualmente. Os dois números não se contradizem: uma única falha basta para retirar uma construção da taxa de produto completo [1].
Quase três quartos das construções incompletas falharam em interações
A análise atribui quase três quartos das construções que não passaram em tudo a testes de interação entre funcionalidades. Isso importa porque software empresarial raramente é uma soma de telas independentes. Identidade afeta autorização; modelo de dados afeta busca; estados antigos afetam migração; tratamento de erro afeta suporte e confiança.
A lição não é que agentes não conseguem construir produtos. É que a régua precisa medir o resultado integrado. A empresa que acompanha apenas tickets fechados pode observar uma velocidade crescente enquanto acumula falhas nas fronteiras que nenhum ticket isolado descreveu.
Uma régua de entrega para produtos construídos com agentes
- Descreva jornadas críticas e invariantes antes de decompor o trabalho em funcionalidades.
- Teste interações entre identidade, dados, permissões, estados, integrações e erros.
- Preserve regressões das etapas anteriores quando o agente acrescentar a próxima função.
- Avalie o produto completo em ambiente reconstruído, com o mesmo artefato candidato à promoção.
- Registre falhas inconclusivas de ambiente separadamente de falhas funcionais.
- Mantenha decisão humana para risco residual, exceção e lançamento; o placar não autoriza sozinho.
Mais custo não comprou automaticamente mais produto
A publicação estima cerca de US$ 12 por construção para GPT-6.1 Sol e cerca de US$ 90 para GPT-6 Astra. DeepSeek V4.1 Flash aparece com 77% nos planos e custo aproximado de US$ 2,50, mas sem resultado de construção completa comparável no material divulgado. Esses números pertencem ao harness, preços e datas do estudo; não são orçamento de projeto nem ranking universal [1].
Limites, conflito de interesse e contraponto
- O benchmark foi criado e publicado pela Replit, empresa que vende uma plataforma de desenvolvimento com IA; existe interesse comercial declarado pelo contexto da publicação.
- Nove dos 17 produtos são retidos e a metodologia detalhada ainda é apresentada como trabalho em evolução, reduzindo a auditabilidade externa imediata.
- A avaliação usa planos de teste e componentes automatizados de julgamento; não mede adoção, segurança, manutenção prolongada, satisfação do usuário ou product-market fit.
- Os 34 bugs plantados e as 477 reavaliações humanas, com 99,2% de concordância reportada, fortalecem checks específicos, mas não equivalem a replicação independente do benchmark completo.
- Modelos, preços e plataformas mudam rapidamente. Os resultados descrevem as versões e o harness avaliados, não uma propriedade permanente dos fornecedores.
A pergunta certa não é quanto o agente construiu
Pergunte qual jornada completa funciona, quais interações foram verificadas, qual evidência acompanha o artefato e quem responde pelo que ficou aberto. Em software, 90% das peças podem impressionar numa demonstração. O cliente, porém, encontra os 10% restantes justamente quando tenta usar o produto como um sistema.
Nota editorial e de responsabilidade
Números, população, método, custos e limitações foram atribuídos às fontes diretas. O artigo separa resultados reportados pela Replit de interpretação editorial e recomendações profissionais. Pontos de vista pessoais e profissionais do autor não são fatos universais nem garantia de resultado. O conteúdo é informativo e não substitui avaliação técnica, jurídica, regulatória, financeira ou de segurança. Replit, modelos, produtos e instituições citados pertencem aos respectivos titulares; não há patrocínio ou endosso. Tech Human e Trustyu atuam comercialmente em desenvolvimento e governança de produtos digitais. Pesquisa, estrutura e redação tiveram assistência de IA; Fernando Parreiras autorizou a pauta, a auto-revisão factual e a publicação em 29/10/2026, sem revisão humana independente adicional. O benchmark permanece em acompanhamento e o artigo poderá receber correções se houver metodologia ampliada, contestação ou replicação relevante.