TechHuman

Paper em acompanhamento · evidência preliminar

Papers que lemos por você · Produto e liderança

Construir mais de 90% do produto não significa entregar o produto

No ViBench 2.0, os melhores modelos concluíram mais de 90% dos planos isolados, mas só entregaram todos os requisitos em 49% a 65% das construções. A diferença está nas interações que transformam funcionalidades em produto.

Por Fernando ParreirasRevisão: Fernando ParreirasPublicado em 01 de novembro de 202612 min de leitura

Um agente constrói autenticação, catálogo, busca, pagamento e painel. Cada item parece pronto quando visto sozinho. Na jornada completa, porém, o perfil não preserva a preferência, o filtro perde estado e a autorização entra em conflito com a edição. O produto não falhou por ausência de peças. Falhou na composição.

17 produtos, 241 solicitações de funcionalidades e 544 planos

O ViBench 2.0, publicado pela Replit, avalia 17 produtos. O agente recebe uma especificação curta, constrói a primeira versão e acrescenta até 18 funcionalidades sobre o próprio código. O conjunto contém 241 solicitações e 544 planos de teste. Cada combinação de produto e modelo foi construída quatro vezes; oito produtos são públicos e nove permanecem retidos para reduzir ajuste direto ao benchmark [1][2].

Nos resultados publicados, a faixa de produto completo ficou de 49% a 65%: GPT-6.1 Sol concluiu todos os planos de um produto em 65% das construções, GPT-6 Astra em 60% e Opus 5.5 em 49%. Ao mesmo tempo, os melhores modelos passaram em mais de 90% dos planos considerados individualmente. Os dois números não se contradizem: uma única falha basta para retirar uma construção da taxa de produto completo [1].

Quase três quartos das construções incompletas falharam em interações

A análise atribui quase três quartos das construções que não passaram em tudo a testes de interação entre funcionalidades. Isso importa porque software empresarial raramente é uma soma de telas independentes. Identidade afeta autorização; modelo de dados afeta busca; estados antigos afetam migração; tratamento de erro afeta suporte e confiança.

A lição não é que agentes não conseguem construir produtos. É que a régua precisa medir o resultado integrado. A empresa que acompanha apenas tickets fechados pode observar uma velocidade crescente enquanto acumula falhas nas fronteiras que nenhum ticket isolado descreveu.

Uma régua de entrega para produtos construídos com agentes

  • Descreva jornadas críticas e invariantes antes de decompor o trabalho em funcionalidades.
  • Teste interações entre identidade, dados, permissões, estados, integrações e erros.
  • Preserve regressões das etapas anteriores quando o agente acrescentar a próxima função.
  • Avalie o produto completo em ambiente reconstruído, com o mesmo artefato candidato à promoção.
  • Registre falhas inconclusivas de ambiente separadamente de falhas funcionais.
  • Mantenha decisão humana para risco residual, exceção e lançamento; o placar não autoriza sozinho.

Mais custo não comprou automaticamente mais produto

A publicação estima cerca de US$ 12 por construção para GPT-6.1 Sol e cerca de US$ 90 para GPT-6 Astra. DeepSeek V4.1 Flash aparece com 77% nos planos e custo aproximado de US$ 2,50, mas sem resultado de construção completa comparável no material divulgado. Esses números pertencem ao harness, preços e datas do estudo; não são orçamento de projeto nem ranking universal [1].

Limites, conflito de interesse e contraponto

  • O benchmark foi criado e publicado pela Replit, empresa que vende uma plataforma de desenvolvimento com IA; existe interesse comercial declarado pelo contexto da publicação.
  • Nove dos 17 produtos são retidos e a metodologia detalhada ainda é apresentada como trabalho em evolução, reduzindo a auditabilidade externa imediata.
  • A avaliação usa planos de teste e componentes automatizados de julgamento; não mede adoção, segurança, manutenção prolongada, satisfação do usuário ou product-market fit.
  • Os 34 bugs plantados e as 477 reavaliações humanas, com 99,2% de concordância reportada, fortalecem checks específicos, mas não equivalem a replicação independente do benchmark completo.
  • Modelos, preços e plataformas mudam rapidamente. Os resultados descrevem as versões e o harness avaliados, não uma propriedade permanente dos fornecedores.

A pergunta certa não é quanto o agente construiu

Pergunte qual jornada completa funciona, quais interações foram verificadas, qual evidência acompanha o artefato e quem responde pelo que ficou aberto. Em software, 90% das peças podem impressionar numa demonstração. O cliente, porém, encontra os 10% restantes justamente quando tenta usar o produto como um sistema.

Nota editorial e de responsabilidade

Números, população, método, custos e limitações foram atribuídos às fontes diretas. O artigo separa resultados reportados pela Replit de interpretação editorial e recomendações profissionais. Pontos de vista pessoais e profissionais do autor não são fatos universais nem garantia de resultado. O conteúdo é informativo e não substitui avaliação técnica, jurídica, regulatória, financeira ou de segurança. Replit, modelos, produtos e instituições citados pertencem aos respectivos titulares; não há patrocínio ou endosso. Tech Human e Trustyu atuam comercialmente em desenvolvimento e governança de produtos digitais. Pesquisa, estrutura e redação tiveram assistência de IA; Fernando Parreiras autorizou a pauta, a auto-revisão factual e a publicação em 29/10/2026, sem revisão humana independente adicional. O benchmark permanece em acompanhamento e o artigo poderá receber correções se houver metodologia ampliada, contestação ou replicação relevante.

Este conteúdo ajudou?

Resposta anônima, sem cadastro.

Fontes e método

O que sustenta esta análise.

As referências numeradas abaixo são links diretos para permitir verificação. Síntese, análise própria, hipótese e experiência de campo permanecem identificadas separadamente.

Corte da pesquisa
29 de outubro de 2026
Última revisão
29 de outubro de 2026
Correções
Nenhuma correção registrada
  1. [1]ViBench 2.0: A Long-Horizon Software BenchmarkReplit · fonte primária · acesso em 29 de outubro de 2026
  2. [2]ViBench 2.0 benchmark repositoryReplit · fonte primária · acesso em 29 de outubro de 2026

Continue a decisão

Ver Produto e liderança
Papers que lemos por vocêProduto e liderança12 min

Sua IA alterou o código. Quem atualizou o conhecimento?

Em 29.669 pull requests gerados por agentes, 63,2% alteraram código sem coalterar documentação. O estudo não prova inconsistência, mas expõe um risco operacional que cresce quando a velocidade do código supera a manutenção do conhecimento.

Ler análise