O agente abre sistemas, procura dados, conversa com pessoas e conclui etapas. No painel, tudo parece executado. O cliente, porém, continua sem uma resposta correta ou recebe uma decisão que ignora uma restrição importante. O FDE-Gym foi construído justamente para medir essa distância entre atividade concluída e resultado empresarial.
95 tarefas, 20 cenários e 18 setores
O benchmark reuniu 95 tarefas derivadas de 20 cenários de clientes em 18 setores. Foram avaliadas 13 configurações de modelos de sete fornecedores. Cada configuração enfrentou 152 combinações de tarefa e instrução, somando 1.976 combinações; com três repetições por combinação, o total chegou a 5.928 execuções [1][2].
As tarefas simulavam trabalho de um Forward Deployed Engineer: entender a necessidade, navegar por ferramentas, obter informação de stakeholders, tomar decisões e produzir um resultado. O desenho procurou avaliar a trajetória completa, não apenas respostas curtas ou chamadas isoladas de API.
O melhor agente resolveu 14 das 95 tarefas
A melhor configuração obteve média 0,56. Pelo critério do estudo — score de pelo menos 0,8 e nenhum incidente — ela resolveu 14 das 95 tarefas. Cinco das 13 configurações não resolveram nenhuma. Em cinco dos 20 cenários, nenhum modelo alcançou média de 0,5 [1][2].
Encontrar informação também não bastou. Em 23 tarefas nas quais todos os fatos-chave foram recuperados, somente dez chegaram a score de pelo menos 0,8. A lacuna apareceu na interpretação, coordenação, decisão e execução do que deveria ser feito com os fatos encontrados.
O que muda na compra e no desenho de agentes
- Especifique o resultado observável, as restrições e as condições de encerramento antes de escolher o modelo.
- Separe descoberta de fatos, decisão, ação externa e aceite; cada etapa precisa de evidência própria.
- Inclua custo de contato, retrabalho, incidente e supervisão na conta de produtividade.
- Teste casos completos do seu processo, incluindo informação ausente, conflito entre fontes e stakeholders indisponíveis.
- Defina quando o agente deve parar, pedir ajuda ou devolver uma decisão ao responsável humano.
- Meça resultado por cliente e por classe de risco, não somente média agregada de tarefas.
Limites, conflito de interesse e contraponto
- Os stakeholders eram simulados por scripts; o estudo não mede conversas com pessoas reais, política interna ou mudança organizacional.
- Não houve baseline humano, portanto o benchmark compara modelos entre si e com o desenho da tarefa, não com equipes experientes.
- Um único framework de agente foi usado, com isolamento de execução variando entre condições; outra arquitetura pode produzir resultados diferentes.
- Os 20 cenários concentram operações reguladas e não representam toda empresa, setor ou função.
- Setenta e cinco variantes e referências ficaram retidas, mas contaminação por conhecimento prévio não pode ser descartada; apenas três tarefas completas são públicas.
- Os autores têm afiliações acadêmicas e empresariais diversas. O paper afirma que nenhuma organização dos modelos avaliados empregava os autores, mas a DeepLethe opera o benchmark e seu leaderboard, o que configura interesse institucional na adoção da avaliação.
- Até o corte editorial, não localizamos reprodução independente completa nem respostas públicas específicas dos fornecedores avaliados.
A regra prática: avalie a cadeia de valor, não a coreografia
Uma empresa não precisa de um agente que pareça ocupado. Precisa de um sistema que transforme necessidade em resultado verificável, com custo e risco aceitáveis. Quando a avaliação termina no tool use, ela premia movimento. Quando começa no problema do cliente, ela permite decidir onde automatizar, onde supervisionar e onde manter responsabilidade humana.
Nota editorial e de responsabilidade
Números, denominadores, população, método, afiliações e limitações foram atribuídos às fontes diretas. O artigo separa resultados reportados pelos pesquisadores de interpretação editorial e recomendações profissionais. Pontos de vista pessoais e profissionais do autor não são fatos universais nem garantia de resultado. O conteúdo é informativo e não substitui avaliação técnica, jurídica, regulatória, financeira ou de segurança. Autores, instituições, modelos e produtos citados pertencem aos respectivos titulares; não há patrocínio ou endosso. Tech Human e Trustyu atuam comercialmente em desenvolvimento e governança de produtos digitais. Pesquisa, estrutura e redação tiveram assistência de IA; revisão factual, aprovação autoral e autorização de publicação foram confirmadas por Fernando Parreiras em 16/10/2026, sem revisão humana independente adicional.