A diretoria recebe um score de qualidade, segurança ou risco produzido por um modelo e trata o número como se fosse uma medida estável. Mas o mesmo texto pode receber outra nota quando a régua muda de 1–5 para 0–100, quando positivo e negativo trocam de lado ou quando o formato deixa de ser numérico. O estudo analisado mostra que a escala faz parte do comportamento do avaliador.
11.700 textos, 16 escalas e cinco modelos
Os autores avaliaram 1.700 textos de inclinação política, 5.000 de sentimento e 5.000 de toxicidade. Cada tarefa foi testada com 16 combinações de escala: dois formatos, quatro intervalos e duas direções, em dois estilos de prompt e cinco modelos [1][2].
O objetivo não era descobrir qual escala é a correta, mas observar se escolhas aparentemente equivalentes preservavam a classificação. A resposta foi negativa: o design numérico e semântico alterou os julgamentos.
Uma escolha de escala mudou cerca de 20% das categorias
Em média, alterar um elemento do desenho deslocou o score normalizado em aproximadamente 0,10 e mudou a categoria atribuída a cerca de 20% dos textos. Na decomposição reportada, o desenho da escala respondeu por 40,3% da sensibilidade numérica, enquanto a tarefa respondeu por 58,9% da sensibilidade semântica. Incluir uma rubrica mais detalhada não eliminou o efeito [1][2].
Quando uma nota decide, a régua vira controle de produção
- Um limiar de moderação pode bloquear ou liberar conteúdo diferente sem mudança no texto.
- Um score de qualidade pode alterar ranking de fornecedor, modelo ou equipe por escolha de apresentação.
- Uma avaliação automatizada de risco pode parecer precisa e ainda ser instável a uma reformulação equivalente.
- Comparações históricas deixam de ser válidas quando escala, prompt ou modelo mudam sem recalibração.
- Metas e incentivos ligados ao score podem otimizar uma convenção de medição, não o resultado desejado.
Um contrato mínimo para scores produzidos por IA
- Fixe versão do modelo, prompt, escala, exemplos, direção, intervalo e regras de arredondamento.
- Defina a unidade avaliada e o significado operacional de cada categoria antes do teste.
- Meça concordância humana e estabilidade entre escalas equivalentes em uma amostra representativa.
- Analise sensibilidade perto dos limiares onde a decisão muda.
- Monitore grupos, idiomas, tarefas e períodos separadamente; a média pode esconder inversões relevantes.
- Exija revisão humana ou segunda evidência quando a nota produzir efeito material ou difícil de reverter.
Limites, conflito de interesse e contraponto
- O estudo cobre três tarefas em inglês; os resultados não se transferem automaticamente para outros idiomas, domínios ou decisões empresariais.
- Foram comparados prompts zero-shot e com rubrica, não toda técnica de calibração ou avaliação estruturada.
- O trabalho é um preprint e não localizamos reprodução independente completa até o corte editorial.
- Os autores declaram afiliações a UC Davis, UC Santa Barbara e MBZUAI. Não localizamos declaração explícita de financiamento ou conflito de interesse no texto consultado; ausência de declaração não prova ausência de interesse.
- O estudo demonstra sensibilidade nas condições avaliadas, não que todo score de IA seja inútil. Escalas podem ser usadas, desde que tratadas como parte versionada e validada do sistema.
A regra prática: score sem contrato é opinião com casas decimais
A precisão visual de um número não compensa uma régua instável. O valor do score nasce da definição, da calibração, da repetibilidade e da ligação com uma decisão real. Se essas condições não estão documentadas, a empresa não tem uma medida confiável — tem uma resposta do modelo apresentada como métrica.
Nota editorial e de responsabilidade
Números, denominadores, população, método, afiliações e limitações foram atribuídos às fontes diretas. O artigo separa resultados reportados pelos pesquisadores de interpretação editorial e recomendações profissionais. Pontos de vista pessoais e profissionais do autor não são fatos universais nem garantia de resultado. O conteúdo é informativo e não substitui avaliação técnica, jurídica, regulatória ou de segurança. Autores, instituições, modelos e produtos citados pertencem aos respectivos titulares; não há patrocínio ou endosso. Tech Human e Trustyu atuam comercialmente em desenvolvimento e governança de produtos digitais. Pesquisa, estrutura e redação tiveram assistência de IA; revisão factual, aprovação autoral e autorização de publicação foram confirmadas por Fernando Parreiras em 16/10/2026, sem revisão humana independente adicional.