Fernando Wolff, CEO e cofundador da Tech for Humans, afirma que as empresas talvez façam a pergunta errada quando querem saber qual é o melhor modelo de inteligência artificial. Em artigo publicado no Startups, ele apresenta um teste com oito modelos de linguagem aplicados a fluxos de atendimento ao cliente. Para Wolff, o resultado mostra que a escolha depende da operação, e não apenas do desempenho de cada modelo em rankings e benchmarks.
De acordo com o autor, todos os modelos foram avaliados em condições equivalentes, com os mesmos fluxos de atendimento e os mesmos critérios. A avaliação considerou a qualidade das respostas, a capacidade de escolher e usar corretamente as ferramentas, a conclusão das tarefas propostas e o controle de alucinações, além de métricas operacionais como custo e latência. O desempenho foi resumido em dois indicadores: o Score Final, que consolida os critérios definidos, e o Pass Rate, que representa a proporção de execuções aprovadas.
O GPT-5.4 mini teve o melhor desempenho geral, com Score Final de 86,4% e Pass Rate de 92,5%. O GPT-5.4 nano chegou a 73,3% de Pass Rate, mas teve o menor custo e a menor latência entre os candidatos. Na estimativa apresentada no artigo, uma sessão com o mini custou cerca de US$ 0,093, enquanto o nano ficou em US$ 0,017, uma diferença de mais de cinco vezes.
Wolff usa essa diferença para defender que a resposta muda conforme o cenário. Quando uma falha pode gerar retrabalho ou comprometer uma etapa importante da experiência do cliente, pagar mais por uma taxa de resolução maior pode fazer sentido. Já em aplicações de alto volume, em que custo e velocidade são determinantes, um modelo mais enxuto pode ser mais adequado. Nas palavras dele, "melhor" não é uma característica absoluta de um modelo, mas "uma relação entre o modelo e a tarefa que ele precisa executar".
O executivo também critica o hábito de limitar o debate sobre custo ao preço por token. Segundo ele, agentes de IA não apenas geram texto: interpretam contexto, tomam decisões, acionam ferramentas e avançam por diferentes etapas até concluir uma tarefa. Por isso, um modelo barato por chamada pode sair caro por resolução se falhar com mais frequência ou exigir mais ciclos para terminar o trabalho. A métrica que interessa ao negócio, defende Wolff, é quanto custa resolver uma tarefa.
Outro ponto do artigo é a diferença entre responder e executar. Em um atendimento, o agente pode precisar consultar uma base, registrar uma ocorrência ou encaminhar uma solicitação, e uma resposta bem escrita não compensa a escolha da ferramenta errada. Nos testes, a escolha incorreta de ferramentas apareceu como um dos principais motivos de falha, e os modelos se comportaram de formas distintas justamente quando precisavam decidir qual ação executar.
A segurança é a terceira dimensão apontada pelo autor. Alguns modelos tiveram Score Final acima de 79% e Pass Rate competitivo, mas foram reprovados por ultrapassar o limite de alucinação definido na avaliação. Para Wolff, critérios desse tipo não deveriam ser compensados por uma boa média, maior velocidade ou menor custo. Em aplicações críticas, diz ele, a segurança precisa funcionar como um filtro.
O CEO reconhece que os benchmarks públicos continuam úteis para comparar capacidades gerais e fazer uma primeira seleção. A decisão final, porém, deveria ser tomada diante do problema que a empresa quer resolver, medindo taxa de conclusão, uso correto de ferramentas, custo por resolução, latência, intervenção humana e taxa de erro, e medindo mais de uma vez. Segundo ele, como modelos de linguagem são probabilísticos, uma única execução não necessariamente representa seu comportamento: na avaliação, alguns alternaram entre aprovação e reprovação em rodadas diferentes, enquanto outros mostraram padrões de falha mais consistentes.
Para Wolff, a avaliação de IA tende a deixar de ser um teste pontual e se tornar um processo contínuo. A pergunta mais importante, escreve, passa a ser qual IA é boa o suficiente para cada tarefa, dentro do custo que o negócio suporta e do risco que está disposto a assumir, e como provar isso antes de colocá-la em produção.
