Como avaliar um sistema multi-agente: o que o MultiAgentBench mede e por que topologia em grafo lidera

Resumo: Quando um sistema multi-agente termina uma tarefa, o teste “acertou ou errou” deixa de bastar. O MultiAgentBench, benchmark desenvolvido por um grupo da Universidade de Illinois e parceiros, mede também como os agentes chegaram lá — qualidade de colaboração, capacidade de negociação, topologia de coordenação, marcos intermediários. Os resultados publicados no benchmark mostram que o GPT-4o-mini tem a maior pontuação média em tarefas mistas, a topologia em grafo bate cadeia e estrela na maioria dos cenários, e adicionar planejamento cognitivo melhora 3% a taxa de cumprimento de marcos. Para times que estão colocando agentes em produção, é o tipo de leitura que muda decisão de arquitetura.

Por que avaliar multi-agente é diferente de avaliar um LLM

Um LLM sozinho é avaliado por respostas: deu resposta certa, ganha ponto; deu errada, perde. Um sistema multi-agente — cinco, dez, cem LLMs trocando mensagens — pode acertar a tarefa final por sorte, pode acertar atravessando rotas absurdamente caras, pode falhar porque dois agentes brigaram por um mesmo subobjetivo. O resultado binário esconde tudo isso. E sem visibilidade do processo, o engenheiro fica cego para os principais modos de falha em produção.

O MultiAgentBench ataca o problema com três escolhas explícitas: tarefas com marcos intermediários, métricas que separam cooperação de competição, e protocolos de coordenação testáveis. É menos um benchmark e mais um kit de avaliação.

O que é avaliado, exatamente

O framework cobre cenários colaborativos (todos os agentes têm o mesmo objetivo) e adversariais (objetivos conflitantes — incluindo dinâmica tipo “werewolf” para testar negociação). Os KPIs são organizados em marcos: o sistema cumpre o marco 1 antes do marco 2? Em quantas iterações? Com quantas mensagens? Quanto custou em tokens?

Sobre topologia, MultiAgentBench testa quatro padrões:

• Estrela: um agente coordenador centraliza decisões. Simples, mas vira gargalo.
• Cadeia: agente A passa para B, que passa para C. Boa para pipelines lineares; ruim quando precisa voltar atrás.
• Árvore: hierarquia. Funciona quando o problema é decomponível em sub-tarefas.
• Grafo: comunicação aberta entre todos. Mais cara, mas no benchmark é a que mais entrega — em média.

O passo a passo para aplicar isso no seu time

1. Defina marcos antes de definir agentes

Antes de escolher se você vai ter um ReAct, um CrewAI, um AutoGen ou um stack próprio, escreva os marcos que separam um trabalho parcial de um trabalho completo. Ex.: para uma tarefa de pesquisa, marcos podem ser buscar fontes → extrair fatos → cruzar inconsistências → sintetizar relatório. Sem marcos, não há métrica de qualidade de processo.

2. Escolha topologia com base no fluxo, não no hype

Quem segue só notícias tende a copiar arquiteturas de papers da moda. O MultiAgentBench mostra que grafo lidera em média, mas para tarefas decomponíveis e independentes, árvore custa menos. Para fluxo serial (cadeia de processamento), cadeia entrega resultado semelhante com fração do custo.

3. Adicione planejamento cognitivo

No benchmark, embutir uma etapa de “planejamento” antes da execução melhora 3% a taxa de cumprimento de marcos. Em produção, isso pode significar que os agentes geram um esboço de plano, validam consistência, e só então executam. O ganho parece pequeno, mas em volume é decisivo.

4. Modele explicitamente cenários competitivos

Mesmo em time cooperativo, agentes com função especializada vão competir por contexto, por orçamento de tokens, por atenção do orquestrador. O MultiAgentBench mede isso de forma adversarial intencional. Em produção, vale rodar simulação adversarial periódica como teste de resiliência.

5. Logue o processo, não só o resultado

Sem rastros das mensagens trocadas, das decisões intermediárias, das ferramentas chamadas, não há como diagnosticar onde o sistema falha. Vincule cada marco a um trecho do log e monitore drift do processo, não só drift de output.

Por que importa

Em 2026, multi-agente saiu da pesquisa e entrou em produção em times de venda, suporte, engenharia de software, jurídico e operações. Microsoft, Salesforce, Anthropic, OpenAI, Google e dezenas de startups vendem stacks. Sem benchmark que olhe para qualidade de processo, decisões de arquitetura viram aposta. Frameworks como o MultiAgentBench (e o MASEval, citado no mesmo ecossistema) dão a base empírica para decidir.

Status no Brasil

Times brasileiros em fintechs (Nubank, PicPay, C6), big techs locais (Stone, Mercado Livre, Locaweb) e integradores que servem o mercado financeiro e o varejo estão experimentando agentes em produção. A maioria mede apenas resultado de tarefa. Adotar benchmarks com marcos representa salto de maturidade — e barateia substancialmente o custo de operar agentes em escala, porque revela rotas ineficientes antes do faturamento mensal evidenciar o desperdício de tokens.

Riscos e limitações

• Benchmark não é produção: cenários sintéticos do MultiAgentBench cobrem muitos casos, mas não todos. Validação interna continua indispensável.
• Custo de orquestração: topologia em grafo é cara. Em produção com volumes altos, pode não compensar o ganho de qualidade.
• Modelos mudam: GPT-4o-mini liderar no benchmark hoje não significa que seguirá líder. Resultados envelhecem rápido.
• Viés de tarefa: marcos definidos pelos autores podem favorecer certo estilo de raciocínio. Adaptar para suas tarefas é necessário.

Cenário futuro

A tendência em 2026 e 2027 é benchmark de processo se tornar tão importante quanto benchmark de resultado. Veremos versões especializadas para domínios (finanças, saúde, engenharia de software) e ferramentas de observabilidade nativas para agentes que se conectem aos KPIs de marcos. Vendors de plataformas (LangSmith, Helicone, Arize, Phoenix) já caminham nesse sentido. Os times que adotarem cedo terão vantagem operacional clara.

Conclusão prática

Se você está construindo um sistema multi-agente neste momento: pare antes de cravar topologia, leia o paper do MultiAgentBench, defina marcos da sua tarefa e teste pelo menos duas topologias com o mesmo conjunto de marcos. O retorno em entendimento — e em custo evitado — paga o tempo dedicado. Para gestores: peça à equipe métricas de marco e processo nos próximos relatórios de IA, não só taxa de sucesso de tarefa.

Esta matéria é informativa e não substitui consultoria técnica especializada para arquiteturas de produção.

Fonte original: MultiAgentBench: Evaluating the Collaboration and Competition of LLM Agents — Zhu et al. (ACL 2025 / Papers with Code)