{"id":113,"date":"2026-06-09T06:13:48","date_gmt":"2026-06-09T09:13:48","guid":{"rendered":"https:\/\/plugged.ninja\/ai\/pesquisa\/destilacao-agentes-llm-modelos-pequenos-retrieval-codigo\/"},"modified":"2026-06-09T06:13:48","modified_gmt":"2026-06-09T09:13:48","slug":"destilacao-agentes-llm-modelos-pequenos-retrieval-codigo","status":"publish","type":"post","link":"https:\/\/plugged.ninja\/ai\/pesquisa\/destilacao-agentes-llm-modelos-pequenos-retrieval-codigo\/","title":{"rendered":"Destila\u00e7\u00e3o de agentes em modelos pequenos: como caber um agente LLM em 0,5B par\u00e2metros"},"content":{"rendered":"

Resumo:<\/strong> Pesquisadores publicaram no arXiv (cs.CL) o trabalho “Distilling LLM Agent into Small Models with Retrieval and Code Tools<\/em>” (2505.17612), de Minki Kang e colegas, que prop\u00f5e um framework<\/em> de destila\u00e7\u00e3o de agentes. A ideia: transferir n\u00e3o apenas a capacidade de racioc\u00ednio, mas o comportamento completo de resolu\u00e7\u00e3o de tarefas de um agente baseado em LLM grande para modelos de linguagem pequenos (sLMs), equipados com retrieval<\/em> (busca em base de conhecimento) e ferramentas de c\u00f3digo. O c\u00f3digo oficial est\u00e1 dispon\u00edvel no GitHub do grupo Nardien.<\/p>\n

O problema atacado<\/h2>\n

Modelos pequenos j\u00e1 vinham fechando a dist\u00e2ncia para os grandes em racioc\u00ednio puro, mas continuavam trope\u00e7ando em duas situa\u00e7\u00f5es: conhecimento factual raro (datas, n\u00fameros, nomes pouco frequentes) e c\u00e1lculos precisos. O motivo \u00e9 estrutural \u2014 sLMs alucinam quando precisam reproduzir conte\u00fado que n\u00e3o viram com frequ\u00eancia durante o treinamento. O trabalho parte dessa observa\u00e7\u00e3o para mudar o objeto da destila\u00e7\u00e3o: em vez de destilar “respostas”, destila-se a sequ\u00eancia de a\u00e7\u00f5es de um agente \u2014 quando buscar, quando rodar c\u00f3digo, quando decidir que terminou.<\/p>\n

Como funciona o m\u00e9todo<\/h3>\n

O pipeline<\/em>, em linhas gerais, faz com que um agente grande resolva uma cole\u00e7\u00e3o de problemas usando duas ferramentas: retrieval<\/em> sobre uma base e execu\u00e7\u00e3o de c\u00f3digo (em sandbox). O tra\u00e7o dessas execu\u00e7\u00f5es \u2014 perguntas internas, chamadas de fun\u00e7\u00e3o, observa\u00e7\u00f5es, racioc\u00ednio condicional \u2014 vira material de treino para o sLM. O modelo pequeno aprende, ao mesmo tempo, a raciocinar e a saber quando<\/em> consultar a base ou rodar um trecho de Python. Isso recupera precis\u00e3o factual e num\u00e9rica sem exigir crescimento do par\u00e2metro.<\/p>\n

Por que importa \u2014 e o status no Brasil<\/h2>\n

Esse trabalho \u00e9 parte de uma corrente forte na pesquisa de 2025-2026: modelos pequenos competitivos por meio de ferramentas. Em 2026, vimos v\u00e1rios SLMs (1,5B-3B) alcan\u00e7arem benchmarks antes restritos a modelos de 70B ou maiores. A destila\u00e7\u00e3o de agentes acelera essa converg\u00eancia por uma raz\u00e3o econ\u00f4mica: aprender a buscar \u00e9 mais barato do que aprender a memorizar.<\/p>\n

Para o Brasil, o efeito \u00e9 direto. Empresas que rodam IA no per\u00edmetro (sa\u00fade, jur\u00eddico, ind\u00fastria, governo) e startups com restri\u00e7\u00e3o de capex podem implantar SLMs que conhecem o dom\u00ednio + retrieval bem montado. Universidades e laborat\u00f3rios brasileiros podem reproduzir o m\u00e9todo sobre bases p\u00fablicas (Di\u00e1rio Oficial, jurisprud\u00eancia, ement\u00e1rios t\u00e9cnicos do INPI) e gerar modelos de dom\u00ednio competitivos, com infer\u00eancia vi\u00e1vel em hardware<\/em> de bancada.<\/p>\n

Riscos e limita\u00e7\u00f5es<\/h2>\n