# Testamos cinco modelos de IA com um relatório confidencial

> Entregamos a cinco modelos de IA um relatório confidencial de pesquisa com clientes em formato DOCX e comparamos os achados, a precisão das citações, a velocidade e as salvaguardas.

Equipe Avenex · 2026-10-21

Não era um relatório financeiro nem uma planilha. O material original era um relatório interno de pesquisa com 13 708 caracteres, dividido em 12 blocos temáticos. Um gestor não precisa de uma versão mais curta do documento, mas de um mapa conciso de barreiras, motivações e pontos de desconfiança, com cada achado sustentado por uma citação exata. A solução mais simples parece óbvia: enviar o DOCX para Claude ou Codex. Mas e quando isso não é permitido?

Neste experimento, não era desejável enviar o documento original para serviços externos. Não se trata de uma proibição universal. A possibilidade de usar modelos em nuvem depende da política da empresa, dos contratos e da categoria dos dados. No nosso caso, o documento permaneceu no notebook. Claude e Codex não o leram nem o analisaram, mas ajudaram a configurar o pipeline local: preparar os scripts, definir o esquema de resultados e as verificações, e gerar os arquivos de saída.

Executamos cinco modelos de IA em um MacBook Air M5 com 32 GB de memória. Não avaliamos uma inteligência abstrata. Testamos uma tarefa prática: produzir material útil para uma decisão, sustentar cada achado com o texto original e manter os dados dentro do ambiente escolhido.

## O que queríamos obter

O estudo respondia a perguntas práticas: se os clientes percebem a seção relevante do produto, em que ponto abandonam o processo, como escolhem um fornecedor, por que confiam ou desconfiam da oferta e quais canais de aquisição levam a uma compra. Não precisávamos de um resumo curto, mas de uma nota analítica.

Cada modelo deveria extrair de cinco a nove achados independentes, agrupá-los em quatro, cinco ou seis temas e anexar a cada um uma citação exata do DOCX. Também deveria preservar as limitações do estudo e evitar transformar observações de uma pesquisa restrita em afirmações sobre todos os clientes.

## Spoiler: funciona, mas não como um chat

Sim, um relatório confidencial pode ser analisado localmente. A melhor execução produziu cinco seções temáticas e oito achados. As oito citações de apoio correspondiam palavra por palavra ao documento original. A etapa analítica levou pouco mais de oito minutos.

O resultado útil, porém, não foi uma resposta no chat, mas o pipeline completo. O modelo devolve uma estrutura rigorosa. O código valida o esquema e cada citação. Em seguida, os dados verificados são montados em um relatório HTML que abre em um navegador comum, com um resumo curto no topo e os temas, achados e evidências exatas abaixo.

JSON não é para o leitor. É a estrutura legível por máquina para a próxima etapa da automação, com temas, achados e referências às citações. React só é necessário quando esse mesmo material verificado precisa entrar em um portal interno ou painel com cartões, navegação e gráficos. A cópia de texto anonimizada veio de um teste separado das salvaguardas. Não são quatro versões da mesma execução.

## Como foi estruturado o experimento

O material original era um DOCX de 13 708 caracteres com um relatório interno de pesquisa completo, dividido em 12 blocos temáticos com texto, dados e indicadores numéricos. Não publicamos o nome da empresa, o produto nem o conteúdo da pesquisa.

Cada modelo recebeu o mesmo texto e o mesmo contrato de saída: extrair de cinco a nove achados, agrupá-los em quatro, cinco ou seis seções e anexar a cada um uma citação exata da fonte.

O teste foi executado em um MacBook Air M5 com 32 GB de memória. A temperatura de geração foi zero e a semente aleatória foi fixada em 42. Fizemos uma única execução determinística por condição, portanto os números indicam uma tendência e não resultados estatisticamente estáveis.

## Quais modelos foram executados

Quatro modelos foram executados com Ollama 0.30.11. Muse Glimmer foi executado com LM Studio 0.4.16. Os modelos MLX não entraram na comparação final: Qwen 3 14B não concluiu a solicitação com a carga de memória disponível, e Devstral 2507 não foi executado novamente com o novo documento. GPT-OSS 20B no LM Studio também não concluiu a solicitação e ficou sem pontuação.

O gráfico mostra o tamanho dos pesos quantizados ou do pacote do modelo, não o pico de uso da memória. A geração também exige memória para o contexto, o cache e os dados de execução, por isso a carga real é maior.

## Os modelos apresentaram perfis diferentes

Um único relatório mostra apenas parte da imagem. Por isso o gráfico de radar abaixo vem de um teste de campo mais amplo, com oito tipos de tarefas: trabalho com código, análise de documentos, precisão das citações, construção de uma interface React, ações de agentes e proposta de um fluxo de anonimização.

Não houve um vencedor universal. Muse Glimmer analisou melhor o relatório e preservou a trilha de evidências, mas ficou atrás nas tarefas com agentes. Qwen 3 4B foi bem mais rápido e, depois de um exemplo resolvido, montou uma apresentação React válida. Devstral, Gemma e Qwen 3.5 se saíram melhor em cenários com agentes do que em trabalhos que exigiam citações exatas.

O efeito do contexto ficou especialmente claro. Um bom exemplo melhorou de forma significativa o resultado em React de dois modelos. Portanto, a escolha não envolve apenas o modelo, mas também a forma de especificar a tarefa.

## O maior modelo produziu a melhor análise

Muse Glimmer 30B produziu a melhor nota analítica, com 4,6 pontos de 5. O pequeno Qwen 3 4B ficou em segundo lugar com 4,05. Devstral Small 2 e Gemma 4 obtiveram 3,65 cada um. Qwen 3.5 Abliterated obteve 3,15.

Este gráfico sozinho não define um vencedor. A diferença entre o primeiro e o segundo lugar é clara, mas a qualidade precisa ser considerada junto com a precisão das evidências e o tempo. É aí que a comparação fica mais útil.

## Citações exatas mudaram o resultado

Muse Glimmer foi o único modelo que passou pela verificação rigorosa das evidências. As oito citações apareceram palavra por palavra no documento. Qwen 3 4B passou em cinco de oito, Devstral Small 2 em cinco de nove, Gemma 4 em quatro de sete e Qwen 3.5 Abliterated em duas de sete.

Esses erros passam facilmente despercebidos em uma interface comum. A citação parece plausível, combina com o tema e pode diferir do original por apenas algumas palavras. Mas então já não é uma citação. Se esse material chegar a um gestor ou cliente, uma paráfrase bem escrita começa a se passar por evidência.

## Por que oito minutos por relatório é razoável

Muse Glimmer preparou o melhor documento em 8 minutos e 7 segundos. Devstral Small 2 terminou quase em 9 minutos. Qwen 3 4B conseguiu em 1 minuto e 29 segundos e ficou em segundo lugar em qualidade de resumo.

Para um relatório substancial, oito ou nove minutos não são uma espera longa. A saída já contém um rascunho estruturado, mas isso não significa que o modelo substituiu o analista. Uma pessoa ainda precisa revisar o sentido dos achados, as limitações da amostra e as recomendações finais.

A velocidade começa a influenciar a escolha quando há dezenas ou centenas de documentos ou quando a resposta precisa ser interativa. Nesse caso, uma diferença de quase 5,5 vezes vira uma diferença real de capacidade. Para um relatório importante, a qualidade e a precisão das evidências pesam mais.

## Bônus: é possível anonimizar o relatório e enviá-lo a Claude ou Codex?

E se o relatório for anonimizado, enviado a Claude ou Codex e os valores originais forem repostos depois? Em alguns casos isso pode ser aceitável, se a política da empresa, os contratos e a categoria dos dados permitirem. Por isso testamos separadamente se os modelos locais poderiam ajudar na anonimização.

Primeiro, testamos o modelo isoladamente. Ele deveria encontrar os fragmentos sensíveis e substituí-los por marcadores reversíveis. O documento sintético continha 15 fragmentos protegidos. Nenhum modelo sozinho cumpriu o requisito de zero vazamento.

Era um resultado esperado. A instrução para encontrar todos os dados sensíveis não transforma um modelo probabilístico em um firewall. Ele pode encontrar quase tudo, mas basta omitir um fragmento para provocar um vazamento.

No teste com o documento real, limitamos intencionalmente as salvaguardas a números, intervalos e porcentagens. O modelo sugeriu substituições. Em seguida, um código determinístico voltou a procurar os mesmos tipos de dados, cobriu o que o modelo havia omitido e só então permitiu continuar o processamento. A correspondência entre os marcadores e os valores originais permaneceu no armazenamento local.

Este teste não demonstra que o mesmo método proteja automaticamente nomes, números de documentos ou outros dados pessoais. Essas categorias precisam de regras e testes próprios.

## Os dois modelos deixaram passar um número no documento real

Como verificação adicional, pedimos a Qwen 3 4B e Muse Glimmer que encontrassem sete valores numéricos únicos no documento confidencial real. Os dois modelos encontraram corretamente seis de sete, e cada resposta também incluiu um item inválido. Não foi um resultado perfeito, embora os valores válidos tenham sido reproduzidos com 100 por cento de precisão.

A verificação determinística acrescentou o valor que faltava. Depois disso, o texto anonimizado não continha algarismos, e a reconstrução recuperou todos os valores com exatidão.

O modelo mais forte não resolveu a tarefa sozinho. O menor apresentou o mesmo resultado. A confiabilidade não veio do tamanho do modelo, mas da arquitetura do processo.

Não há uma conclusão rígida aqui. Esse esquema não evita vazamentos em 100 por cento nem oferece garantias: o modelo pode omitir um fragmento, e a verificação por código cobre apenas os tipos de dados para os quais foi programada. A anonimização parcial pode ser uma etapa, mas este teste não basta para decidir se um documento pode ser enviado a um serviço externo. Essa decisão depende da política da empresa, das restrições contratuais e da verificação de cada categoria de dados.

## Qual esquema escolheríamos para trabalhar

Se precisássemos do melhor rascunho para um relatório analítico importante nessa máquina, começaríamos com Muse Glimmer. Oito minutos são perfeitamente razoáveis para essa tarefa. Se houver muitos documentos e o resultado passar de qualquer forma por verificações automáticas e humanas, Qwen 3 4B parece mais prático.

Devstral Small 2 foi mais forte em cenários com agentes do que na análise documental baseada em evidências. Gemma 4 e Qwen 3.5 Abliterated também podem ser úteis em outras funções, mas este teste não deu motivo para escolhê-los para analisar relatórios confidenciais.

Não permitiríamos que nenhum modelo publicasse conclusões sozinho ou decidisse que os dados já são seguros. O modelo prepara o rascunho. O código verifica os limites formais. Uma pessoa toma a decisão substantiva.

## Conclusão

A execução local controla onde o documento é processado fisicamente. Ela não resolve o problema da qualidade nem oferece uma garantia automática de confidencialidade.

No nosso teste, o modelo maior produziu o melhor material analítico. O menor foi várias vezes mais rápido e bom o bastante para uma função limitada. Os dois deixaram passar um número sensível. Por isso, a escolha de trabalho não é o nome de um único modelo, mas uma combinação de execução local, citações exatas, verificações por código e controle humano claro.

O mesmo princípio, manter os dados dentro do seu perímetro, está na base dos nossos projetos de voz e de texto em imagens: da transcrição de reuniões ao OCR de capturas de tela com um modelo local.

---

Se você tem relatórios, contratos, solicitações ou pesquisas confidenciais, podemos montar esse teste na sua infraestrutura. Vamos usar um pequeno conjunto de documentos reais, definir previamente o resultado esperado e mostrar os erros, a velocidade e os limites da automação, não uma demonstração polida.

Source (HTML): https://avenex.xronocode.com/pt/guides/local-model-choice/ · Markdown edition: https://avenex.xronocode.com/pt/guides/local-model-choice/index.md
Other languages: [Русский](https://avenex.xronocode.com/ru/guides/local-model-choice/index.md) · [English](https://avenex.xronocode.com/guides/local-model-choice/index.md) · [中文](https://avenex.xronocode.com/zh/guides/local-model-choice/index.md) · [Español](https://avenex.xronocode.com/es/guides/local-model-choice/index.md) · [Português](https://avenex.xronocode.com/pt/guides/local-model-choice/index.md)
Site index for agents: https://avenex.xronocode.com/llms.txt