# 我们用五种AI模型分析了一份机密报告

> 我们让五种AI模型分析一份机密的客户研究DOCX报告，并比较结论质量、引文准确性、速度和保护措施。

Avenex 编辑团队 · 2026-10-21

这既不是财务报告，也不是一组表格。原始材料是一份包含13,708个字符的内部研究报告，分为12个主题模块。管理者需要的不是文档摘要，而是一张简明的障碍、动机和信任问题地图，而且每项结论都必须有准确引文支持。最直接的做法似乎很明显：把DOCX交给Claude或Codex。但如果不能这么做呢？

在这次实验中，我们不希望把原始文档发送给外部服务。这并不是普遍禁令。是否可以使用云模型，取决于公司政策、合同以及数据类别。在我们的案例中，文档始终留在笔记本电脑上。Claude和Codex没有阅读或分析文档，但帮助我们搭建本地流程，包括编写脚本、定义结果结构和校验规则，以及组装输出文件。

我们在一台配备32 GB内存的MacBook Air M5上运行了五种AI模型。测试的不是抽象智能，而是一项实际工作：产出可供决策的材料，用源文本证明每项结论，并让数据始终留在选定的处理环境中。

## 我们要得到什么结果

研究回答的是实际问题：客户是否注意到产品中的相关入口，在哪一步放弃流程，如何选择供应商，为什么信任或不信任某个方案，以及哪些获客渠道最终带来购买。我们需要的不是简短摘要，而是一份分析备忘录。

每种模型都要提炼5至9项独立结论，将其归入4、5或6个主题，并为每项结论附上DOCX中的准确引文。同时还要保留研究本身的限制，不能把有限研究中的观察扩大为对所有客户的断言。

## 剧透：这件事可行，但不能只靠聊天框

可以，机密报告可以在本地分析。表现最好的那次运行产出了5个主题部分和8项结论，8处支持性引文都能在原始文档中逐字找到。分析环节用时略多于8分钟。

但真正可用的结果不是一段聊天回复，而是整套流程。模型返回严格结构，代码验证结构和每一处引文，再由核验后的数据生成HTML报告。报告可以直接在普通浏览器中打开，顶部是简要结论，下面是主题、发现和准确证据。

JSON不是给读者看的，而是供下一步自动化使用的机器可读结构，其中包含主题、发现和引文引用。只有当同一份核验材料需要进入内部门户或带卡片、导航和图表的面板时，才需要React。脱敏文本副本来自另一项保护流程测试，并不是同一次运行的第四种输出。

## 实验是如何设计的

原始材料是一份包含13,708个字符的DOCX，内容是一份完整的内部研究报告，由12个主题模块以及相应的文本、数据和数值指标组成。我们不公开公司名称、产品名称和研究内容。

每种模型都获得相同文本和相同的输出约定：提炼5至9项结论，归入4、5或6个部分，并为每项结论附上源文中的准确引文。

测试在一台配备32 GB内存的MacBook Air M5上进行。生成温度设为0，随机种子固定为42。每个条件只进行一次确定性运行，因此这些数字用于显示趋势，而不是统计上稳定的结果。

## 哪些模型被测试

其中四种模型通过Ollama 0.30.11运行，Muse Glimmer通过LM Studio 0.4.16运行。MLX模型没有进入最终比较：Qwen 3 14B在当时的内存负载下未能完成请求，Devstral 2507没有在新文档上重新运行。通过LM Studio运行的GPT-OSS 20B也未能完成请求，因此没有得分。

下图列出的是量化权重或模型包的大小，不是峰值内存占用。生成时还要为上下文、缓存和运行数据留出内存，因此实际负载更高。

## 不同模型呈现出不同能力轮廓

一份报告只能展示部分情况。所以下面的雷达图来自更广泛的现场测试，覆盖8类任务，包括代码工作、文档分析、引文准确性、React界面构建、智能体操作以及脱敏方案设计。

没有一个模型在所有任务中都获胜。Muse Glimmer对报告的分析最好，也最完整地保留了证据链，但在智能体任务中落后。Qwen 3 4B明显更快，并在得到一个完整示例后构建出可用的React界面。Devstral、Gemma和Qwen 3.5在智能体场景中的表现优于需要准确引文的任务。

上下文的影响尤其明显。一个高质量示例显著改善了两种模型的React结果。因此，选择的不只是模型，也包括任务的表达方式。

## 参数规模最大的模型提供了最佳分析

Muse Glimmer 30B在综合分析中表现最佳，得分为4.6分，满分5分。较小的Qwen 3 4B以4.05分位居第二。Devstral Small 2和Gemma 4均为3.65分，Qwen 3.5 Abliterated为3.15分。

仅凭这张图还不能选出赢家。第一名和第二名的差距很明显，但质量还要与证据准确性和耗时一起看，这时比较才更有意义。

## 精确的引文改变了结果

Muse Glimmer是唯一通过严格证据核验的模型。它的8处引文全部能在文档中逐字找到。Qwen 3 4B通过了8处中的5处，Devstral Small 2通过了9处中的5处，Gemma 4通过了7处中的4处，Qwen 3.5 Abliterated通过了7处中的2处。

在普通界面中，这类错误很容易被忽略。引文看起来可信，也符合主题，可能只比原文差几个词。但这时它已经不再是引文。如果这样的材料交给管理者或客户，一段流畅的改写就会伪装成证据。

## 为什么一份报告用时8分钟很合理

Muse Glimmer用8分7秒产出了最佳文档。Devstral Small 2用时接近9分钟。Qwen 3 4B只用了1分29秒，并在摘要质量上排名第二。

对于一份需要认真分析的报告，等待8到9分钟并不算久。输出已经是一份结构化草稿，但这不意味着模型取代了分析师。仍然需要由人检查结论含义、样本限制和最终建议。

当文档有几十份甚至几百份，或者需要交互式响应时，速度才会影响选择。此时，接近5.5倍的差距会直接变成吞吐能力差距。对于单独的一份重要报告，质量和证据准确性更重要。

## 补充：能否将报告脱敏后交给Claude或Codex

如果先将报告脱敏，再交给Claude或Codex处理，最后在本地恢复原始值，会怎样？在公司政策、合同和数据类别允许的情况下，有时可以这样做。因此，我们另外测试了本地模型能否协助脱敏。

首先单独测试模型。它需要找出敏感片段，并替换为可逆标记。合成文档中有15个受保护片段，但没有任何模型单独达到零泄漏要求。

这个结果并不意外。要求模型找出所有敏感数据，并不会把概率模型变成防火墙。它可能找到几乎全部内容，但只要漏掉一个片段，就足以造成泄漏。

在真实文档测试中，我们有意把保护范围缩小到数字、区间和百分比。模型先提出替换方案，确定性代码再搜索同类数据，补上模型遗漏的部分，确认无误后才允许继续处理。标记与原始值的对应关系始终保存在本地。

这项测试不能证明同样的方法可以自动保护姓名、证件号码或其他个人数据。这些类别需要单独制定规则并分别测试。

## 在真实文档中，两种模型都漏掉了一个数字

为了再做一次核验，我们让Qwen 3 4B和Muse Glimmer从真实机密文档中找出7个唯一数值。两种模型都正确找到了其中6个，而且各自的回答中都出现了1个无效项。即使有效数值本身的复现准确率为100%，这也不是完美结果。

确定性检查补上了遗漏值。此后，脱敏文本中不再有任何数字，反向还原也准确恢复了所有使用过的值。

最强的模型无法单独完成任务，最小的模型得到的结果也相同。可靠性不是来自模型规模，而是来自流程架构。

这里不能下绝对结论。这套方案不能做到100%防泄漏，也不提供任何保证。模型可能漏掉片段，而代码检查只能覆盖预先编写规则的数据类型。局部脱敏可以成为流程中的一个环节，但是否可以把文档交给外部服务，不能依据这次测试来决定。最终还要看公司政策、合同限制以及对具体数据类别的检查。

## 我们选择的方案

如果要在这台机器上为一份重要分析报告生成最佳草稿，我们会从Muse Glimmer开始。8分钟对于此类任务是完全正常的。如果文档数量多，但结果仍通过自动化和人工检查，Qwen 3 4B看起来更实用。

Devstral Small 2在智能体场景中表现更强，但不擅长需要严谨证据的文档分析。Gemma 4和Qwen 3.5 Abliterated也可能适合其他角色，但这次测试没有给出选择它们分析机密报告的理由。

我们不会让任何模型自行发布结论，也不会让它判断数据已经安全。模型准备草稿，代码检查形式边界，最终由人作出实质判断。

## 最终结论

本地运行可以控制文档实际在哪里处理，但不能自动解决质量问题，也不能自动保证保密性。

在我们的测试中，大模型产出了最好的分析材料，小模型快了数倍，并且足以承担边界清晰的角色。两者都漏掉了一个敏感数字。因此，真正可行的方案不是某一个模型名称，而是本地运行、准确引文、代码检查和明确人工控制的组合。

同样的原则，即数据留在您的网络边界之内，也贯穿我们在语音和图像文字识别方面的项目：从会议转写到用本地模型对截图做 OCR。

---

如果您有机密报告、合同、申请或研究，我们可以在您的基础设施上完成同类测试。我们会选取少量真实文档，预先定义期望结果，并展示错误、速度和自动化边界，而不是只展示一个精心包装的演示。

Source (HTML): https://avenex.xronocode.com/zh/guides/local-model-choice/ · Markdown edition: https://avenex.xronocode.com/zh/guides/local-model-choice/index.md
Other languages: [Русский](https://avenex.xronocode.com/ru/guides/local-model-choice/index.md) · [English](https://avenex.xronocode.com/guides/local-model-choice/index.md) · [中文](https://avenex.xronocode.com/zh/guides/local-model-choice/index.md) · [Español](https://avenex.xronocode.com/es/guides/local-model-choice/index.md) · [Português](https://avenex.xronocode.com/pt/guides/local-model-choice/index.md)
Site index for agents: https://avenex.xronocode.com/llms.txt