文章
我们用五种AI模型分析了一份机密报告
这既不是财务报告，也不是一组表格。原始材料是一份包含13,708个字符的内部研究报告，分为12个主题模块。管理者需要的不是文档摘要，而是一张简明的障碍、动机和信任问题地图，而且每项结论都必须有准确引文支持。最直接的做法似乎很明显：把DOCX交给Claude或Codex。但如果不能这么做呢？ 在这次实验中，我们不希望把原始文档发送给外部服务。这并不是普遍禁令。是否可以使用云模型，取决于公司政策、合同以及数据类别。在我们的案例中，文档始终留在笔记本电脑上。Claude和Codex没有阅读或分析文档，但帮助我们搭建本地流程，包括编写脚本、定义结果结构和校验规则，以及组装输出文件。 我们在一台配备32 GB内存的MacBook Air M5上运行了五种AI模型。测试的不是抽象智能，而是一项实际工作：产出可供决策的材料，用源文本证明每项结论，并让数据始终留在选定的处理环境中。
01
我们要得到什么结果
研究回答的是实际问题：客户是否注意到产品中的相关入口，在哪一步放弃流程，如何选择供应商，为什么信任或不信任某个方案，以及哪些获客渠道最终带来购买。我们需要的不是简短摘要，而是一份分析备忘录。
每种模型都要提炼5至9项独立结论，将其归入4、5或6个主题，并为每项结论附上DOCX中的准确引文。同时还要保留研究本身的限制，不能把有限研究中的观察扩大为对所有客户的断言。
- 01阅读DOCX13,708个字符和12个主题模块
- 02提取主题障碍、信任、选择和获客渠道
- 03汇总结论5到9个不重复的观察结果
- 04核验证据每个结论都有原始文档的逐字引文
目标不是缩短文本，而是产出可以回到原文核验的决策材料。
02
剧透：这件事可行，但不能只靠聊天框
可以，机密报告可以在本地分析。表现最好的那次运行产出了5个主题部分和8项结论，8处支持性引文都能在原始文档中逐字找到。分析环节用时略多于8分钟。
但真正可用的结果不是一段聊天回复，而是整套流程。模型返回严格结构，代码验证结构和每一处引文，再由核验后的数据生成HTML报告。报告可以直接在普通浏览器中打开，顶部是简要结论，下面是主题、发现和准确证据。
JSON不是给读者看的，而是供下一步自动化使用的机器可读结构，其中包含主题、发现和引文引用。只有当同一份核验材料需要进入内部门户或带卡片、导航和图表的面板时，才需要React。脱敏文本副本来自另一项保护流程测试，并不是同一次运行的第四种输出。
浏览器中的HTML
验证的HTML报告
简要总结
当条件无法快速比较时，行动会被推迟。
内部门户中的React
交互式展示
研究面板
卡片显示主题、验证状态和原始片段的链接。
脱敏示意图展示的是结果结构，而不是原始报告内容。JSON和HTML来自主要运行，React和脱敏流程则分别测试。
03
实验是如何设计的
原始材料是一份包含13,708个字符的DOCX，内容是一份完整的内部研究报告，由12个主题模块以及相应的文本、数据和数值指标组成。我们不公开公司名称、产品名称和研究内容。
每种模型都获得相同文本和相同的输出约定：提炼5至9项结论，归入4、5或6个部分，并为每项结论附上源文中的准确引文。
测试在一台配备32 GB内存的MacBook Air M5上进行。生成温度设为0，随机种子固定为42。每个条件只进行一次确定性运行，因此这些数字用于显示趋势，而不是统计上稳定的结果。
- DOCX
- 内部报告格式
- 12
- 研究中的主题模块
- 13 708
- 文档中的字符数
- 5
- 比较的AI模型数量
MacBook Air M5，32 GB内存。原始文档未离开本地环境。
04
哪些模型被测试
其中四种模型通过Ollama 0.30.11运行，Muse Glimmer通过LM Studio 0.4.16运行。MLX模型没有进入最终比较：Qwen 3 14B在当时的内存负载下未能完成请求，Devstral 2507没有在新文档上重新运行。通过LM Studio运行的GPT-OSS 20B也未能完成请求，因此没有得分。
下图列出的是量化权重或模型包的大小，不是峰值内存占用。生成时还要为上下文、缓存和运行数据留出内存，因此实际负载更高。
Ollama使用了Q4_K_M，Qwen 3.5使用了Q4_K。Muse Glimmer以k-quant GGUF格式运行。
05
不同模型呈现出不同能力轮廓
一份报告只能展示部分情况。所以下面的雷达图来自更广泛的现场测试，覆盖8类任务，包括代码工作、文档分析、引文准确性、React界面构建、智能体操作以及脱敏方案设计。
没有一个模型在所有任务中都获胜。Muse Glimmer对报告的分析最好，也最完整地保留了证据链，但在智能体任务中落后。Qwen 3 4B明显更快，并在得到一个完整示例后构建出可用的React界面。Devstral、Gemma和Qwen 3.5在智能体场景中的表现优于需要准确引文的任务。
上下文的影响尤其明显。一个高质量示例显著改善了两种模型的React结果。因此，选择的不只是模型，也包括任务的表达方式。
图表由 Pele渲染，同一图表引擎也用于Markdown编辑器 Mark。
量表范围为0至5。每种模型在每个场景中只运行一次，因此数字用于显示趋势，而不是给出精确排名。
06
参数规模最大的模型提供了最佳分析
Muse Glimmer 30B在综合分析中表现最佳，得分为4.6分，满分5分。较小的Qwen 3 4B以4.05分位居第二。Devstral Small 2和Gemma 4均为3.65分，Qwen 3.5 Abliterated为3.15分。
仅凭这张图还不能选出赢家。第一名和第二名的差距很明显，但质量还要与证据准确性和耗时一起看，这时比较才更有意义。
评估项包括摘要完整性、是否存在重复、结构、结论的谨慎性以及可读性。
07
精确的引文改变了结果
Muse Glimmer是唯一通过严格证据核验的模型。它的8处引文全部能在文档中逐字找到。Qwen 3 4B通过了8处中的5处，Devstral Small 2通过了9处中的5处，Gemma 4通过了7处中的4处，Qwen 3.5 Abliterated通过了7处中的2处。
在普通界面中，这类错误很容易被忽略。引文看起来可信，也符合主题，可能只比原文差几个词。但这时它已经不再是引文。如果这样的材料交给管理者或客户，一段流畅的改写就会伪装成证据。
分数按声明引文中能够在原始文档里逐字找到的比例计算。
08
为什么一份报告用时8分钟很合理
Muse Glimmer用8分7秒产出了最佳文档。Devstral Small 2用时接近9分钟。Qwen 3 4B只用了1分29秒，并在摘要质量上排名第二。
对于一份需要认真分析的报告，等待8到9分钟并不算久。输出已经是一份结构化草稿，但这不意味着模型取代了分析师。仍然需要由人检查结论含义、样本限制和最终建议。
当文档有几十份甚至几百份，或者需要交互式响应时，速度才会影响选择。此时，接近5.5倍的差距会直接变成吞吐能力差距。对于单独的一份重要报告，质量和证据准确性更重要。
单机一次运行。时间表示数量级，而非保证性能。
09
补充：能否将报告脱敏后交给Claude或Codex
如果先将报告脱敏，再交给Claude或Codex处理，最后在本地恢复原始值，会怎样？在公司政策、合同和数据类别允许的情况下，有时可以这样做。因此，我们另外测试了本地模型能否协助脱敏。
首先单独测试模型。它需要找出敏感片段，并替换为可逆标记。合成文档中有15个受保护片段，但没有任何模型单独达到零泄漏要求。
这个结果并不意外。要求模型找出所有敏感数据，并不会把概率模型变成防火墙。它可能找到几乎全部内容，但只要漏掉一个片段，就足以造成泄漏。
在真实文档测试中，我们有意把保护范围缩小到数字、区间和百分比。模型先提出替换方案，确定性代码再搜索同类数据，补上模型遗漏的部分，确认无误后才允许继续处理。标记与原始值的对应关系始终保存在本地。
这项测试不能证明同样的方法可以自动保护姓名、证件号码或其他个人数据。这些类别需要单独制定规则并分别测试。
- 01本地解析模型为数字、范围和百分比提供替换
- 02确定性检查代码再次搜索并补上模型遗漏的部分
- 03脱敏材料后续仅处理无数字的文本
- 04本地恢复通过本地私有标记表恢复原始值
在这次实验中，确定性检查只覆盖数字、区间和百分比。
10
在真实文档中，两种模型都漏掉了一个数字
为了再做一次核验，我们让Qwen 3 4B和Muse Glimmer从真实机密文档中找出7个唯一数值。两种模型都正确找到了其中6个，而且各自的回答中都出现了1个无效项。即使有效数值本身的复现准确率为100%，这也不是完美结果。
确定性检查补上了遗漏值。此后，脱敏文本中不再有任何数字，反向还原也准确恢复了所有使用过的值。
最强的模型无法单独完成任务，最小的模型得到的结果也相同。可靠性不是来自模型规模，而是来自流程架构。
这里不能下绝对结论。这套方案不能做到100%防泄漏，也不提供任何保证。模型可能漏掉片段，而代码检查只能覆盖预先编写规则的数据类型。局部脱敏可以成为流程中的一个环节，但是否可以把文档交给外部服务，不能依据这次测试来决定。最终还要看公司政策、合同限制以及对具体数据类别的检查。
- 7
- 原始文档中的唯一值
- 6
- 两种模型各找到的值
- 1
- 代码检查添加的值
- 0
- 检查后数字泄漏
在本地恢复后，所有被替换的数值都得到准确还原。
11
我们选择的方案
如果要在这台机器上为一份重要分析报告生成最佳草稿，我们会从Muse Glimmer开始。8分钟对于此类任务是完全正常的。如果文档数量多，但结果仍通过自动化和人工检查，Qwen 3 4B看起来更实用。
Devstral Small 2在智能体场景中表现更强，但不擅长需要严谨证据的文档分析。Gemma 4和Qwen 3.5 Abliterated也可能适合其他角色，但这次测试没有给出选择它们分析机密报告的理由。
我们不会让任何模型自行发布结论，也不会让它判断数据已经安全。模型准备草稿，代码检查形式边界，最终由人作出实质判断。
12
最终结论
本地运行可以控制文档实际在哪里处理，但不能自动解决质量问题，也不能自动保证保密性。
在我们的测试中，大模型产出了最好的分析材料，小模型快了数倍，并且足以承担边界清晰的角色。两者都漏掉了一个敏感数字。因此，真正可行的方案不是某一个模型名称，而是本地运行、准确引文、代码检查和明确人工控制的组合。
同样的原则，即数据留在您的网络边界之内，也贯穿我们在语音和图像文字识别方面的项目：从会议转写到用本地模型对截图做 OCR。