找到了却读不懂：为什么视觉语言模型依然离不开 OCR

视觉文档检索的“视觉错觉”

不妨设想这样一个场景：你围绕 ColQwen2 等视觉检索器搭建了一套文档问答流水线。系统将 PDF 页面渲染为图像，并根据用户的问题检索相关页面。检索器选出相关度最高的 16 张页面图像，直接交给视觉语言模型（VLM，如 Qwen2.5-VL 或 Qwen3-VL）进行阅读并生成回答。

这种架构听起来十分优雅干练。将页面图像直接输入多模态模型，既完整保留了文档的视觉排版呈现，又免去了将 OCR 转录文本作为阅读器输入的繁琐步骤。其背后的假设看似不言而喻：最难的一步在于找到正确的页面；一旦页面图像进入上下文窗口，从中读取答案理应轻而易举。

然而，来自哈尔滨工业大学的一篇题为 Found but Not Read: When Extracted Text Closes the Retrieval-Reading Gap in Document Vision-Language Models 的研究论文（Xia et al., October 2, 2026），对这一假设提出了严峻挑战。

作者团队的研究表明，即便视觉检索器实现了近乎完美的召回率、把包含答案的页面精准呈现在模型眼前，受测的 VLM 依然会遗漏大量关键证据。他们将这种失效称为检索-阅读鸿沟（retrieval-reading gap）：即搜索系统虽已成功找到证据，但阅读器未能有效利用。

令人意外的是其干预手段之简单：使用同样的页面图像，仅通过 CPU 运行 OCR 识别，并将筛选出的文本块与图像一并加入提示词中。在 FoveDoc-Bench 基准测试中，主测试阅读器的严格判定问答准确率便提升了 13 到 16 个百分点。视觉模型此前明明已经接收了这些像素，但将文本内容单独抽取并呈现，却能显著帮助它“看懂”眼前的信息。

测出阅读器的真实软肋：FoveDoc-Bench 上的成对对照实验

在文档基准测试中，诊断某个问题的回答失败往往很困难。如果流水线返回了错误答案，究竟是搜索引擎检索错了页面，还是语言模型没能正确利用检索到的正确页面？

为了将阅读器的表现与检索器彻底剥离，Xia 及其合作者构建了名为 FoveDoc-Bench 的基准测试集。该基准包含来自 1,173 份原生数字文档的 2,346 个问题，每份文档提供 16 到 24 页的上下文。每个问题都关联了人工标注的源信息块及精确的文本摘录。这些文档完全独立于本研究的辅助训练与验证问答集之外。

他们将基准划分为两个不同的任务：

1. V-NIAH（大海捞针）：答案仅取决于单页中的单个证据块。
2. V-MQAR（多跳关联推理）：答案需要结合来自不同页面的两个证据块。

随后，他们设计了一套“检索饱和”（retrieval-saturated）的评测协议。利用 ColQwen2 为每个问题检索前 16 个候选页面，其完全召回率 full recall@16（即检索结果包含全部黄金证据页面的问题比例）在 V-NIAH 上达到了 1.000（100%），在 V-MQAR 上达到了 0.998（99.8%）。在全部 2,346 个问题中，有 2,344 个问题的提示词中完整包含了所有黄金证据页面。这样一来，检索失效对对比实验的干扰几乎被完全排除。

在检索结果保持恒定的前提下，他们在两种对照条件下测试了同一款未经微调的基座模型 Qwen3-VL-2B-Instruct：

• 对照组 A（纯图像）：模型仅接收问题以及检索到的 16 张页面图像。
• 对照组 B（图像 + 文本记忆）：模型接收问题、相同的 16 张页面图像，以及从这些页面中提取出的与问题词法相关度最高的 16 个文本块。这些文本块按页面分组，标注页码，且每个文本块上限为 300 个字符。

由于对照组 B 没有剔除任何视觉信息，仅仅补充了来自已有页面的提取文本，两者之间的准确率差异直接反映了“让文本内容单独可获取”所带来的纯增益。

所有回答均由 LLM 作为裁判模型进行判分，严格准确率仅将判定为正确的结果计入。主实验和外部模型对比使用了 GPT-5.4；定位控制与检索控制实验使用了 GPT-5.6 Luna。在 1,963 项一致预测中，裁判模型在严格判分上达成了一致性达 98.8% 的共识。两位论文作者还抽检了纯图像组与 OCR 组存在分歧的 200 个样本，人工判定与裁判模型的吻合率达 96%。

成绩单：CPU OCR 带来的 13 至 16 个百分点飞跃

纯图像流水线的基线表现脆弱得令人意外。

在单针检索任务 V-NIAH 中，尽管已经收到了包含证据的页面，Qwen3-VL-2B 的回答正确率仅为 35.0%（1,173 个问题中仅答对 410 个）。而加入利用 RapidOCR（在 CPU 上运行 PP-OCR 模型）提取的文本后，准确率飙升至 50.6%（1,173 题中答对 594 题）。这是整整 +15.7 个百分点的提升（p = 2.8e-24）。

在跨两页的多跳任务 V-MQAR 上，相对增幅更为显著。纯视觉阅读器自身的正确率仅有 15.3%（1,173 题中答对 180 题）；在补充了 CPU 提取的文本后，其表现几乎翻倍，准确率攀升至 28.7%（1,173 题中答对 337 题），实现了 +13.4 个百分点的显著增益（p = 3.3e-26）。

当作者将 OCR 提取文本替换为 PDF 原生文本层（即这些原生数字页面最精准的参考文本）时，V-NIAH 上的准确率进一步攀升至 69.1%（相较纯图像提升了 34.2 个百分点），V-MQAR 上的准确率达到 43.2%（提升了 27.9 个百分点）。

来看论文中给出的一个具体实例：在一段长达 23 页的 Cloudflare 博客文章上下文的第 12 页上，有一行代码注释提到 TLS 模型使用 M4 预处理器宏进行标记。

问题提问道：“TLS 模型具体使用哪种预处理器宏进行标记？”（"What specific type of preprocessor macros does the TLS model use for notation?"）

仅面对页面图像时，Qwen3-VL-2B 给出的答案是 "Mk"。而当提示词中包含了含有 uses M4 preprocessor macros 的 RapidOCR 文本块（score 22.7, p12_b5）后，模型便准确给出了 "M4"。

类似地，在另一个关于 Linux 内核跟踪命令的跨页问题中（证据分布在第 26 页和第 32 页），纯图像输入下的模型回答了 tcp_sendmsg 和 tcp_write_timer。而加入 OCR 文本后，模型给出了完全正确的答案组合：tcp_sendmsg 和 mod_timer。

为什么 CPU OCR 能够达到 PDF 原生文本层约一半的增益（在 V-NIAH 上达到 46%，在 V-MQAR 上达到 48%）？

作者首先排查了是否仅仅是因为 OCR 提供的文本量更少。事实并非如此：原生数字文本层在页面上较为零碎，每页约切分为 53 个文本块，中位数长度仅为 6 个字符；而 OCR 分组每页生成约 17 个文本块，中位数长度为 23 个字符。在固定的块预算下，OCR 记忆在 77.1% 的样本中包含的字符数其实更多，平均多出 +894 个字符。

真正的瓶颈在于证据的保真度与完整性。以黄金证据摘录为基准，最佳单个可打包的 OCR 文本块平均只能恢复摘录中 76% 的 token。在两项任务中，仅有 53% 的证据项恢复率能达到 90% 以上。作者指出，正是由于 OCR 尽管文本体量更大，但未能完整恢复关键证据，才导致其准确率增益略逊于原生文本层。

模型缩放与提示词技巧未能弥合鸿沟

人们很自然会产生一种怀疑：这是否主要是使用 20 亿参数（2B）轻量级模型所导致的现象？更大规模的阅读器是否会让外加文本变得多余？

研究人员测试了来自三个模型家族的 6 款现成视觉语言模型：

• Qwen3-VL（2B、4B 与 8B）
• Qwen2.5-VL（7B）
• LLaVA-OneVision（7B）
• Idefics3（8B）

该对比实验使用的是两项任务前 400 个样本上的 PDF 原生文本层记忆，而非在全量基准上运行 CPU OCR。结果显示，在全部 12 种“模型-任务”组合中，所有模型均表现出统计学上极显著的性能提升（p < 1e-13）。

在 LLaVA-OneVision-7B 上，补充文本使 V-MQAR 的准确率提升了 29.2 个百分点，V-NIAH 提升了 38.5 个百分点。在 Idefics3-8B 上，增益更是达到了 42.0 和 61.3 个百分点。不过这些数字需要加一个限定说明：为了能容纳 16 个页面的上下文，这些阅读器禁用了图像切块（image splitting）或对像素总数进行了限制。因此，作者重点关注的是各个模型家族获益方向的一致性，而非直接横向对比增益绝对值的大小。

而在评测设置完全一致的 Qwen3-VL 三个不同尺寸模型中，扩大模型规模虽有所帮助，但并未消除这一鸿沟：

• 2B 阅读器：V-MQAR 增益 +28.2 个百分点 / V-NIAH 增益 +36.0 个百分点
• 4B 阅读器：V-MQAR 增益 +25.0 个百分点 / V-NIAH 增益 +30.7 个百分点
• 8B 阅读器：V-MQAR 增益 +23.0 个百分点 / V-NIAH 增益 +22.5 个百分点

尽管更大尺寸的阅读器从额外文本中获益的相对比例有所收窄，但在 80 亿参数（8B）规模下，两项任务中的额外增益依然超过了 22 个百分点。

研究人员还测试了针对文本选择策略、提示词工程和微调的若干改动：

• 在基于 4B 阅读器的 V-MQAR 任务中，将文本块预算翻倍、使用联合选择器（union selector）以及切换为推理模式阅读器，各自带来的准确率变动均不超过 +3 个百分点。
• 在该设置下，引入 Self-Ask 问题分解反而导致准确率下降了 4.3 个百分点。
• LoRA 微调让 2B 模型在 V-MQAR 上挽回了 6 个百分点，在 V-NIAH 上挽回了 5 个百分点；而 4B 模型的 LoRA 报告增益仅为 0.9 个百分点。

相较于文本层带来的巨大差距，这些尝试过的干预措施效果微弱。虽然这不能断言模型缩放或微调永远无法解决此问题，但它清楚地证明：目前尝试的这些替代方案都未能奏效。

诊断性突破：模型能够阅读，却难以定位

为了搞清楚为什么阅读器会在已经拿到的页面上“翻车”，作者开展了三项诊断性对比实验。

首先，他们按正常阅读顺序提供了全部 16 个页面的完整 OCR 转录文本，且不根据问题预先筛选文本块。结果显示，V-MQAR 的准确率提升了 17.9 个百分点，V-NIAH 提升了 22.1 个百分点。这甚至超过了中性提示词下 16 块摘要方案的增益（分别为 14.1 和 16.5 个百分点）。这表明，获得显著收益并不依赖于“基于问题的定制化文本筛选”。

其次，他们将这些被选中的文本块以**图像局部裁剪（image crops）**的形式附加在完整页面之后，而不提供任何提取文本。裁剪图像保持了阅读器自身的页面像素密度，因此该操作仅是将关键块隔离出来，并未提升其像素密度。

结果显示，图像裁剪挽回了中性提示下文本摘要方案增益的 87%（V-MQAR 上提升 12.3 个百分点）和 92%（V-NIAH 上提升 15.2 个百分点）。

第三，他们在整页图像上直接用红框标出相同的区域。然而红框标记并未带来可比的提升：在 V-MQAR 上仅提升 0.5 个百分点，在 V-NIAH 上甚至下降了 3.0 个百分点。

综合起来，这几项干预措施的对比结果如下：

添加到 16 页输入中的干预手段               V-MQAR 增益    V-NIAH 增益
选中区域在原图上画红框标记                  +0.5 pp        -3.0 pp
选中区域作为图像裁剪单独附上               +12.3 pp       +15.2 pp
中性提示词下的 OCR 摘要文本                +14.1 pp       +16.5 pp
按阅读顺序给出的完整 OCR 文本              +17.9 pp       +22.1 pp

这些结果印证了证据可获取性瓶颈（evidence-accessibility bottleneck）的存在。一旦将关键信息从整个页面的杂乱背景中提取剥离出来，哪怕这些信息依然只是像素，阅读器便能有效加以利用。

该实验并未锁定具体的注意力机制组件作为原因，也未深究为何红框标记会失效。但它们确立了明确的行为差异：在整页图像上高亮标记收效甚微，而将这些区域单独拎出呈现，却能找回绝大部分摘要方案带来的增益。

页面级检索并不等同于证据级检索。检索到页面只是将“草堆”推到了眼前；而单独呈现精选文本或局部切片，才能让草堆里的“针”真正变得易于读取。

警惕防线之一：流程图陷阱与证据模态

读到这里，你可能会产生一种冲动，认为所有文档问答都应该一股脑附上 OCR 转录文本。但论文指出了两道边界，表明这种结论过于宽泛。

第一道边界与证据模态（evidence modality）密切相关：即答案究竟依赖于纯文本，还是依赖于图表、插图等图形化结构。

作者在 MMLongBench-Doc 基准上评测了该对照协议。该基准包含 135 份文档、1,091 个问题，文档长度最高达 468 页。与 FoveDoc-Bench 不同的是，其证据大多呈现为图形形式，且检索并未处于饱和状态：full recall@16 为 84.4%。

在带有证据标注且可回答的 838 个问题中，补充 OCR 记忆带来的总体性能变化微乎其微，仅为 +0.4 个百分点（+0.004，p = 0.86）。请注意，该结果适用于经过标注且可回答的分层子集，而非全部 1,091 个问题（其中包含部分故意设计的不可回答项）。

而当作者将仅带有单项证据标签的 414 个问题单独拆分后，呈现出了截然不同的分化格局：

• 纯文本证据（129 个问题）：补充提取文本带来了 +8.5 个百分点的增益。
• 图表或插图证据（285 个问题）：补充提取文本却导致了 −4.6 个百分点的负向变化。

两者效果之差达到了 13.1 个百分点（p = 0.0024），这一模态反差在论文经过多重比较校正后依然显著。

在重叠的证据类别细分中，也呈现了相似的梯队排序：

• 纯文本（Plain text）：+5.2 pp
• 表格（Tables）：+1.9 pp
• 排版布局（Layout）：+0.9 pp
• 插图（Figures）：−2.8 pp
• 图表（Charts）：−4.0 pp

这些类别估值客观描述了观察到的规律，并非全都各自构成了独立的收益或损害定论。

以 MMLongBench-Doc 中的第 44 号样本为例。该问题提问道：“根据名为‘分析价值链’的流程图，在‘报告’（Reporting）与‘行动’（Action）之间的是什么？”（"According to the flowchart 'Analytics Value Chain', what comes between Reporting and Action?"）

纯图像输入下的模型给出了正确回答："Analysis"（分析）。

然而，从第 13 页打包生成的 OCR 文本记忆却遗漏了 Analysis 以及各节点之间的流向箭头，仅保留了 Reporting、Value 和 Action 等零散词汇。在加入这些文本记忆后，模型反而回答了 "Action"。

这个案例生动说明了平铺的转录文本可能会丢失解析图形结构所必需的关联网和标签。尽管无法确知模型内部的推断链条，但结果显而易见：追加的文本导致模型“把原本答对的题改错了”。

被扁平化的文本往往会丧失赋予图表意义的空间拓扑结构。在本次评测中，纯文本证据明显受益，而图表与插图证据平均而言却受到了负面影响。

警惕防线之二：文本放大检索价值，但无法取而代之

第二道边界关乎检索质量。如果检索器漏掉了关键证据页，仅凭剩余页面提取出的文本究竟还能有多大帮助？

为了探究这一点，研究人员在受控条件下人为降低了检索质量。他们在固定 16 页预算的前提下，从前 16 项结果中剔除黄金证据页，并用 ColQwen2 排序在 16 名以外的候选页面进行替换。

符合实验条件（其文档在各个降级梯次上均能提供充足替换页）的子集包含 938 个 V-MQAR 问题和 1,025 个 V-NIAH 问题。

检索到的黄金页面召回率	V-MQAR 增益	V-NIAH 增益
100% 召回率	+12.5 pp	+14.9 pp
50% 召回率	+6.6 pp	—
0% 召回率	+3.0 pp	+4.3 pp

随着召回率降为零，文本带来的增益在 V-MQAR 上骤降了 9.5 个百分点，在 V-NIAH 上骤降了 10.6 个百分点。这两项样本内变动均具有统计学显著性（p < 1e-9）。在完全召回状态下所展现出的增益，约有四分之三依赖于黄金证据页的实际在场。

而在零召回率下残存的部分增益，涉及答案字符串泄漏（answer-string leakage）：在 4.8% 的 V-MQAR 样本和 12.4% 的 V-NIAH 样本中，非黄金页面打包生成的文本记忆里居然依然出现了黄金答案字符串。

利用归一化答案字符串匹配过滤掉这些泄漏情况后，两项任务上均残留了约 2.8 个百分点的增益。随着探测器的最小答案长度在 4 到 12 个字符之间调整，该残差始终稳定在 2.5 到 3.1 个百分点之间。这表明泄漏只能解释这部分剩余收益的一小部分。

为了验证是否“文本这种形式本身”就能带来增益，作者按照相同的打包规则，用来自其他无关文档的文本替换了当前文档的文本记忆。所有文档均不使用自身文本，且配对文档来自完全不同的来源体系。

结果显示，在零召回率下，无关外来文本相较纯图像未产生任何可检测到的增益：V-MQAR 上为 +0.0 个百分点，V-NIAH 上为 −0.9 个百分点。在完全召回率下，其影响在统计上也与零无异（分别为 +1.9 和 −1.7 个百分点）。

这些对照实验支撑了作者的推论：剩余的微弱增益来自文档自身非黄金页面的相关上下文。仅仅添加相同形式的文字本身是徒劳无功的。

提取文本的核心价值，在于让检索到的证据变得更易获取，附带由文档相关上下文提供的一小部分加成。它是真正见效的“检索放大器”，但绝非“找到证据”本身的替代品。

核心启示：生产级文档 AI 的架构设计经验

对于设计文档检索与问答系统的团队来说，这篇论文提供了极具价值的设计指南。论文中测得的增益依赖于这些特定的任务、阅读器与输入配置；将其经验迁移到其他场景时，必须在符合自身实际业务的文档和问题上进行充分评估。

1. 保留提取文本在密集文本证据场景中的竞争力

这项研究为“即便 VLM 能够直接接收页面图像，仍应测试‘图像+文本’双重输入”提供了坚实的现实依据。在 FoveDoc-Bench 上，CPU OCR 为 Qwen3-VL-2B 带来了 13 至 16 个百分点的提升，而 PDF 原生文本层记忆则对全部 6 款受测阅读器均有显著帮助。

这些增益并不能直接套用到合同、财务报表或其他实际生产场景中。它们揭示的核心问题在于：仅凭成功的页面检索和视觉输入能力，并不能保证阅读器能够稳定、可靠地利用其中的证据。考虑到该论文主要针对拉丁字母文档，而面对汉字这种字符庞大且结构密集的表意文字系统时，VLM 在纯视觉下的辨别与定位压力往往更甚，引入 OCR 文本辅助在中文密集排版场景中的实际效用尤为值得针对性评测。

2. 仅对检索命中的页面进行 OCR 评测

论文测试的模式提供了一个极具实操性的落地起点：

• 利用视觉检索器检索出候选页面图像。
• 对这些页面提取文本；论文中使用的是在 CPU 上运行 PP-OCR 模型的 RapidOCR。
• 筛选并打包关键文本块，随后将其与原始页面图像一同提供给模型。

实验采用了 16 个检索页面和 16 个文本块的记忆预算。在主对比实验中，CPU OCR 保留了 PDF 原生文本层约一半的性能增益。

该论文并未针对查询时的端到端延迟、全量索引成本或生产成本节约情况给出定量结论。究竟是采取按需实时提取、缓存结果还是离线预处理页面，仍需根据具体系统的工程实现进行权衡与实测。

3. 将证据模态作为架构决策的关键一环

关于图表与插图的实验结果告诫我们，绝不能盲目假设提取出的文本总能带来正面收益。对于图形化证据，模型需要的表征形式可能必须保留那些被平铺文本丢弃的空间结构关系。

因此，构建一套具备模态感知能力的流水线非常值得尝试：当答案依赖于文本证据时引入提取文本；而当图形中的拓扑关联至关重要时，则采用纯视觉或保留结构的表征方式。

该研究并未专门验证某款特定的版面分析检测器或路由系统。它的价值在于划定了一条此类系统应当遵循的边界，而不是给出一刀切排除所有图表文本的死板规则。

4. 警惕聚合基准测试的“平均数陷阱”

在 MMLongBench-Doc 带有标注且可回答的子集上，整体的聚合增益仅仅只有 +0.4 个百分点。然而，单标签对比实验却揭示出：纯文本任务获得了 8.5 个百分点的提升，而图表与插图任务则下降了 4.6 个百分点。

在评估系统时，务必按照证据模态与检索召回率对结果进行细分汇报。否则，测试问题配比的细微变化可能会掩盖真正的收益、粉饰潜在的退步，甚至导致某个基准的综合评分完全无法对另一种实际业务负载提供参考价值。

5. 将“检索”与“阅读”解耦并分别度量

在受控召回率实验中，OCR 带来的增益约有四分之三取决于黄金证据页面是否被成功检索到。这使得检索质量成为决定提取文本能否奏效的核心前提。

在实际评估中，应当独立度量 full recall@k，然后在完全相同的检索页面集合上对比“纯图像”与“图像+文本”的回答质量。核心问题不仅在于系统是否成功找到了正确的页面，更在于当证据呈现在眼前时，阅读器能否真正有效地将其读懂并用起来。