你的聊天机器人找不到包含答案的图表。这篇论文试图解决这个问题。

想象一下，一个投资者关系聊天机器人已经“消化”了一份40页的季度演示文稿。有人问它：“我们上季度的流失率是多少？”这个数字是真实的，并且就在第23页。但它并没有以句子的形式写在任何地方。它是图表中一个条形的高度，旁边还有另外三个条形，一个小百分比标签直接渲染在图形内部。

一个依靠读取提取文本工作的检索系统会直接跳过这一页。因为没有句子可以与问题匹配。这正是来自包括东北大学和清华大学研究人员在内的团队的新论文《ConceptFormer》试图解决的问题，而他们的解决方案比通常的“更大模型、更多数据”的故事更有趣。

包含答案的页面并不总是包含对应的文字

在让 AI 系统回答关于文档的问题之前，你需要先找到正确的页面。这一步骤被称为检索（retrieval），它是检索增强生成（RAG）的骨干：首先找到相关的证据，然后将其交给语言模型来实际回答问题。如果检索出错，无论阅读页面的模型多么优秀都无济于事，因为它根本看不到那个页面。

多年来，搜索文档的标准方法是运行光学字符识别（OCR）以提取文本，然后像搜索任何其他语料库一样搜索该文本。这对于纯文本合同来说效果很好。但对于幻灯片、年度报告或扫描的表格，这种方法会彻底失效，因为 OCR 会丢弃所有非文本内容：图表的形状、数字位于表格右上角单元格的事实、加粗总数的视觉强调。商业文档中的许多实际含义存在于这种结构中，而不是文字里。

论文中提到的较新方法称为视觉检索（visual retrieval），它完全跳过了 OCR，让视觉语言模型（一种可以同时处理图像和文本的模型，如 GPT-4V 或 Qwen-VL）将页面作为图像查看，并将整个页面转换为向量——一个捕捉其含义的长数字列表。查询也会被转换为向量，检索就变成了在共享空间中寻找哪些文档向量最接近查询向量的问题。这保留了布局和视觉结构，是一个真正的改进。但这带来了一个训练问题：你如何教会模型，在繁忙的页面中，哪一部分对于给定的问题实际上是重要的？

最近针对这种细粒度训练信号的尝试依赖于两种代理方法。一种是文本描述：让一个强大的模型用文字写出相关证据是什么。另一种是局部视觉区域：在回答问题的页面部分周围画一个边界框。这两种方法都有明显的缺陷。标题无法完全捕捉图表形状或表格布局所传达的信息。边界框假设证据存在于一个干净的矩形中，一旦答案取决于将图表中的一个数字与两英寸外的标题联系起来，或者与页面底部的脚注联系起来，这种假设就会崩溃。

潜在概念：无需标题或边界框的证据

ConceptFormer 的核心举措是停止将证据信号强行塞入上述两种格式中的任何一种。它不再编写标题或绘制矩形，而是将“针对该查询，此页面上重要的内容”表示为一组连续向量，称之为潜在概念（latent concepts）。

可以这样理解：标题是英文的压缩描述，边界框是像素坐标的压缩描述。这两种格式在转换过程中都会丢失信息，因为它们试图将视觉和关系信息强行映射到一个固定的词汇表中。潜在概念则跳过了这一转换步骤。它是一个向量，直接存在于与查询和文档嵌入相同的数学空间中，并通过训练使其靠近文档表示中真正相关的部分。人们无法像朗读标题那样大声读出潜在概念，但它也不必像标题那样损失视觉和语义信息。

另一个值得关注的要点是动态大小（dynamic sizing）。在训练过程中，一个强大的视觉语言模型会为每个查询-文档对决定需要多少个概念令牌（concept tokens）来表示相关证据。一个简单的查找问题（例如“这张发票的总额是多少”）可能只需要一个令牌。而一个依赖于图表及其解释段落的综合问题可能需要多个令牌。这与无论实际证据需求如何，都将每个示例通过固定大小表示进行处理的传统方式形成了有意义的区别。

这些概念仅出现在训练阶段。它们充当中间目标，指导检索器的嵌入空间，以反映真实证据而非其有损代理的方式，将查询和文档表示拉近。在推理阶段，当用户实际在搜索框中输入问题时，检索器只需计算查询和文档嵌入并直接进行比较。部署系统无需在查询时运行重型视觉语言模型，这对于考虑生产成本的用户来说至关重要。

数据表现：同时击败两大阵营

结果以 NDCG@10 的相对提升幅度来报告，这是一种衡量排序列表质量的常用标准。NDCG 代表归一化折损累计增益（Normalized Discounted Cumulative Gain）。简单来说：如果真正相关的页面排在第一位，你将获得满分；如果排在第十位，得分会大幅降低；如果根本不在前 10 名内，得分几乎为零。“归一化”意味着分数是相对于最佳可能排名进行缩放的，因此你可以得到一个在不同查询和数据集之间可比较的数值。

在一组视觉文档检索基准测试中，ConceptFormer 相较于其测试过的最强视觉检索基线，在平均 NDCG@10 上实现了 16.7% 的相对提升；相较于最强的基于 OCR 的文本检索基线，实现了 22.1% 的相对提升。这些是相对于每个类别中最佳竞争系统的相对增益，而不是针对某些弱小的“稻草人”对手，这是报告此类结果更诚实的方式。

比起 headline 数字，后续分析让我更有说服力。论文报告称，当你观察潜在概念实际关注的内容时，它们会落在真正相关的视觉证据上：图表的正确区域、表格的正确单元格。这是一个值得认真对待的检查，因为辅助训练信号很容易出于与你所讲述的故事无关的原因来提高基准分数。在这里，这些概念似乎正在执行它们被设计的功能：在一个检索器内部，将细粒度的文本细节（OCR 擅长的类型）与文档级的视觉结构（纯文本搜索会遗漏的类型）连接起来，而不会让一种方法吞噬另一种方法。

为什么在构建或选择文档 AI 技术栈时这很重要

如果您正在针对非纯文本内容构建搜索或 RAG（检索增强生成）系统，那么这篇论文是一个值得关注的参考点，即使您从不接触其代码。许多团队因习惯而默认采用的“先 OCR 后搜索”模式，在证据存在于图表、表格和版面布局的文档检索中，明显落后于原生视觉检索，且这一差距似乎正在扩大而非缩小。如果您的文档是财务报告、产品规格书、扫描表格或幻灯片，而用户的问题答案位于图表或表格中而非普通句子中，那么仅基于文本的流水线将会持续遗漏人类能瞬间找到的页面。

这并不意味着 OCR 已死。许多文档确实是结构良好的密集文本，对于这些情况，基于 OCR 的搜索仍然更便宜且更易于调试。但如果您正在为具有真实视觉结构的文档密集型工作负载评估引擎或检索器，这是一个很好的提醒：要用那些实际上会破坏朴素 OCR 的页面进行测试：一个包含未被写成句子的数字的图表，一个需要知道您所在列才能找到答案的表格，一个复选框旁边的线条对文本提取器来说不可见的表单。要在这些页面上进行基准测试，而不是在干净的段落上，因为这才是旧式检索与原生视觉检索之间差距真正显现的地方。对于主要面向英文/拉丁字母文本的模型，其对中国字符识别的适用性有限，因为中文排版更密集且字符形态复杂，需额外验证。

仍然模糊的地方

诚实地说，有几件事值得指出。训练过程依赖于一个强大的视觉-语言模型来生成潜在概念监督，这意味着 ConceptFormer 的训练信号质量受限于该教师模型的性能，尽管它不影响推理成本，但确实增加了训练管道的实际开销。潜在概念本身在设计上就不是人类可读的，这对性能来说是一个合理的权衡，但对调试来说却是一个真正的成本：如果检索器在生产环境中出错，没有标题或边界框可供检查并询问“这是问题所在吗？”

头条比较也是最佳对最佳：ConceptFormer 的最强配置与最强的视觉基线和最强的 OCR 基线相比，每种都在它们被测试的基准上进行。这是一种合法且常见的报告结果的方式，但值得记住的是，单个部署系统很少能像论文那样挑选其最佳基线比较。此外，摘要仅将基准描述为“多样化的视觉文档检索基准”，因此从公开信息中不清楚这种方法在现实世界中最混乱的情况下表现如何：扫描质量差、手写体、高度多语言文档，或者实际生产流量中不断出现的丑陋、低分辨率纸质照片，而不是精心策划的基准。

代码和数据在 GitHub 上公开，这是正确的做法，使得任何人都可以验证这些声明，而不是仅仅相信摘要的说法。对于一个一直倾向于“相信基准”的领域来说，这本身就值得称赞。