保留图纸几何信息读懂公路设计图：深入解读 PlanSightRAG

想象一张美国州交通部（DOT）的高速公路互通立交设计图。一条标注线从护栏立柱延伸至路面边缘，上面标注着“24'-0"”。不远处，一个引线标注气泡指向一条涵洞，并附有管径说明。这些内容完全没有自然的阅读顺序。数字 24 如果脱离了所附带的箭头就毫无意义，而箭头如果脱离了它所连接的两个端点同样空无一物。现在把这一页送进 OCR 引擎，你只会得到一堆零散的文本碎片：“24'-0"”、“CULVERT”（涵洞）、管径数值、若干桩号——作为提取出的字符串它们全都没错，但也全都毫无用处，因为赋予它们实际意义的上下文（哪条引线连接哪个对象，以及它落在图纸上的什么位置）已经荡然无存。

这正是新论文 PlanSightRAG 试图解决的问题。如果你以为 OCR 已经是一个被彻底解决的技术难题，那这个案例就是极佳的反例，揭示了一个极易被忽视的失效模式。对于图纸而言，OCR 远未解决；它所解决的，只是那些以句段文本为主的常规文档。

为什么土木工程图会让标准文档 AI 范式失效

大多数用于文档的检索增强生成（RAG）系统都遵循同一套流程：通过 OCR 将页面转成文本，对文本进行切块（chunking），将切块向量化（embed），然后交由语言模型去检索并基于它们进行推理。这种方法在合同、发票和报告中表现得相当不错，因为这些信息本身就寄宿在文字之中，且文字遵循线性的阅读顺序。

但土木工程标准图纸完全不是这么回事。来自州交通部（DOT）图纸集的一张图纸，就可能融合了以下内容：

• 同一页面上以不同比例呈现的平面图（俯视图）与纵断面图（侧立面图）
• 纯粹通过几何形态来表达关联关系的尺寸标注线和引线
• 依靠行业惯例代表特定含义的符号和剖面线/填充图案，它们没有任何文字标签
• 对其他图纸、表格以及定义了具体数值限制的独立规范手册的交叉引用

一旦用 OCR 剥离了版面布局，图纸中绝大部分可读的信息也就被丢弃了。论文作者在摘要中直言不讳：基于 OCR 的自动化“剥离了解读这些图纸所必需的几何与版面信息”。直到今天，工程师们依然依靠肉眼逐张审查图纸进行合规性检查，在长达数百页的规范文档与图纸之间反复交叉核对。这种工作既缓慢又容易出错，本应正是自动化技术大显身手的高重复性场景，遗憾的是，现有的标准文档 AI 工具集根本无法胜任。

解决方案：彻底放弃将图纸转为文本

PlanSightRAG 的核心举措是在索引和检索阶段完全摒弃基于 OCR 的文本提取。它不再将设计图纸转化为文本再去检索文本，而是将每一页图纸视为图像，以图搜图。

其检索骨干网络是一个名为 ColNomic-3B 的模型。要理解其原理，需要先了解它的技术渊源。传统的文档检索会将整个页面压缩成单一向量（一组数值），试图以此总结页面上的全部内容。这种方式虽然快，但信息损失极大：一个包含 12 处不同引线标注的页面，被压缩成的向量大小与仅有一段文字的页面完全相同。而 ColNomic 则采用源自 ColPali 的多向量（multi-vector）方法：它将图像切分成 patch 网格，并为每个 patch 生成独立的向量。这样一来，查询请求可以直接与页面中实际包含相关内容的特定区域相匹配，而非与整张图纸的平均表征进行比对。当你向系统提问（例如“该类型护栏的最小净距是多少”）时，它会将你的查询与所有页面中的每一个 patch 进行比对，找出最强的匹配项。几何信息之所以能够得以保留，根源就在于此——系统根本不需要模型先用文字去描述图纸。

在该检索层之上，运行着论文中所称的 Agent 化“Planner-Retriever-Auditor-Synthesizer”流水线。这四个角色分别由流程中的独立步骤承担，而非塞进一个臃肿的单一 prompt 中：

• Planner（规划器）：拆解问题的真正诉求（哪些图纸类型相关、需要核查什么内容）
• Retriever（检索器）：利用 ColNomic 多向量搜索调取候选图纸页面及参考规范页面
• Auditor（审查器）：检验检索到的证据是否真正足以支撑答案，而非直接放行所有召回的内容
• Synthesizer（综合器）：立足于检索出的图纸页面，生成最终答案或合规性裁决结论

另一个值得关注的亮点是他们所谓的 MaxSim 热力图。由于检索模型计算的是 patch 级别的相似度得分，因此可以将页面上驱动匹配的具体 patch 进行可视化。这会在原始图纸上叠加生成一张热力图，精准标示出系统认为相关尺寸、符号或注释所在的具体位置。这比听上去要重要得多：一次仅返回“PASS”（合格）或“FAIL”（不合格）的合规性审查，工程师是绝不敢签字确认的；但如果合规性审查返回的是“FAIL，且这是在图纸上触发该判定的确切位置”，工程师就能切实进行复核、建立信任，或在系统误判时及时纠正。

数据究竟说明了什么

研究团队基于真实材料构建了一个基准数据集：涵盖来自 5 个州交通部（DOT）的 1,898 页标准图纸，转化为 4,056 个问答对。在零样本检索（zero-shot retrieval，即模型事先未在这批特定图纸上进行微调）下，PlanSightRAG 的 Recall@5 达到了 91.47%。该指标衡量的是：对于给定问题，系统检索出的前 5 个页面中是否包含正确的源页面？在如此密集且非结构化的图纸上实现超过 91% 的准确率，是一项十分扎实的结果。

在我看来，更具说服力的数据来自未包含在最初五个州之内的独立密歇根州交通部（Michigan DOT）语料库：其 Recall@5 达到了 91.40%，与分布内测试结果几乎持平。不同州的标准图纸版式各不相同。如果一个系统只能在其微调过的图纸上生效，那么对未参与训练的州交通部而言就毫无价值。能够如此干净利落地泛化到全新州的图纸格式，这一结果切实验证了该方法正在掌握图纸通用的阅读结构，而非仅仅死记硬背了几种版式。

论文更为坦诚、也更耐人寻味之处

合规性检查的结果是我希望重点审视的部分，因为那个看似亮眼的头条数据需要打上一个星号——而论文本身也坦率指出了这一点。

在参数化合成生成的合规性检查图纸（通过已知的程序化控制数值生成，因而标准答案完全明确）上，基于包含 720 亿参数的视觉语言模型 Qwen2.5-VL-72B 构建的流水线，裁决准确率达到了 100%。但这仅在一个特定前提下成立：即系统被直接告知了用于比对的规则阈值（且已被解析为明确数值）。换句话说，如果你告诉模型“此处允许的最大值为 6 英寸”，它每一次都能正确地将图纸上的尺寸与 6 英寸进行比对。

这是一个在严格受控条件下得出的能力上限，论文对此直言不讳：这只是一个上限，而非端到端合规审查能力的展现。它表明模型能够将图纸上的数字与另一个数字进行正确比对——验证这一点固然很好，但这绝非任务中最困难的环节。真正有价值的对比在于：在同一基准设定下，完全没有视觉模型参与的非 VLM OCR 基线方案已经达到了 76.4%。这意味着该特定基准测试中的相当大一部分问题，即便完全不理解图纸的几何结构，仅凭提取数字并进行比对就能解决。76.4% 与 100% 之间的差距固然存在，但这比人们乍看“传统 OCR 对决前沿视觉系统”所想象的鸿沟要窄得多；当一篇论文以 100% 的数字作为宣传点时，牢记这一点尤为重要。

我认为这篇论文真正最重要的贡献，反而是文末那个较小、不太抢眼的成果：自主规则定位（autonomous rule-grounding）。系统不再依赖人工预先给定合规阈值，而是在没有人工提前提供规则的情况下，直接从规范文本库中提取数值限制。这一任务形态才更贴近实际业务中合规审查的真正要求：没有人会把现成的规则数值直接塞给你，你必须自己去规范手册中查证，再准确应用到图纸上。这比单纯比对两个已知数值要困难得多，也正是该系统要想真正具备落地价值就必须稳定做好的核心能力。论文证明了这条路走得通，但并未给出引人注目的准确率数据，这本身就说明该组件距离达到基准就绪状态还有很长的路要走。

为什么这对构建或采购文档 AI 的人至关重要

如果你正在构建涉及工程图纸、建筑设计图、电气原理图等文档处理流水线，或者任何含义存在于标记之间的空间关系而非单纯词语之中的场景，这篇论文给出了一个值得铭记的切实告诫：切忌“先做 OCR，再考虑其他”。将图纸转化为文本会丢掉你极难重构的信息，而在 OCR 输出上做再多巧妙的 prompt 工程也无济于事。

对于正在评估 OCR 或文档 AI 供应商的产品团队而言，如果你面对的是重版面文档——地图、技术图纸、包含复杂表格的表单，以及任何人类绝不会按“从上到下”顺序去阅读的页面——这里呈现的检索表现（Recall@5 超过 91%，且在新州的图纸格式上依然稳健）提供了一个极具参考价值的评估标杆。值得注意的是，该论文目前仅覆盖了英文及拉丁文本，面对字符数以千计且版面高度密集的汉字工程图纸，其细粒度表征能力在汉字识别上的有效性仍有待验证。

对于那些忍不住想在汇报幻灯片里引用 100% 合规判定准确率的人，请先仔细阅读附注说明。这个数字描述的只是一个在已被明确告知规则的前提下核验数值的系统。真正严苛的考验——在没有任何参考答案的情况下从规范库中自主定位规则——才是最值得观察的方向，而这恰恰是目前尚未给出确切准确率数据的部分。这并不是在贬低这篇论文，相比于一个看似无懈可击的单项胜利用数据，坦诚地指出流水线中哪些环节已经得到验证、哪些环节仍处于早期概念演示阶段，对从业者来说反而更有价值。

目前仍存在的不足

有几点现实局限值得保持清醒。首先，基准测试的检索数据来自基于 5 个州的图纸构建的问答对上的 Recall@5，这虽然是一个良好的开端，但远未涵盖全美 50 个州交通部格式规范的全部多样性，更不用说那些根本不套用交通部模板的县市级标准了。其次，合规审查流水线依赖于一个 720 亿参数的模型，在生产环境中运行如此体量的模型绝非易事，而且论文并未公布成本或延迟数据，无从得知它是否能满足真实交通部审查办公室日常业务量的实用需求。最后，合成的合规性图纸虽然是获取纯净标注数据（ground truth）的合理手段，但它远比真实基础设施审查中普遍存在的那些杂乱无章、布满手写标注、历经数十年的老旧图纸集要简单得多。

不过，这些局限并未削弱其核心思想的价值。对于此类文档，将设计图纸视为待检索的图像，而非待转录的文本页面，是完全正确的直觉，检索测试的结果也佐证了这一点。合规审查这一半工作虽然尚处于比文中所描述的更早期的阶段，但论文对这一界限划分得极其坦率清晰，这比该领域内大多数基准论文的表现都要令人耳目一新。