最佳AI模型在PDF上仍有85%失败率的基准测试

想象一下，一位福利管理员在一台显示器上打开了一份 40 页的 PDF 文件，另一台显示器上则是员工提出的问题：“如果我参加的是 PPO 计划并去看网络外的专科医生，在扣除免赔额后，我的实际自付费用上限是多少？”答案确实就在文档里。但它分散在多个地方：第 12 页的一个表格、第 14 页排除某些专科就诊情况的脚注，以及第 38 页悄然覆盖第 12 页数据的修订条款。熟悉如何阅读福利手册的人可以在几分钟内找到答案。而一篇名为 GDP.pdf 的新论文将这类问题提交给了七种前沿多模态模型。表现最好的模型在基准测试的 100 个问题中仅答对了 15%，表现最差的仅答对 1%。

这并非一个模型已接近解决、只需再提升几个百分点的基准测试。这是一个该领域几乎尚未入门的基准测试。理解其背后的原因至关重要，因为它揭示了一个令人不安的事实：我们一直在如何衡量“AI 现在可以阅读文档”这一能力。

为什么你的 OCR 基准测试在欺骗你

大多数文档 AI 基准测试一次只测试一项技能。有一个用于从扫描页面读取文本的基准测试（OCR）。有一个用于理解页面上元素位置（例如哪一行数据属于哪一列）的基准测试（版面分析）。有一个用于读取柱状图数值的基准测试（图表推理）。有一个用于回答关于表格问题的基准测试（表格问答）。还有一个用于一般性“查看此文档并回答问题”任务的基准测试（文档视觉问答）。

一个模型可能在这五项孤立测试中都取得高分，但在真正专业人士实际需要的任务上仍然失败：打开一个特定的、混乱的、现实世界的 PDF 文件，并回答关于它的一个具体且重要的问题。GDP.pdf 的作者在论文的框架中直言不讳地指出：在任何一项孤立能力上的高分，并不能告诉你该模型是否能够处理关于真实文档的现实问题。如果模型没有注意到三页后的脚注排除了半数行数据，那么正确读取表格也无济于事。如果模型没有将图表与解释该图表实际测量内容的段落进行交叉引用，那么正确读取图表也无济于事。

这正是 OCR 供应商多年来一直在应对的陷阱：一个能够完美处理干净、独立发票的引擎，一旦遇到带有咖啡渍的复印件泄露照片、带有延续页脚的多页文档，或者表格在页面中途跳列的情况，就会立即失效。孤立技能基准测试衡量的是理想情况。而实际工作存在于混乱的情况中。

他们如何构建一个难以“作弊”的基准测试

GDP.pdf 的巧妙之处不在于文档本身，而在于他们用来筛选值得纳入的问题的过滤机制。

团队招募了十个领域的在职专业人士，这些人是真正在工作中处理福利手册、租赁合同、数据表、临床指南和施工图纸的人，并让他们基于各自领域的真实文档编写问题。但编写一个听起来很难的问题，并不等同于编写一个能真正区分模型能力高低的问题。因此，他们设置了一道门槛：只有当至少两个前沿多模态模型以有意义的方式未能回答正确时，候选问题才会被纳入最终基准。这里的“有意义”并非指措辞上的风格差异，而是指给出了错误答案、遗漏了本应改变答案的关键证据，或编造了文档不支持的说法。

这一“双模型失败”规则的重要性远超其表面含义。这意味着基准测试中的每一个问题都已在实证上证明，能够以特定且有意义的方式使当前 AI 系统出错。其中没有凑数的问题，也没有那种每个模型都能答对、仅用于虚高得分的简单问题。这 100 个题目中的每一个，都是因为首先击败了至少两个强模型才得以入选。

此外，他们也不仅采用简单的通过/失败评分。每个问题都附带一套原子级标准的评分细则，即答案需要满足的细小且可验证的要求，因此论文可以报告两个不同的数值：基于评分细则的得分（对部分答对给予部分分数）以及严格的任务级通过率（模型是否完全正确，不容许任何差错）。同时，每个题目都根据涵盖三个层级的十一项能力分类法进行了标记，涉及文本提取与定位（能否找到正确段落并准确引用）、表格与图表理解、跨页交叉引用、空间推理（页面上各元素之间的相对位置）以及拒绝回答（模型是否知道当文档不支持某个答案时，应明确说明而非猜测）。

其中“拒绝回答”这一项值得特别强调。许多文档 AI 评估仅测试模型在有正确答案时能否答对。而 GDP.pdf 还检查当文档实际上不包含相关信息时，模型是否会编造答案，这在专业环境中 arguably 是更危险的失败模式。模型回答“我在文档中找不到该信息”并不会造成伤害；但在福利计算或租赁条款中出现自信却错误的数字，则会造成实际损害。

令人担忧的数据

结果令人触目惊心：在七款前沿模型中，表现最佳的一款在严格的任务级指标下，仅通过了100道题目中的15%。表现最差的仅通过1%。对于一个在过去两年里一直宣称在文档理解方面接近人类水平的领域来说，面对由实际领域专业人士针对真实专业文档编写的题目，15%的上限是一个难以搪塞的数字。

值得深思的是，这一差距究竟意味着什么。这些模型并非在经典意义上的OCR（光学字符识别）上失败，它们大多能很好地读取页面上的文本。它们失败的是在其之上的推理层：将表格中的数字与脚注中的免责声明联系起来，注意到后续修正案取代了早期条款，在平面图上正确计数符号，或者意识到图表的坐标轴含义并不像乍一看那样。专业PDF实际上存在于这一层，而通用多模态模型并未被训练好以处理这一层，因为大多数训练和评估数据并不像一份附有3页修正案的40页福利手册。

模型持续出错的六种方式

该论文将大多数错误归结为一组相对较小且可识别的损失模式，这对于日常使用这些工具的开发人员来说是最有价值的部分：

• 表格错位。 模型从错误的行或列读取值，尤其是在表格跨页或包含合并单元格时。
• 图表误读。 模型能正确把握整体形状，但会误读特定数值、轴标签，或数据点所属的系列。
• 遗漏脚注和排除条款。 模型找到了标题数字，但错过了改变其含义的注意事项，这正是开篇示例中经典的“福利包陷阱”。
• 平面图符号计数错误。 在建筑和施工文档中，模型会少计或多计重复出现的符号（插座、固定装置、门），而这些符号人类通常会手动清点。
• 扫描噪声。 现实世界中的文档并非从 Word 导出的干净 PDF。它们是复印件的复印件、传真表格以及物理文档的手机照片，图像质量对模型准确性的影响比人们假设的更大。
• 后续修正案。 文档在第 5 页陈述了一件事，而第 30 页的修正案对其进行了更改。模型倾向于根据它们首先遇到的版本来回答，而不是解决冲突。

这些都不是奇特的边缘情况。它们是专业文书工作的普通特征。租赁合同有附录。数据表有修订历史。临床指南有更新备忘录。如果你的基准测试不包含此类文档，那么它就没有衡量人们真正需要的东西。

为什么这对构建或选择 OCR 的人很重要

如果您正在基于 OCR 或文档 AI 构建产品，或者正在评估供应商以进行选择，GDP.pdf 是检验营销宣传的一个有用的现实基准。“文档 VQA 的最先进水平”与“能够针对一份带有脚注的真实 40 页政策文档回答一个真实问题，且该脚注会改变答案”是截然不同的声明，而这篇论文表明，这两者之间的差距是巨大的，而非微不足道的。鉴于中文等表意文字系统具有字符数量庞大、版面布局密集的特点，若相关研究仅涵盖英文/拉丁文本，其结论在直接迁移至中文字符识别场景时需谨慎考量。

实际启示如下：

• 不要将单一能力基准作为端到端可靠性的代理指标。 一个在表格问答排行榜上名列前茅的模型，仍可能遗漏覆盖表格的脚注。如果供应商仅引用孤立技能分数，请询问当这些技能需要组合使用时会发生什么。
• 多模型重试在此处物有所值。 由于不同模型的失败模式不一致（例如一个模型表格对齐错误，另一个模型遗漏修正案），当第一个答案看起来不可靠时，将同一文档路由到第二个或第三个引擎并非奢侈之举，而是对于任何涉及真实利益的事项几乎必不可少。
• 拒绝回答（Abstention）是一项需要测试的功能，而非理所当然的假设。 在信任模型对文档的回答之前，请检查当答案不存在时，它是否真的会说“本文档中未提及”，而不是自信地编造一个答案。GDP.pdf 的拒绝回答层级存在，正是因为这目前是整个行业的薄弱环节。
• 将扫描质量视为管道的一部分，而非事后补充。 扫描噪声是六种反复出现的损失模式之一。如果您的摄取管道在扫描进入模型之前没有清理或标记低质量扫描，您就继承了一个本可以通过工程手段部分消除的错误源。
• 为任何具有修正案、排除条款或修订历史的文档预算人工审核。 这些正是当前模型最容易出错的文档，也正是错误答案最可能导致某人损失金钱或健康保障的文档。

这个基准测试没有告诉你的事

几点坦诚的说明。一百道题目构成的是一个小型基准测试。它足以有力地揭示失败模式的形态（在十个专业领域中出现的六种重复模式是一个有意义的信号），但不足以让你得出一个精确、稳定的百分比，将其作为任何给定模型在这类任务上的“准确率”数字来引用。小型基准测试也更容易受到具体选定的文档和问题的影响，即使已经采用了双模型失败过滤机制。

双模型失败的选择规则在挖掘真正困难且有意义的问题方面很聪明，但这同时也意味着该基准测试是明确构建为对当今模型具有挑战性的。这正是其目的所在，但这也意味着 15%/1% 的数字描述的是对抗性选择问题的上限，而不是“专业人士通常提出的问题”的随机样本。在福利管理员或建筑估算师日常提出的难易混合问题的整体准确率会高于 15%，但也不会像营销宣传中暗示的那样高。

此外，对七个模型进行一次评估、一百个项目，这只是一个快照，而非趋势线。模型发展迅速，这个特定的 15% 上限很可能会上升。更持久的是分类体系：这十一项能力和六种损失模式是评估任何文档 AI 系统（无论是现在的还是明年的）的真正有用的检查清单，因为它们描述了这些模型在处理基于真实文档的、多部分推理时的结构性差距，而不仅仅是一个六个月后就会过时的记分牌。

坦诚的总结是：专业 PDF 比基准测试显示的更难，行业一直在错误的维度上进行评估，而 GDP.pdf 是在正确维度上进行评估的一次扎实的首次尝试。