旨在让 GPT-5 失败的 OCR 基准测试

想象一下你很可能见过的诈骗广告截图：一个“客服”电话号码以抖动、半透明的字体呈现，叠加在一张微笑人物的照片上，颜色选择得让文字几乎融入背景。你只需半秒钟就能轻松读出它。然而，将同样的图像输入 GPT-4o 并要求它转录号码，它很可能会出错，甚至完全找不到文字。

人类视觉自动完成的任务与最先进的视觉模型无法可靠完成的任务之间的差距，正是新论文《ArmorOCR》的研究主题。研究人员构建了一个专门设计的图像基准，这些图像对人类来说易于阅读，但对模型来说却难以识别。他们测试了一系列当前的大型多模态模型（LMMs），结果令人震惊：GPT-4o 在其对抗性 OCR 测试中仅得 23.2%。GPT-5 表现稍好，但也只有 30%。即使在通用 OCR 方面表现不错的 Gemini 2.5 Flash，也仅达到 32.3%。随后，他们针对这一问题专门训练了一个模型，得分达到 55.7%，是 GPT-4o 得分的两倍多，而所用基础模型的规模仅为这些前沿系统的一小部分。

“有依据的”对抗性 OCR 究竟意味着什么

大多数 OCR 基准测试侧重于识别：给定一张图像，文本内容是什么？当文本经过风格化处理或出现退化时，这已经颇具挑战性，但这只是工作的一半。模型有时可以依靠上下文猜测出正确答案，而并未真正定位到文本。例如，在一张咖啡店的照片中，招牌很可能写着与咖啡相关的内容，模型可能会给出一个看似合理的答案，但其指向的像素区域完全错误，甚至根本没有指向任何像素。

该论文直接指出了这一点：仅凭答案准确率并不能证明模型具备实际定位文本的能力。因此，他们将任务定义为“有依据的 OCR 感知”（grounded OCR perception），这意味着模型必须同时完成两件事：找到文本所在的区域（定位，通常为边界框）并读取其中的内容（识别）。如果边界框定位错误，即使猜出的单词碰巧正确也无济于事。这是该任务中更难、更诚实的版本，也是在实际应用中至关重要的版本，例如在扫描表格中删除敏感字段，或标记图像中经过篡改的文本位置。

此处的“对抗性”并非指有人针对模型权重运行正式的对抗攻击算法。它指的是文本本身在视觉上具有敌意：扭曲变形、隐藏在杂乱的背景中、由点阵而非笔画构成，或与 AI 生成的图像无缝融合，以至于“文本”与“图片”之间的界限几乎不存在。

深入 AdvSpot：390 张旨在迷惑模型的图像

名为 AdvSpot 的基准测试在现代数据集标准下规模很小：仅包含 390 张图像。但每一张都在区域级别进行了标注，并且每一张都旨在代表文本规避模型识别的 13 种特定方式之一，这些方式被归为 5 大类。

空间变换涵盖了物理扭曲的文本：以奇怪的角度旋转、镜像或缩小到仅几个像素。人类在阅读倾斜的路牌时几乎不会注意到这一点，但这会让主要基于水平、从左到右文本块训练的模型产生偏差。

字形变异关注的是字母形式本身。风格化的字形会分裂、遮挡或截断笔画，想象一下标志中半个字母隐藏在另一个形状后面，但你的大脑会自动填补空白。手写文本因其不规则的间距和个人特征也属于此类。

图像退化是日常现象：运动模糊、手机镜头反光、胶片颗粒、过度曝光的照片以及因截图并多次转发而产生的压缩伪影。这里没有奇特的东西，只是非工作室拍摄图像的现实。

上下文融合是最有趣的部分。它包括低对比度文本（与背景同色系，技术上可见但视觉上伪装）、图案覆盖（在文本上绘制点或线，如同水印）以及作者所称的 AIGC 融合文本，即直接烘焙到 AI 生成图像中的文本，使其看起来像是场景的自然组成部分，而非后期添加的标题。最后一类被证明是整个基准测试中最难的部分。在训练之前，大多数模型在此类上的得分接近零。

视觉编码是最抽象的一组：字符通过符号排列、点密度或线条方向而非传统笔画来表示。这更像解谜而非阅读，也是基线模型基本失效的另一类别。

他们实际上是如何训练模型以提升这项能力的

ArmorOCR 的训练分为两个阶段，理解每个阶段背后的逻辑很有价值，因为第一阶段尤其巧妙地解决了一个在机器学习中经常出现的问题：你无法廉价地为任务的困难版本生成真实标签（ground-truth），但你可能已经拥有来自任务简单版本的信号。

第一阶段被称为“同策略自蒸馏”（On-Policy Self-Distillation）。这里的技巧是：对于每一张对抗性训练图像，研究人员还会生成几个经过变换的版本，例如调整大小、旋转、翻转或进行其他清理处理，并由一个独立的裁判模型选出最容易正确读取的那个变换版本。这个更容易识别的版本成为一种特权提示。在训练过程中，学生模型只能看到原始的困难图像，并必须根据当前的策略独立生成答案（这就是“同策略”的含义：它是在自我评估，而不是与训练早期冻结的快照进行比较）。然后，教师过程会将学生模型的答案与从更容易识别的变换版本及真实文本中推断出的结果进行比较，并将学生模型内部的概率向更好的答案方向微调。这种微调根据被纠正的输出部分使用两种不同的惩罚类型：对模型的推理步骤使用较软的惩罚，对实际预测的文本使用较硬的惩罚。简单来说，模型通过将自己对扭曲照片的解读与如果看到同一张照片的稍少扭曲版本时应有的解读进行比较，从而学会阅读扭曲的照片。

第二阶段是通过组相对策略优化（Group Relative Policy Optimization, GRPO）进行的强化学习。GRPO 是一种在微调语言模型和视觉-语言模型时变得流行的技术，因为它不需要单独的奖励模型，而是将模型自身采样输出的一组结果相互比较，并强化得分最高的那些。ArmorOCR 应用了四种不同的奖励信号，针对四个子任务进行了调整：预测框与真实框的重叠程度（用于纯定位）、使用编辑距离衡量的预测文本与正确字符串的接近程度（用于纯识别）、同时执行这两项任务的综合得分（用于完整识别），以及对文本进行视觉问答的简单正确性检查。通过这种方式进行训练，而不是优化一个混合指标，迫使模型真正将定位和识别作为独立的技能掌握，而不是寻找仅满足一个混合分数的捷径。

所有这些训练都基于 Qwen3-VL-8B-Instruct，这是一个中等规模的开源模型，第一阶段使用了约 50,000 个合成的训练样本，第二阶段使用了 70,000 个更难的案例。

数据表现，以及增益究竟体现在何处

核心结果是，在 AdvSpot 的 VQA 任务上，准确率从 GPT-4o 的 23.2% 跃升至 ArmorOCR 的 55.7%；在定位任务上也呈现出类似的模式，ArmorOCR 达到了 63.3% 的 IoU（交并比，一种衡量边界框重叠度的标准指标），而表现最好的基线模型 Qwen3-VL-235B（参数量约为其 30 倍）仅为 47.5%。

这些增益并非均匀分布，如果你试图判断这种性能提升是否具有泛化能力，这一点更为关键。在 AIGC 融合文本类别中（即文本溶解于 AI 生成背景中的情况），ArmorOCR 比最强的竞争模型高出 65%。该类别正是论文自身的错误分析此前标记为“几乎无法解决”的领域，因此在此处的大幅跃升有力地证明，两阶段训练方法确实在发挥实质作用，而非仅仅是在记忆基准测试的特例。尽管经过训练，基于符号和点阵编码的类别仍然是最难啃的骨头，论文也坦承这些类别依然“极具挑战性”。

在其他由其他研究者设计的对抗性 OCR 基准测试（AdvOCR 和 SmuggleBench）上，ArmorOCR 略微优于先前的专用方法，但优势幅度小得多（56.0% 对 55.0%，以及 17.1% 对 16.4%）。这一点值得深思：最大的增益出现在作者构建并针对其训练数据进行调整的基准测试上，而在他人构建的基准测试上则有所缩小。这本身并不一定是危险信号，大多数专用训练在其“主场”表现最佳，但这意味着我们应该将 55.7% 这一 headline 数字视为针对此类特定对抗性文本的性能上限，而非通用的对抗性 OCR 得分。

另一个重要的数据是那些“未发生变化”的部分：在 OCRBench 等标准基准测试上的通用 OCR 性能基本持平，且未添加额外的通用训练数据。在不对日常性能造成损害的情况下，将模型专门化以解决狭窄且困难的问题，是这项工作中不那么引人注目但 arguably 更重要的成果。许多微调工作是以牺牲通用能力为代价来换取在单一基准测试上的飙升，而这项工作并未如此。

为什么这对构建或选择 OCR 系统的任何人来说都很重要

如果您正在选择用于文档处理流水线、收据识别、身份验证或内容审核的 OCR 引擎或多模态大模型（LMM），这篇论文提供了一个有用的现实检验，揭示了大多数基准测试未覆盖的一个盲点。标准的 OCR 排行榜主要测试清晰的文档和拍摄条件尚可的自然场景。这些测试无法告诉您当用户上传一张反光严重的收据手机照片、带有半透明水印覆盖数字的截图，或者电话号码融入壁纸的 AI 生成图像时会发生什么。这些不再是边缘情况。反光和模糊出现在每一次移动上传中。带水印和 AI 混合的文本经常出现在诈骗内容、伪造文档和规避审核的尝试中，而这正是信任与安全流水线需要捕捉的内容。鉴于中文等汉字表意文字系统具有字符繁多、排版密集的特点，这种针对复杂视觉干扰的鲁棒性测试对于准确识别高密度中文文本尤为重要。

实际的启示并不是“切换到 ArmorOCR”，因为它是一个基于 80 亿参数开源模型构建的研究检查点，而不是一个经过加固的生产级 API。其核心在于，模型规模和通用 OCR 基准排名是系统处理真正对抗性输入能力的弱预测指标。一个专门针对定位和对抗鲁棒性训练的小模型，在此任务上击败了规模大得多的模型。如果您的用例涉及欺诈检测、内容审核，或任何有人机动力让文本难以被机器读取的流水线，通用 OCR 分数无法告诉您所需的信息。在信任模型在干净基准上的数字之前，您应该针对更接近 AdvSpot 类别的内容进行测试：扭曲和旋转的文本、低对比度叠加层、反光以及融入生成图像的文本。

这里还有哪些不确定的地方

390 张图像的基准测试规模较小，少数几个异常样本就可能对类别级分数产生显著影响，且论文未报告多次运行的方差，因此应将单个类别的数值视为趋势性参考而非精确指标。训练和评估数据是合成的，而非来自真实的诈骗或欺诈内容，这对于构建受控基准测试是合理的，但意味着现实中由试图规避特定模型的人主动生成的对抗性文本，可能与 AdvSpot 所捕获的内容有所不同。此外，ArmorOCR 仍然 struggling 的类别（符号和点阵编码）可以说是该数据集中最具故意对抗性的类别，它们更接近视觉密码，而非扭曲的自然文本。解决了 80% 较容易的对抗性 OCR 问题，而最难的那 20% 仍接近零，这确实是真正的进步，但这并不等同于彻底解决了对抗性 OCR 问题。

尽管如此，其核心贡献依然成立：一个真正衡量模型能否找到难以阅读的文本（而不仅仅是猜测）的基准测试，以及一种能在不破坏日常性能的前提下显著缩小差距的训练方案。这种组合——更难的评估加上不牺牲其他方面性能的修复方案——在该领域中比应有的情况更为罕见。