一个补丁足矣：2B参数模型如何在路牌识别上超越GPT-5.4

将 Claude Sonnet 4.6 指向一张杂乱店铺的照片，并要求它转录其中的所有招牌文字，并为每个单词提供精确的边界框。它在标准的 Total-Text 基准测试中端到端准确率仅为 14.1%。GPT-5.4 的表现稍好一些，为 17.2%。Gemini 3.1 Flash 则达到了 50% 多的高位。这些是目前最强大的通用模型中的三个，然而在一个听起来几乎微不足道的任务（读取招牌文字并指出其位置）上，它们却被一个仅有 20 亿参数、大多数人从未听说过的模型远远甩在身后。

该模型出自华南理工大学的一篇新论文，题为《One Patch Is Enough》（一个补丁足矣）。标题即核心卖点：与其让模型收集一堆图像补丁来表示它读取的每个单词，不如只给它一个。这篇论文是一个很好的契机，可以探讨为什么读取照片中的文本与读取扫描页面是截然不同的问题，以及为什么仅仅使用更大、更聪明的语言模型并不能弥补这一差距。

CVS 药房——招牌修复，由 pixeljones 通过 flickr 提供，BY-SA 2.0。

为什么读路牌比读一页纸更难

“场景文本识别”（Scene text spotting）是指在自然照片中定位并转录文本的任务，例如商店招牌、产品标签、路牌、涂鸦以及灭火器上的贴纸。它与文档 OCR 有一个重要区别：扫描页面通常是平面、高对比度且排列整齐的；而餐厅招牌的照片可能尺寸较小、局部对比度低、文字环绕在 Logo 周围、与其他三个招牌挤在一起，并且经常是从倾斜角度拍摄的。

模型必须同时完成两项任务并确保它们精确对齐：确定每段文本的位置（检测）以及识别其内容（识别）。如果边界框偏差几个像素，就会截断字母；如果边界框正确但将其分配给错误的单词，即使字母识别正确，整个预测结果也会毫无价值。

多模态大语言模型（MLLMs，即能够查看图像并对其进行描述的 GPT-4V 和 Gemini 系列模型）通过将图像分割成称为“补丁”（patches）的小网格来处理这一问题，并将每个补丁视为一个标记（token），这与模型用于单词的单元类型相同。为了指向图像中的某个对象，模型可以输出原始坐标作为文本，或者直接指向这些补丁标记之一。指向补丁更为可靠，因为它将模型的答案与其实际观察到的内容联系起来，而不是让它凭空猜测四个数字。

旧方法：为每个词分配多个图像块

一旦你开始指向图像块而不是输入坐标，一个合理的下一步是让模型为每个词选择多个图像块，其理论依据是更多的证据意味着更自信的答案。这就是先前方法的做法，而 SPaTS 论文认为，这种方法在文本场景下恰恰适得其反。

他们的图 1 通过一个真实的标牌展示了原因，标牌上的文字类似于“MANOEI-HEATHER, PLEASE, FOREVER。”当为每个词分配多个图像块时，会出现三种常见的失败类型：一个图像块落在无关的背景上而不是文本上，多个图像块被分配到同一个词，导致无法确定哪个是权威的，以及来自相邻词的图像块混合在一起，形成模糊、不明确的信号。小而密集、弯曲的文本正是附近图像块最可能相互干扰的情况。

修复方案：精确定位一个补丁，然后让图像的其余部分辅助确定形状

论文的核心思想是单补丁文本检测（Single-Patch Text Spotting, SPaTS），它将每个文本实例通过单个锚点补丁（anchor patch）进行处理，而不是通过一组补丁。这个锚点确立了身份：这个补丁就是单词“FOREVER”所在的位置。但仅靠锚点本身无法提供足够的信息来绘制弯曲或不规则文本的准确边界，因此 SPaTS 将任务分为两部分。

一个名为补丁增强解码（Patch-Enhanced Decoding, PED）的组件会选取选定的锚点，结合模型的语言状态，然后对整个图像的特征图进行交叉注意力计算，而不仅仅是锚点补丁，以回归最终的几何形状：一个边界框、用于环绕标志的弯曲文本的贝塞尔曲线，或一组点。可以将其想象成目击者从一排人中辨认出一张脸，然后素描艺术家通过观察整张照片，而不是仅仅指着手指，重新绘制完整的肖像。一个令牌表示“是什么”以及大致位置；图像的其余部分则提供精确的形状。

教会模型选择哪个图像块，而无需告知正确答案

这里有一个棘手的问题：没有任何数据集会明确指出“第 4,281 号图像块是该单词的正确锚点”。真实标签（Ground Truth）提供的是边界框和转录文本，而不是对哪个单个图像块最能代表该实例的排序。选择锚点是一个离散决策，没有直接的标签可供学习。

作者通过强化学习解决了这一问题，他们提出了一个名为单图像块选择性优化（Single-Patch Selective Optimization, SPaSO）的框架，该框架建立在 GRPO（Group Relative Policy Optimization，组相对策略优化）之上，这也是 DeepSeek 用于在其模型中训练数学推理能力的相同方法。模型会采样多个候选图像块选择，那些导致更好结果的选择会在组内相对于其他选择得到强化。无需单独的评论家网络（critic network）。

两个奖励函数完成了这项工作。图像块生成奖励（Patch Generation Reward）检查最终结果：选择该图像块是否导致了与真实标签具有良好几何重叠的正确转录？图像块主导奖励（Patch Dominance Reward）则更为有趣。因为在训练初期，模型很少能偶然找到完美答案，导致主要奖励经常为零，这使得模型无法从中学习。主导奖励即使最终预测仍然错误，只要模型在其候选项中将正确图像块排在较高位置，就会给予部分信用。这就像是不仅奖励“正中靶心”，也奖励“更接近靶板”。

两个看似不起眼却作用巨大的小想法

另外两个辅助组件完善了整个架构。

方向嵌入对齐（Directional Embedding Alignment, DEA）解决了一个微妙的失效模式：图像块（patches）被表示为向量，而幅值较大的向量可能会主导选择过程，即使幅值较小的向量在语义上才是更佳的匹配。DEA 将每个图像块向量分解为幅值（信号强度）和方向（实际语义内容），在预热阶段之后锁定幅值，从而迫使选择过程依赖于方向对齐，而非仅仅取决于哪个图像块“声音最大”。在他们的消融实验中，移除 DEA 导致选择过程被特征范数主导，而非语义相关性。

移除 PED，并仅从语言模型的内部状态解码几何信息，而不是在选定的图像块中重新定位（re-grounding），导致了作者所描述的准确率崩溃。这是一个有用的负面结果：它表明，如果不强制模型不断将答案与实际像素进行核对，模型就会开始幻觉出看似合理的文本位置。

数据表现

结果在三个基准测试上进行了报告：Total-Text（弯曲和多方向文本）、CTW1500（同样包含弯曲文本，但更密集）以及 ICDAR2015（真实街景照片，通常是三者中最难的）。SPaTS 有两个尺寸版本，分别为 2B 和 4B 参数，并与三个层级的竞争对手进行了比较：前沿闭源模型（Claude Sonnet 4.6、GPT-5.4、Gemini 3.1 Flash、Seed 2.0 Pro）、大型开源权重模型（Qwen3.5，一个 397B 的混合专家模型；InternVL3.5，241B；GLM-4.6V；Kimi K2.5）以及专注于 OCR 的多模态大语言模型（HunyuanOCR、PaddleOCR-VL-1.5、dots.ocr）。

在 Total-Text 基准上，SPaTS-4B 在严格的无词典设置下达到了 64.9% 的端到端 F-score，而在有词典辅助消歧的情况下达到了 74.9%，相比之下，Claude Sonnet 4.6 的成绩仅为 14.1% 和 15.9%。闭源前沿模型在这里完全不具备竞争力，无论它们在其他方面表现得多好。在 CTW1500 基准上，SPaTS-4B 在全词典协议下的端到端得分达到了 79.6%。在 ICDAR2015 基准上，论文明确指出，SPaTS 将端到端准确率相对于之前的最佳结果提升了约 50%。

一项直接的消融实验值得特别指出，因为它将论文的核心主张与架构中其他因素区分开来：在相同的骨干网络上，他们比较了坐标-文本输出、多 patch 定位和单 patch 定位。单 patch 方法取得了压倒性胜利。这有力地证明，性能提升来自于标题中的核心思想，而不仅仅是因为更大的训练规模或更好的骨干网络。

强化学习阶段的重要性可能超出你的预期。从仅使用监督微调到加入 SPaSO，作者在 CTW1500 全词典设置下观察到端到端 F-measure 提升了 20.7 个百分点，从 58.9% 跃升至 79.6%。监督训练让模型能够准确地转录字符；而强化学习阶段则是教会它如何真正选择良好的锚点。

为什么这对任何构建或选择 OCR 的人都很重要

这里最有用的启示并非具体的架构，而是对比表所揭示的通用模型现状。Claude Sonnet 4.6、GPT-5.4 和 Gemini 3.1 Flash 在推理、编程以及就图像内容进行对话方面表现出色。然而，它们在精确、密集文本定位方面表现不佳，得分仅为十几到二十几分，而一个专用的 2B 模型在同一任务上的得分可达 60% 到 80%。如果你的产品需要在收据照片或杂乱货架的照片中为每个单词绘制紧密的边界框，那么无论通用聊天模型多么新或昂贵，它都不是合适的工具。

第二个启示是，参数量作为判断质量的信号非常微弱。在这个任务中，一个 2B 模型击败了 397B 的混合专家模型和 241B 的模型。如果供应商告诉你他们的 OCR 很好，因为它是“由”巨大的前沿模型驱动的，这一说法对于其在弯曲标志或模糊店面照片上的实际表现几乎没有任何参考价值。请要求提供针对混乱真实世界图像的准确率数据，而不是针对清晰扫描文档的数据，因为这是两个具有不同难度曲线的问题。

第三个启示实际上是论证不要将所有赌注押在单一引擎上。适用于清晰发票扫描的模型，未必适用于扭曲的收据或路牌照片，这篇论文清晰地展示了所有声称能“阅读图像”的模型之间可能存在的巨大差距。让文档通过多个引擎运行并选择最佳结果，其成本低于假设一个巨型模型能很好地处理所有情况。

值得深思的一个局限性是：这里的一切都是拉丁字母场景文本，没有手写体，没有密集表单，没有非拉丁字母脚本，也没有真正的纸质文档。这是在其测试问题上取得的强劲结果。鉴于汉字等表意文字具有数千个字符且布局密集的特点，同样的单锚点思想是否适用于一堆发票或手写笔记，是这篇论文没有回答的另一个问题。

无人粉饰的粗糙边缘

作者坦诚地指出了两个真实的局限性。首先，强化学习（RL）阶段增加了显著的训练开销，并且依赖于精心调整的奖励塑造（reward shaping）才能保持稳定。这并非一种可以即插即用的、优于监督训练的效率提升方案，而是一种更为复杂的配方，以牺牲训练的简洁性为代价来换取准确性。

其次，DEA 在预热期后锁定了其 patch 表示中的幅度分支（magnitude branch）。作者指出，这可能会在极端光照变化下损害模型的鲁棒性，因为在这些情况下，patch 的原始特征尺度实际上可能携带有用信息，而冻结的模型现在却忽略了这些信息。这是一个具体且合理的失效模式，而非模糊的免责声明。

此外，还有一个实际问题：代码仅标注为“即将发布”，因此目前这只是一篇论文，而非你可以安装并针对自己的文档进行测试的工具。鉴于其声称在性能上远超前沿聊天模型和专用 OCR 系统，值得在其发布时关注，但就目前而言，这些数字仅存在于上表中。