为什么擅长处理照片的模型却不擅长阅读你的发票

将金毛犬的照片模糊几个像素，你依然会叫它狗。将扫描的发票模糊同样的程度，“$1,987.00” 可能会变成 “$1,387.00”，直到数字对不上账，否则没人会注意到。这就是问题的全部：现实世界的照片能容忍模糊，而文本页面则不能。一篇名为 MonkeyOCRv2 的新论文认真对待这种不匹配，其解决方案比“在更多文档上训练”更有趣。

视觉编码器在错误的图片上接受了训练

每一个现代文档 AI 系统，无论是解析 PDF 还是回答关于扫描表单的问题，都始于一个视觉编码器：这是一种将图像转换为压缩表示的神经网络，模型的其余部分可以基于此进行推理。MonkeyOCRv2 团队指出的问题是，几乎所有这些编码器，包括当今流行的多模态模型中内置的编码器，都是在自然图像上预训练的。想想 ImageNet、LAION，这些标准数据集主要由猫、汽车和度假照片组成。

这种预训练教会网络在粗粒度层面识别对象和场景。无论是一只狗稍微模糊、旋转还是从更近的距离拍摄，它仍然是一只狗。但一页文本是完全不同类型的图像。“cl”和“d”之间的区别可能只有几个像素。逗号与句号的差异可能会改变数字的含义。化学公式中的下标如果位置高或低一个像素，就会改变整个公式。论文将这种现象称为“字符级视觉感知”，这是一个真实的差距：一个擅长区分贵宾犬和拉布拉多犬的编码器，并没有特别的原因去擅长区分 8 号字体中的 3 和 8，因为它的训练从未要求达到这种精度。

这就是为什么将通用视觉编码器附加到语言模型上并称之为文档 AI 系统时，往往会产生一种流畅但偶尔会在难以察觉的方式下出错的结果。它更多地是在读取页面的形状，而不是真正阅读页面内容。

构建史上最大的文档预训练数据堆栈

MonkeyOCRv2 团队的解决方案始于数据：一个名为 MonkeyDoc v2 的语料库。据他们称，这是迄今为止构建的最大文档图像预训练数据集，包含 1.13 亿张图像，涵盖 17 种语言。这并非简单地抓取 1.13 亿份文档后就束之高阁。它是为一种特定类型的训练准备的原材料，而自然图像数据集从未为此设计，因为猫照片语料库不需要像素与文本之间的字符级对齐。

然而，仅靠规模并不能解决根本问题。即使你在 1.13 亿张文档图像上预训练一个自然图像风格的编码器，如果训练目标没有迫使模型关注单个笔画，最终得到的模型仍会将整页内容视为一个模糊的大对象。

一个编码器，两项任务

真正的巧妙之处在于预训练的工作方式，这是一种真正聪明的设计。模型使用相同的视觉骨干网络同时学习两项任务：

• 图像到文本生成。 给定文档图像，生成其中包含的文本。这是熟悉的 OCR 任务，它教会编码器将所见内容与词语含义对齐。
• 像素级文档重建。 给定文档图像，在像素级别重建图像本身，保留字符笔画和布局。

可以将其比作两种学生的区别：一种是阅读页面并总结内容，另一种则必须凭记忆逐笔重绘页面。仅靠第一项任务，模型可能只掌握文档的大意，而平滑掉那些细微的细节——例如小衬线或小写字母 "g" 的尾部——而这些细节正是正确转录与看似合理实则错误转录之间的分界线。强制同一个编码器也进行像素重建，意味着它不能依赖模糊的内部表示。它必须保留足够的细节来重绘笔画，而不仅仅是猜测单词。

结合这两项任务比单独使用任何一项都更重要。没有文本生成目标的重建只会产生一个非常好的图像压缩器，而对标记的含义没有特别的理解。没有重建的文本生成则是现状，而现状正是在密集、微小或退化的文本上失效的。

在真正重要的场景中进行测试

团队没有仅仅为了展示而设计一个花哨的演示，而是将 MonkeyOCRv2 的编码器替换到现有系统中，跨越五个不同的文档任务，以检验性能是否得到提升：文本识别、公式识别、文本检测、文档篡改检测以及重叠文本分割。

最后这两个任务值得特别关注，因为它们并不是大多数 OCR 营销宣传中常提到的任务。篡改检测意味着发现文档是否被数字篡改，例如被修改金额的收据或被替换姓名的证书。重叠文本分割则意味着在文本被印章、水印覆盖或在印刷文本上手写标注时，能够正确分离文本，这种情况在扫描表格、保险索赔单和旧档案记录中经常发生。这两项任务的成败完全取决于重建目标旨在保留的像素级保真度：如果编码器已经丢弃了能够暴露篡改的细微细节，就无法检测到数字是否被篡改。

在所有五个任务中，用 MonkeyOCRv2 替换原始编码器均带来了性能提升。这种一致性才是此处更有意义的发现。如果一个模型在文本识别上表现优异，但在公式识别上表现不佳，则表明其性能提升可能源于对某个基准测试特定特性的过拟合。而在五个真正不同的任务中均取得胜利，则更好地证明了该编码器学习到了关于文档的通用知识，而非仅针对单一数据集的狭窄知识。

让竞争对手感到紧张的数据

如果只能关注一个结果，我会重点标记这个。该团队使用了他们预训练的编码器，并将其完全冻结（不再对其进行任何训练），然后将其与一个小语言模型配对，构建了一个拥有 7 亿参数的文档解析模型。

该模型在 MDPBench 上创造了新的开源最先进水平。MDPBench 是一个最近的基准测试，涵盖了 17 种语言的数字原生文档（从软件干净导出的 PDF）和拍摄文档（手机拍摄的纸质文件，包含所有光照和角度问题）。它击败了之前的最佳开源模型——一个名为 dots.mocr 的 30 亿参数系统，领先 2.8 个百分点，同时使用的视觉编码器规模大约只有对方的 1/11。

小模型击败大模型本身并不自动令人印象深刻；许多高效架构在狭窄的基准测试上都能做到这一点。使这一结果值得认真对待的是其规模缩减的来源。这并不是一个更聪明的语言模型在做更多的工作。而是一个视觉编码器，因为它从一开始就在正确类型的数据上进行了训练，所以需要的参数更少，而不是试图通过更大的下游模型来弥补自然图像编码器的盲点。这与“让 Transformer 更小”的教训有着实质性的不同。它表明，该领域一直在为指向错误问题的视觉能力支付过高的代价。

不仅仅是为了解析

该论文还将冻结的编码器作为文档理解模型的一部分进行测试，这类系统不仅转录文档，还能回答关于文档的问题、总结文档或对其布局进行推理。在这里，他们将其与基于 CLIP、DINO 和 SAM 构建的编码器进行比较：这三种是多模态 AI 中最广泛使用的视觉主干网络，主要是在自然图像或通用分割任务上训练的，而不是专门针对文档。

在相同的训练条件下，MonkeyOCRv2 编码器在八个基准测试中均优于这三种编码器。这是一个有用的对照：相同的下游架构、相同的训练方案，只有编码器不同。它将主张隔离到它应该被隔离的地方，即文档特定的视觉预训练比通用预训练产生更好的基础，而不是系统中其他地方更好的训练管道的产物。

论文没有告诉你的事

在任何人将此视为定论之前，有几件事值得特别指出。

首先，摘要中并未报告训练算力或成本，此处提供的总结也未提及。构建一个包含 1.13 亿张图像的预训练语料库，并在此规模上运行联合目标函数，成本不菲。在没有类似资源的情况下，小型实验室或独立开发者能否复现接近此水平的成果尚不清楚。推理时的高效（0.7B 模型）并不能说明训练时的高效。

其次，篡改检测和重叠文本分割是有用的能力，但它们也是比较小众的基准测试，在这些测试中取得高分并不一定意味着模型能很好地处理最混乱的真实世界文档：皱巴巴的收据、低对比度的传真扫描件、手写与印刷体混合的文档、在光线不佳的情况下以倾斜角度拍摄的文件。MDPBench 确实包含了拍摄的文件，这是一个好迹象，但“在基准条件下拍摄”和“有人在仓库里单手拿着手机手电筒拍摄”并不是相同的测试。

第三，论文中没有提及许可协议、权重可用性，也没有说明 MonkeyDoc v2 本身是否会发布。对于实际构建 OCR 产品的人来说，此类论文的许多实用价值取决于预训练编码器是否出现在某个可用的地方，而不仅仅是在基准测试表中。

为什么这对任何构建或采购 OCR 的人都很重要

如果您正在评估 OCR 引擎，或者构建需要处理真实客户文档的流水线，那么关键启示并非“必须使用 MonkeyOCRv2”，而是 OCR 或文档解析系统背后的视觉编码器并非可随意替换的通用商品，其预训练数据的重要性不亚于叠加在顶部的语言模型。围绕通用视觉骨干构建的系统，在密集文本、小型公式以及修改或重叠内容上存在结构性劣势，无论其后端语言模型在清理输出方面表现多么出色。

实际上，这意味着在比较引擎时，值得检查以下几点：它们在公式密集或字体较小的文档上的具体表现，而不仅仅是干净的印刷页面；它们如何处理被修改或盖章覆盖的文档；以及所声称的准确率数据是来自数字原生 PDF、拍摄文档，还是两者兼有。这些类别之间的差距正是通用视觉编码器容易失效的地方，而这正是此类论文试图缩小差距的领域。鉴于汉文/中文表意文字系统拥有数千个字符且排版密集，如果该论文仅涵盖英语/拉丁文本，其范围意味着在中文汉字识别方面仍需额外的针对性优化。

更广泛的信号是，如果结果在该论文的基准测试之外依然成立，那么文档 AI 正在开始培育自己的基础模型，而不是借用为其他任务构建的模型。这是一个健康的发展方向。一个不断将用于识别猫和汽车的视觉编码器重新用于发票和合同的领域，迟早会遇到瓶颈，而这篇论文有力地论证了我们正在触及这一瓶颈。