CC-OCR 对九大顶级 AI 模型进行 7,058 份真实文档测试，多数模型基础能力不及格

将一张在荧光灯下以轻微角度拍摄的泰国餐厅菜单照片输入到最先进的视觉语言模型中，并要求它提取菜品名称和价格。令人惊讶的是，许多模型会自信地开始，然后陷入停滞。这里的“停滞”并非指“给出错误答案”，而是指模型会不断重复相同的三个词，直到输出被截断，就像一张跳针的黑胶唱片。

这是 CC-OCR 基准测试中隐藏的一项发现。该基准由主要来自阿里巴巴 Qwen 团队以及华南理工大学的团队于 2024 年 12 月发布。该论文在四个类别的文本阅读任务中，对 7,058 张真实且带有标注的图像测试了九款主流的大型多模态模型，包括 GPT-4o 和 Gemini。核心结论是：那些被认为在“阅读”图像方面具备广泛能力的模型，存在特定且可预测的失败模式，而简单的准确率分数永远无法揭示这些模式。如果你正在构建基于 AI 驱动文档处理的任何应用，这一区别比排行榜排名更为重要。

来自 CORD 数据集的真实收据——正是 CC-OCR 用来测试模型的这类倾斜、真实世界的文档。来源：CORD (Park et al., NAVER CLOVA, 2019)，采用 CC BY 4.0 许可。

传统 OCR 基准测试通常存在的误区

光学字符识别（OCR），即从图像中提取可读文本，过去通常意味着运行一个针对单一狭窄任务训练的专用模型：例如读取扫描页面上的印刷英文文本，或识别车牌。大型多模态模型（LMMs）改变了这一范式。这类模型与能够描述照片或回答图表问题的模型属于同一族系，它们也能读取嵌入在图像中的文本，因为它们是在从互联网、PDF 文件和屏幕截图中抓取的海量图文对上进行训练的。

问题在于，一旦脱离干净的扫描页面，“读取文本”这一任务实际上掩盖了许多更困难的子技能。真实文档中的文本往往以奇怪的角度出现。它们包含表格，其含义不仅在于文字本身，更在于网格结构。它们可能在同一行内混合多种语言。它们可能是手写的，或因水损而模糊，或是用手机以奇怪的角度拍摄的。

在 CC-OCR 出现之前，大多数现有的 OCR 基准测试仅评估了该问题的一个狭窄切片。有些基准测试纯粹关注场景文本（如路标、店面招牌），另一些则纯粹关注文档解析（将 PDF 转换为结构化的 Markdown 或 HTML）。很少有基准测试测试除英语和中文之外的多种语言。几乎没有任何基准测试将“模型是否能找到图像中的正确区域”（定位/grounding）与“模型是否能生成准确的文本”作为两个独立的、可衡量的指标结合起来。CC-OCR 旨在填补这一空白，这也是即使你从不亲自训练模型，这篇论文也值得一读的原因。它告诉你在信任 OCR 流水线处理你的文档之前，实际上应该检查哪些内容。

CC-OCR 的构建方式：四条赛道，而非单一评分

CC-OCR 将评估分为四个赛道，每个赛道针对不同的现实场景：

多场景文本识别。 这是经典的“自然场景文本”（text in the wild）：路牌、产品包装、截图、收据。挑战不在于孤立地读取文本，而在于当文本微小、倾斜或嵌入在复杂的背景中时，首先找到文本，然后准确读取它。

多语言文本识别。 该基准测试涵盖了超越 OCR 研究中占主导地位的英语/中文对的其他语言，测试一个能良好读取英文路牌的模型是否也能处理例如日文竖排文本或阿拉伯文从右到左的脚本。

文档解析。 这是日益成为 AI 流程核心的“PDF 到结构化文本”任务：将扫描文档转换为 Markdown、HTML 或其他结构化格式，保留表格、标题和阅读顺序，而不仅仅是平铺的文本转储。

关键信息提取。 给定发票或表单等文档，提取特定字段，如总金额、日期、供应商名称，而不是不加区分地转录所有内容。这是最直接映射到企业实际 OCR 需求的任务：不是“把整页内容读给我”，而是“告诉我发票号码”。

在这四个赛道中，基准测试包含 39 个子集。一个引人注目的设计选择是：7,058 张图像中有 41% 来自真实应用，并在此论文中首次发布，而非从旧的学术数据集中重新打包。这很重要，因为旧的基准测试往往会被记忆。在训练期间见过数据集图像的模型在该数据集上会表现出人为的强劲性能。新鲜的、现实世界的图像使测试更难被操纵，并更接近生产系统实际遇到的情况。

评估还将大多数 OCR 评分混淆的两件事分开：模型是否在图像中找到正确的位置（定位，通常通过预测的边界框与真实边界框的重叠程度来评分）以及提取的文本是否准确。如果模型无法指出文本的来源位置，即使文本识别准确，也会被扣分，这被证明是一个常见且具有指示性的失败模式。

为什么收据和旋转的招牌会击溃最先进的模型

该论文测试了九个主流的多模态大模型（LMM），涵盖了专有模型（GPT-4o 和 Gemini 系列）以及开源模型，结果清晰地揭示了三个反复出现的弱点。

文本定位能力比单纯的阅读准确率所暗示的要差。 一个模型可能能够正确转录招牌上的文字，却无法在图像中为这些文字绘制出准确的边界框。这听起来像是一个微小的技术差距，但它却是“模型读出了发票总额”与“模型能告诉你的下游系统发票总额的确切位置，以便你高亮显示、遮盖或对照模板进行交叉验证”之间的区别。对于任何超越单纯转录的流水线来说，这一差距至关重要。

多方向文本是一个持续的盲点。 旋转、垂直或其他非水平排列的文本会让那些处理标准从左到右水平文本毫无问题的模型陷入困境。这与任何处理过扫描文档的人所熟知的情况一致：现实世界中的扫描文档永远不会完美对齐。以一定角度拍摄的收据、倒置扫描的表格、垂直排版的日文招牌，这些在生产环境中并非边缘案例，而是常态。

通过重复产生的幻觉是最不寻常的发现。 在更困难或视觉上更杂乱的图像上，一些模型会陷入循环，反复重复某个单词、短语或行，而不是产生连贯、有界的输出。这并不是模型给出了错误答案的情况，而是模型完全陷入了退化的输出模式。这是语言生成中一个已知的故障模式（当模型不确定接下来应该生成什么时，有时会陷入重复循环），但在 OCR 任务中看到这种情况出现是一个有用的警示，因为人们原本期望“正确”的输出会受到页面上实际内容的严格限制。基于置信度的过滤不一定能捕捉到这一点，因为模型并没有以简单的下游检查能注意到的方式表达不确定性。它只是带着十足的自信在重复自己。

在这四个测试赛道中，没有一个模型在所有方面都占据主导地位。在英文场景文本方面表现强劲的模型，在多语言文档上可能表现平平；能够将文档解析为整洁 Markdown 的模型，可能在完全相同的源图像的关键信息提取上遇到困难。这就是实际的结论：“最佳 OCR 模型”并不是一个单一的、可通用的头衔。它在很大程度上取决于你的文档实际长什么样。

为什么这对构建 OCR 系统至关重要

如果您正在选择 OCR 引擎，或构建依赖于此的产品，本文中的三点内容应改变您评估选项的方式。

首先，使用您的实际文档进行测试，而非供应商的演示示例。CC-OCR 的贡献部分在于对狭窄基准测试的批评：一个在清晰、水平、仅英文的场景文本上得分高的模型，几乎无法告诉您它在处理来自真实客户的旋转、多语言、表格密集的发票时会表现如何。如果您的产品涉及收据、外语文档或手写表格，请专门针对这些内容进行基准测试，因为通用排行榜排名无法预测其表现。鉴于中文等汉字书写系统具有字符数量庞大、版面密集的特点，若相关研究仅覆盖英文/拉丁文本，其结论在直接迁移至中文识别任务时需格外谨慎。

其次，区分“是否读取了文本”与“能否告知文本位置”。如果您的用例涉及高亮提取字段、从文档构建结构化数据，或进行任何形式的人工审核工作流，定位准确性并非锦上添花，而是核心功能，而这正是 CC-OCR 显示模型相对于原始文本准确性最薄弱的维度。

第三，在生产环境中关注重复循环，而不仅仅是错误答案。一个产生看似合理但错误的总数的模型是已知且可管理的风险；您可以标记低置信度提取并添加审核步骤。一个陷入重复短语直到达到令牌限制的模型则是完全不同的故障模式，它可能会在单个文档上无声地消耗您的 API 预算，并产生明显损坏但在自动化流水线中若未专门检查则容易遗漏的输出。在后处理步骤中构建长度或重复检查并非过度设计，而是对已记录故障模式的直接响应。

这也是为什么针对同一文档测试多个引擎而非将所有赌注押在单一模型上的实际论据。由于 CC-OCR 测试中没有模型在所有四个赛道（多场景阅读、多语言阅读、文档解析、关键信息提取）中占据主导地位，生产系统最稳妥的做法是将引擎选择视为依赖于文档类型而非一次性决策，并在主引擎的特定弱点在给定输入中显现时拥有备用路径。

论文未解决的问题

CC-OCR 是截至 2024 年底九个模型的快照，而该领域发展迅速：此后已发布了更新的多模态模型，其中一些可能已专门解决了本论文指出的定位（grounding）和重复问题。该基准测试也没有深入探讨重复幻觉发生的原因，它仅记录了这一模式而未提供修复方案，这迫使从业者自行构建检测和缓解逻辑，而不是依赖某种已知的解决方案。

同样值得注意的是，无论基准测试多么全面，它仍然是由 7,058 张图像组成的固定集合。真实文档总会以固定测试集无法完全捕捉的方式带来意外：一种新的发票模板、一种无人想到要包含的语言组合，或是特定客户硬件独有的扫描伪影。CC-OCR 是一张真正有用的地图，展示了当前模型往往在哪些方面遇到困难。但它不能替代在发布前针对您自己的文档进行测试。

这实际上贯穿了整篇论文的核心观点：通用的“模型可以读取图像”能力与可靠的、生产级 OCR 是相关但截然不同的两回事，它们之间的差距体现在具体且可测试的方式上，例如方向、定位和失控的重复，而不是一个可以简单调高的单一旋钮。