14 年来，ImageNet 一直在用错误的“标准答案”给模型打分

想象一场包含 50,000 道题目的拼写测验，评分标准完全依赖于一位老师在 2012 年匆忙写就且此后再未校对过的“标准答案”。再设想一下：这份答案大约每 8 道题就有一处笔误；在三分之一的题目中，明明存在两到三种可接受的拼写方式，却只有一种被判为正确。这就是 ImageNet-1k 的验证集——十余年来奠定图像分类研究基石的基准测试集，也是新论文《Doomed to Re-Annotate, Forever: The ImageNet Story》的研究对象。

足以让你停下刷屏动作的核心发现是：原始 ImageNet-1k 中约有 12% 的标签是错误的，33.3% 的图像实际上包含多个有效类别，还有 3.8% 的图像根本不包含 1,000 个类别中的任何物体。这意味着，此前所有基于该数据集 Top-1 准确率建立的“SOTA”成果，在某种程度上都是用一份有缺陷的标准答案评出来的。而当研究人员修正了这些错误后，监督学习模型的 Top-1 准确率最多提升了 1.2 个百分点，而多模态大语言模型（MLLMs，即能够观察图像并用自然语言回答相关问题的模型）的准确率则大幅跃升了 5 到 6 个百分点。这绝非测量噪声，而是人们此前所谓的“技术进步”中相当可观的一部分。

为什么一张“狗与飞盘”的照片会搞垮单标签基准测试

ImageNet-1k 要求模型为每张图像从固定的 1,000 个类别列表中挑选出恰好一个标签。在 2012 年，这一限制合情合理——当时整个领域亟需一种简单且具可比性的方式，来衡量计算机究竟能否识别物体。但自那以后，这个设定便在悄无声息中走向了错误，因为现实世界的真实照片根本不会遵循“单标签”的规则。

以一张标注为“拉布拉多寻回犬（Labrador retriever）”的照片为例：如果这只狗嘴里正叼着网球、咬着木棍，或者坐在沙发上紧挨着一个人，哪个才是“正确”答案？最初的 ImageNet 标注团队通过众包工人对上百万张图像进行了大规模标注，工人大多只看过每张图一眼，便随手选定一个标签继续下一张。微小的歧义被放大一百万倍后，你得到的便是一个充斥着“看似讲得通实则有失偏颇”答案的基准测试。论文中那个引人瞩目的数据——三分之一的图像实际上包含多个标签——真实反映了现实世界在面对非黑即白的单项选择时有多么“不配合”。

此外，还有一个更隐蔽的第二重问题：类别体系本身就是不一致的。ImageNet 的 1,000 个类别源自语言学数据库 WordNet，而非专门针对计算机视觉精心设计的分类学体系。有些类别存在重叠（例如“便携式电脑/laptop”与“笔记本电脑/notebook computer”），有些类别范围狭窄得不可思议，还有些类别的定义直到原始标注人员已经以“错误”的方式标注了数千张图像后才逐渐清晰——而这些图像恰恰不符合他们后来确定的定义。这正是本篇论文更深层的论点：在这类任务中，你根本不可能在开始标注前就写出一套完美无缺的规范手册，因为迫使你完善规则的边缘案例，只有在你深入标注之后才会浮出水面。错误与定义缺陷是在具体实践中被发现的，而不是预先规划出来的。

团队如何构建 ReImageNet：放弃“一蹴而就”的幻想

以往清理 ImageNet 标签的尝试大多将其视作一次性的修复：找出错误、修正它们，然后发布一个打好补丁的 CSV 文件。而该团队的核心判断是：像 ImageNet 这种规模的数据集，现实中根本不可能通过单次标注就达到准确无误。因此，他们围绕“反复迭代优化与错误检查”构建了数据处理管线：标注、发现规范失效之处、修订规范、对照新规范重新检查此前的工作、不断重复。

最终诞生的 ReImageNet 远不止修复错误标签那么简单。针对验证集中的每张图像，团队新增了以下内容：

• 多标签修正（Multilabel correction）——列出画面中出现的每一个有效类别，而非仅保留一个
• 目标定位（Object localization）——标明每个已标注目标在图像中的实际位置
• 修订类别定义（Revised class definitions）——对源自 WordNet、存在歧义或重叠的原始类别进行收紧和厘清
• 语义属性（Semantic attributes）——标注各类特征标签，包括图像中是否包含文本、是真实照片还是绘画/渲染图、目标是否通过倒影呈现、是否处于密集人群中，以及某个目标是否在画面中占据明显主导地位

其中的“文本识别（text-recognition）”属性尤其值得细究。ImageNet 中有相当一部分照片包含清晰可见的文字：罐子上的标签、背景里的路牌、印在 T 恤上的单词。一个真正去“读取”文字而非识别形状特征的模型，可能会因具体图像而获得辅助增益或遭受惩罚，而此前从未有人追踪过这一变量。标记该属性虽是一项微小的改动，却具有极高的价值：它将“模型为什么在这张图上预测错误”从不可知的不解之谜，变成了可检验的科学假设。

另一个引人注目的举措在于标注的执行者。论文指出，人类与大语言模型（LLMs）的协同，辅以合适的工具链，构成了目前该规模数据标注的质量天花板。在实践中，这通常意味着由 LLM 提出候选标签、标记不一致之处或预填属性，再由人类进行审查、裁决分歧，并纠正模型高度自信却犯下的错误。任何一方都无法单打独斗完成这项任务。对于眼下正在考量大型标注项目人员配置的团队来说，这是一个极具参考价值的事实：纯粹的众包在 2012 年遗漏了大量问题，而如今若完全依赖自动化，很可能会以不同的形式遗漏同样多的问题。

关键核心数据：为什么 12% 的错误率比听上去更严重

简明盘点一下核心数据：

• 约 12% 的原始标签是错误的。 这不是模棱两可或“存有争议的错误”，而是针对所示图像彻底指鹿为马式的错误。
• 33.3% 的图像属于多标签。 验证集中整整三分之一的图像确实包含多个 ImageNet 类别，而旧的单标签格式一直在暗中惩罚那些原本正确的答案。
• 3.8% 的图像不包含 1,000 个类别中的任何目标。 相当于每 100 道测试题中就有近 4 道题在选项列表中根本没有正确答案。
• 一旦使用修正后的标签而非原始标签进行评估，监督学习模型的 Top-1 准确率最高提升了 1.2 个百分点。
• MLLMs 的准确率提升了 5 到 6 个百分点。 这是一个巨大的增幅，也深刻揭示了背后的根本原因。

最后两个数字之间的差距才是整件事的核心所在。在 ImageNet 上进行端到端训练的现代监督分类器，在某种意义上不仅学会了真正的视觉概念，还学会了迎合该数据集的各种特异习性。它在训练过程中吸收了最初的标注惯例，因此当对照同样的惯例进行评分时，这种偏差在很大程度上相互抵消了。然而，MLLM 并没有经过这种模仿 ImageNet 特定标注习惯的训练；它观察图像，推理其中的实际内容，并往往给出真正正确却被旧单标签真值直接判错的答案。换言之，所谓“MLLM 在分类任务上不如专用模型”的论调，很大一部分衡量的可能只是模型对 2012 年那套光怪陆离的规则手册的顺从程度，而非真实的视觉理解能力。

而且，这种负面影响并没有局限于原始基准本身。论文表明，ImageNet-1k 的问题蔓延到了其衍生测试集——即通过对原始数据进行重采样或扰动构建的各种后续基准中。如果底层基础标签有误，下游的一切都会继承这些错误。这也正是论文将其称为结构性问题而非单一数据集缺陷的原因：整个学术界在未经彻底审查的地基上，构建起了一整套基准测试家族。

为什么这对构建或选型 OCR 至关重要

OpenOCR 的读者并不会去训练 ImageNet 分类器，因此大家很自然会问：这篇论文为什么会出现在这个博客上？原因有两点，且都非常切中实际。

第一，方法论完全可以复用。文档智能（Document AI）与 OCR 基准测试 面临的失效模式与 ImageNet 完全一致，甚至往往更为严重。一张扫描发票上的印章可能覆盖合计金额行，印刷字段旁可能有手写修改，或者表格单元格本身在两种合理解读之间摇摆不定。OCR 数据集的“真值（Ground Truth）”通常也是沿用 ImageNet 2012 年的方式构建的：单次标注、单一标注人员或小团队，在任何人发现边缘案例前就草草冻结了定义规范。这篇论文有力地证明：如果你正在构建或审查文档基准，必须从一开始就为迭代重新标注预留预算，而不是留到后期去打补丁。大规模数据下的单次标注必然会在相当大比例的数据上出错，毫无例外。特别是考虑到汉字作为表意文字拥有数千个常用字符且版面密集复杂，该研究仅覆盖拉丁/英文文本的局限更提示我们，中文 OCR 基准中的形近字混淆与排版歧义只会让标注失真问题更加严峻。

第二，这一点与 OCR 引擎选型更为息息相关：基准测试的准确率数字，其可信度完全取决于真值的质量。如果你正在依据排行榜在不同引擎之间做出选择，务必探究其真值到底是什么、是如何构建的、是否经过多次复审，以及是否考量了存在多种合理解读的情况（例如一个模糊的数字可能是 3 也可能是 8，一个姓名输入框在两种切分方式之间模棱两可）。正如本篇论文在监督学习 ImageNet 模型上所证实的那样，两款引擎之间 1 到 2 个百分点的准确率差距，完全可能是由标签噪声而非真实能力差异所致。如果你评估的是文档理解模型而非单纯的纯文本提取，这篇论文中最惊人的数据更应引起深思：在获得公正评分后，MLLMs 的准确率足足跃升了 5 到 6 个百分点。任何依据单次标注、单一答案真值对多模态模型进行评分的 OCR 评测，很可能都在出于与 ImageNet 相同的原因低估了它们。

语义属性也是一个规模不大却极具借鉴价值的思路。标记图像是否包含文本、是实拍照片还是渲染图、或者内容是否通过倒影呈现，能将“模型在这张图像上识别失败”从一个未解之谜转化为可调试排查的具体分类。文档基准测试同样能从这种细粒度标注中获益匪浅：这是一张拍摄的页面照片还是平板扫描件？文字是手写还是印刷体？是否有水印或印章覆盖在文字内容上？眼下，大多数 OCR 基准测试仅报告一个综合准确率数字，恰恰掩盖了能够揭示引擎真正短板的关键变量。

本研究仍有哪些不足之处

这篇论文坦诚地指出了自身的局限性，我们应当认真看待这一点，而不是盲目将 ReImageNet 视为彻底解决问题的终点。论文题目已经说得很直白：“Doomed to Re-Annotate, Forever”（注定要永远重新标注）。作者本人的定调是：在这种规模下，没有任何标注工作能够达到最终零错误的完美状态；ReImageNet 是一份更好的标准答案，但绝非完美无瑕，而且按照他们自己的论证，随着新定义边缘案例的浮现，未来仍需要进行新一轮的迭代修正。

对于 OCR 领域的读者而言，还有一个特别值得注意的适用范围局限：这是一个自然图像分类基准。ReImageNet 所做的任何修正，都没有直接涉及文本识别准确率、版面分析（Layout Understanding）或表格提取等 OCR 基准实际需要衡量的核心指标。本文与 OCR 的关联，完全在于其方法论启示，以及它揭示了 MLLMs 在通用视觉任务中是如何被评分的，而非对任何特定 OCR 数据集带来直接的改进。

此外，对于打算直接替换新标签的人来说，还有一个务实的注意事项：使用 ReImageNet 重新评分会重塑排行榜。此前凭借微弱优势位列第一的模型，在使用修正后的多标签感知真值评估时可能会重新洗牌。今后如果在论文、博客文章或模型卡片（Model Card）中引用 ImageNet 准确率数据，务必明确指出该数据背后依据的是哪套标签体系。自这篇论文发布起，“ImageNet Top-1 准确率”实际上已经悄然拥有了两种完全不同的含义，而它们之间的差距大到不容忽视。

数据集、类别定义、标注指南以及分析代码均已全部开源（链接见论文），这正是该研究真正具备实用价值之处，而不仅仅是一个供人引用的有趣统计数据。任何致力于构建下一代视觉或文档基准测试的人，现在都有了一个具体生动的范例，展示了一套真正具备迭代机制、结合了人机协同（Human-plus-LLM）的标注管线究竟是何模样——无论是其亮点还是瑕疵。