能捕捉AI模型伪造视觉的地图基准测试

看看这篇论文中的图 1，你会发现一些奇怪的地方。一边是 DocVQA 的截图，DocVQA 是标准的文档理解基准之一：一张满是吸烟者调查数据的表格，下面有一个问题，询问有多少百分比的人觉得需要在生活中寻找更多的刺激。另一边则看起来像是一本儿童书的插图：一个简单的绿色社区，有几座房子、一些蜿蜒的道路和卡通树木。问题问的是，如果你从左边进入并继续开车，你会在右边看到哪座房子。

表格被标记为“易于描述”。卡通社区被标记为“难以描述”。这与人类直观的看法相反，而这正是重点所在。模型可以将调查表格转换成一段文字并很好地回答问题，因为表格已经接近文本的形式。但是，试着写一段文字，充分捕捉哪座房子相对于弯曲道路系统的位置，并且要足够详细以回答任何可能的问题，你会发现自己要么在写一篇论文，要么会遗漏某些内容。这种“看起来简单”和“难以描述”之间的差距，正是上海人工智能实验室、浙江大学及其合作者提出的新基准 OmniMapBench 所旨在揭示的。

西雅图地图 1914 — 由 Rob Ketcherside 通过 flickr 提供，BY 2.0。

大多数“视觉”基准测试未意识到的陷阱

这篇论文揭示了一个令人不安的秘密。许多声称能测试大型视觉语言模型（LVLMs，即能够同时接收图像和文本输入的模型）视觉推理能力的基准测试，实际上几乎不需要真正的视觉推理就能解决。如果图表可以无损地转换为数据表，文档可以转换为 OCR 文本，或者几何图形可以转换为一组坐标，那么模型就不需要真正“看”图像。它只需要将图像一次性转换为文本，然后执行 LLMs 已经擅长的任务：基于文本进行推理。

这并非假设性的担忧。研究人员指出，在检索流程中，文档图像经常被转换为 Markdown 格式，而图表和表格也常被转换为代码或结构化数据。即使是表面上看似视觉化的几何问题，往往也是“文本完备”的，这意味着仅凭对图形的文字描述就足以解决问题。因此，当某个基准测试报告模型在某项“视觉推理”任务中得分高达 90% 时，一个值得追问的问题是：模型是真正用“眼睛”看了，还是仅仅在“阅读”？

地图是作者对这一问题的回答。地图的意义蕴含在其空间布局中：等高线、颜色编码的区域、依赖图例解释的符号，以及事物之间的相对位置。你无法像将电子表格扁平化为整洁段落那样，将地图扁平化。这正是地图成为良好压力测试的原因，也是 OmniMapBench 存在的原因。

如何证明一个基准测试确实需要视觉能力

这篇论文的巧妙之处不仅在于“我们构建了一个地图基准测试”，更在于作者提出了一种方法，用于衡量任何基准测试在多大程度上真正依赖于图像，又在多大程度上可以通过文本进行“作弊”。

他们将其称为视觉依赖指数（Visual Dependency Index, VDI），其核心思想一目了然。首先，在正常条件下（即提供真实图像）使用一个强大的模型运行基准测试，并记录其准确率。然后，移除图像，但允许同一模型首先生成该图像的文本描述（设定固定的 token 预算上限，以防止模型输出无限详细的转录文本）。接着，将该描述而非原始图像输入模型，再次测量准确率。VDI 即为这两种情况下的准确率下降百分比。如果模型仅凭自身生成的文本描述就能达到与直接观察真实图像相近的表现，则 VDI 较低，表明该基准测试并不真正需要视觉能力。反之，如果移除图像后准确率大幅下降，则 VDI 较高。

结果十分显著。在 1,024 个 token 的描述预算下（大致相当于几段密集的文字），诸如 AI2D（科学图表）和 MMBench 等基准测试的表现基本崩溃：它们的 VDI 降至接近零，这意味着一段足够好的文字描述就能带来与真实图像几乎相同的准确率。而 OmniMapBench 则处于另一端，其 VDI 为 0.338，在包括 DocVQA、ChartQA 和 MathVista 在内的十一个测试基准中位居最高。作者还跟踪了一个名为描述饱和指数（Descriptive Saturation Index, DSI）的辅助指标，用于衡量模型是在耗尽全部 token 预算以描述图像，还是因为无话可说而提前停止。OmniMapBench 在此指标上的得分为 0.629，在对比中排名第二高，这意味着即使在 token 上限下，模型仍在努力寻找更多词汇来描述这些地图。将这两个数值结合起来，便得到了一个从两个不同角度抵御文本转换捷径的基准测试。

构建 1,603 张无法靠“话术”绕过的地图

该数据集本身的规模小于一些著名的 VQA 基准测试（DocVQA 约有 50,000 个问答对；OmniMapBench 有 2,096 个），但其构建过程值得详细回顾，因为它解释了为什么这些问题难以通过捷径解决。

团队首先通过爬取和手动收集了超过 5,000 张地图图像，利用 LLM 在九个目标类别中生成多样化的搜索查询，并从政府门户和社交平台针对性地获取交通图等专用地图类型。他们将这一池子筛选至约 2,000 张图像，剔除了近重复项、低分辨率扫描件以及涉及政治敏感地区的任何内容。随后，人工标注者按照严格规则手写问答对：每个问题必须仅凭地图中的视觉信息即可回答，无需外部知识，并格式化为单选题、多选题或排序题，以确保评分的客观性。

标注者还必须刻意覆盖三个难度层级：Level 1 问题测试基本感知能力（能否找到并识别符号），Level 2 测试单步空间推理（这两个点中哪个离河流更近），Level 3 测试多步关系推理（追踪经过多次转弯的路线并报告沿途可见内容）。第一轮共生成 3,386 个问答对，经筛选和重新平衡后降至 2,882 个，随后进入第二轮独立的交叉验证，由另一组标注者检查每个问答对的准确性和类别正确性。未能通过该检查的内容均被剔除。最终保留：1,603 张图像中的 2,096 个问答对。

这九个类别展示了此处“地图”概念的广泛性：室内导航（占图像的 18.3%）、教育与历史（17.2%）、工程与设施（16.8%）、交通（15.7%）、旅游（13.2%）、地形与遥感（7.3%）、环境与自然（5.2%）、社会经济（3.9%），以及值得注意的是，游戏地图（2.4%），即虚构的奇幻或电子游戏世界地图。最后这一类别是对那些假设地图仅指现实世界地理的基准测试的有意挑战。先前的地图专用基准测试往往专注于狭窄领域，如 ReasonMap（仅限交通地图，约 30 张图像）或 MapQA（仅限分级统计图）。OmniMapBench 的赌注在于，多样性——从地铁线路图到商场目录再到疏散路线平面图——才是真正考验模型通用空间推理能力而非其对某种地图风格熟悉度的关键。

1888年马尼托巴省西北部鸭山和骑山的地形图——由 Manitoba Historical Maps 提供，来自 flickr，CC BY 2.0。

成绩单：25 个模型与 75% 的性能天花板

最引人注目的结果是，表现最佳的模型 Gemini-3.1-Pro 总体得分为 75.03%。对于一个由多项选择题和排序题组成的基准测试而言，随机猜测本身就能获得一定分数，因此对于 2026 年的前沿模型来说，这一天花板显得相当低。

在包含 25 个模型的完整排行榜中，有几个现象尤为突出。首先，顶级专有模型与顶级开源模型之间的差距比你预期的要小：Qwen3.5-397B-A17B 获得了 72.22% 的分数，仅比 Gemini-3.1-Pro 低 3 个百分点，并且明显领先于包括 GPT-5（56.54%）、Claude-Sonnet-4-5（45.04%）在内的多个其他专有系统，而 GPT-4o 在所有 25 个模型中垫底，得分为 31.47%。如果你一直认为“专有旗舰”自动意味着“视觉推理能力最强”，这份排行榜则提出了不同的观点。

其次，随着推理难度的增加，性能急剧下降。Gemini-3.1-Pro 按难度划分的得分说明了这一点：第 1 级（感知）得分为 88.24%，第 2 级（单步推理）得分为 81.53%，第 3 级（多步推理）得分为 62.88%。从地图上读取一个符号是一回事，而将多个空间事实串联起来以回答问题则是另一种技能，而这正是目前仍在明显发展中的能力。

第三，类别的影响非常大。在旅游等类别中，模型表现相对较好，因为这些地图通常包含更多常规的标注文本（如地标名称、路牌），模型可以依赖这些信息。它们在地形与遥感类别中表现较差，因为这些类别中的信息编码在密集、非标准的符号、等高线和连续的颜色渐变中，而不是离散的标注文本中。这与论文的整体论点一致：地图越难以用语言描述，当前模型就越难处理。

还有一个值得提及的控制实验。作者运行了一个“无图像”基线测试：只给模型问题和答案选项，不提供任何图像或描述，以查看是否可以通过答案选项偏差或一般世界知识来“破解”该基准测试。在三种测试模型中，平均准确率从正常访问时的 58.87% 下降到盲测时的 23.35%。这接近于随机猜测与对听起来合理的答案存在轻微偏差之间的预期结果，这是一个好消息：这意味着该基准测试并非可以通过仅仅擅长选择听起来最不奇怪的多项选择题答案的模型来秘密解决。

为什么这对构建或选择 OCR 流程的人至关重要

如果你的产品涉及那些本质上是空间性而非纯文本性的文档——如平面图、交通图、现场示意图、疏散路线、GIS 叠加层——那么这篇论文就是一个警示标签。那些依靠运行 OCR 或“描述此图像”步骤，然后将生成的文本交给大语言模型（LLM）处理的流程，会在这类文档上悄无声息地失败，因为关键信息（什么靠近什么、哪条路径连接到哪个房间、哪个区域被涂上哪种颜色）在扁平化为文本描述的过程中会丢失。OCR 和文档 AI 供应商喜欢发布的 DocVQA 风格基准分数，并不能告诉你他们的系统如何处理这一类别，因为根据这篇论文自身的测量，这些基准在很大程度上可以通过文本捷径来解决。考虑到汉字等表意文字系统具有字符繁多、排版密集的特点，这种对空间布局和视觉结构的依赖在中文文档识别中往往更为显著，使得单纯依赖文本提取的方法局限性更大。

务实的做法是带着实际的失败模式进行测试，而不是盲目相信综合准确率分数。询问引擎是否能够追踪平面图中的路线并报告沿途内容，而不是询问它是否能够转录边界框内的文本。如果你正在评估涉及地图、蓝图、技术原理图或图表的 OCR 或文档 AI 供应商，不要轻信“我们处理视觉文档”的说法：要求提供针对多步骤、基于空间定位问题的具体准确率，因为这正是通用 OCR 流程甚至强大的视觉语言模型（LVLM）目前感到吃力的地方。目前，即使是世界上最优秀的模型，在此类任务上的准确率也仅达到四分之三。如果你的用例依赖于准确获取那剩下的四分之一，请计划进行人工审核或采用更窄、更专用的方法，而不是假设通用的视觉语言模型开箱即用就能满足需求。

该基准测试的实际深度不如表面看起来那么深

在将 OmniMapBench 奉为圭臬之前，有几个注意事项值得牢记。与 DocVQA 中超过 50,000 个案例或某些图表基准测试中的数万个案例相比，OmniMapBench 仅包含 2,096 个问答对，规模较小。此外，其类别分布极不均衡：室内导航、教育与历史、工程与设施这三类加起来占据了超过一半的图像，而游戏地图总共不足 40 张。对于最小类别而言，如此稀薄的基准测试即使在总体数据表现稳健的情况下，在类别层面也可能存在噪声。

VDI 指标本身也依赖于单个参考模型（GPT-4.1）来生成用于纯文本比较的描述。作者进行了一项消融实验，替换了不同的参考模型，并发现趋势保持一致，这提供了一定的支持，但该指标本质上仍然是在询问“这个特定模型用文字描述该基准测试的能力有多强”，而非图像本身某种独立于模型的属性。此外，该基准测试仅涵盖英语和中文（分别占问题的 61% 和 39%），因此它无法说明这些结果在其他语言或脚本标注的地图中可能会如何变化。

这些局限性并未削弱核心发现。即使数据集较小且指标不完美，OmniMapBench 的 VDI 与其他所有测试对象之间的差距也大到足以令人信服，而全球最佳模型 75% 的上限是一个真实的结果，并非舍入误差。该论文的实际贡献不在于“这是决定性的地图基准测试”，而更多在于“这是一种用于判断你的基准测试究竟是在测试视觉能力，还是在变相测试阅读理解的方法”。这是一个值得拥有的工具，鉴于目前许多“视觉推理”排行榜很可能在无意中测量的是后者，这一工具的出现可谓恰逢其时。