AIモデルが視覚を偽装するのを暴くマップベンチマーク

この論文の図1を見てみると、奇妙なことに気づきます。片側には、標準的なドキュメント理解ベンチマークの一つであるDocVQAからのスクリーンショットがあります。喫煙者に関する調査データが詰まった表で、その下に「人生でより多くの刺激を求める必要があると感じる人の割合はどれくらいか」という質問が書かれています。もう片側には、子供向けの本のイラストのように見えるものがあります。シンプルな緑の住宅地で、いくつかの家、曲がりくねった道路、そして卡通風の木々が描かれています。質問は、「左から入って走り続けた場合、右側に見えるのはどの家か」というものです。

表には「説明しやすい」というラベルが付けられています。一方、卡通風の住宅地には「説明しにくい」というラベルが付けられています。これは人間の直感とは逆で、まさにそれがポイントです。モデルは調査表をテキストの段落に変換し、質問に問題なく答えることができます。なぜなら、表はすでに半分テキストだからです。しかし、曲がりくねった道路システムに対してどの家がどこにあるかを完全に捉え、どのような質問にも答えられるだけの詳細な段落を書くことを試みると、エッセイを書いているような状態になったり、何かを省略したりすることになるでしょう。「シンプルに見える」ことと「説明に抵抗する」こととの間のギャップこそが、上海AI研究所、浙江大学、および協力者たちによって開発された新しいベンチマークであるOmniMapBenchが明らかにしようとするものです。

シアトル地図 1914 — Rob Ketchersideによる flickr 経由, BY 2.0.

多くの「視覚的」ベンチマークが気づいていないトリック

この論文の核心にある不愉快な秘密とは、次のようなものです。大規模ビジョン・ランゲージモデル（LVLM：画像とテキストの両方を入力として受け取れるモデル）の視覚的推論能力をテストすると主張する多くのベンチマークは、実際にはほとんど視覚的推論を行わなくても解けてしまうのです。グラフがデータテーブルへ、ドキュメントがOCRテキストへ、幾何学図形が座標のリストへ、それぞれロスレス（情報損失なし）で変換可能であれば、モデルが画像を真正面から「見る」必要はありません。一度画像をテキストに変換し、LLMがすでに得意とするテキストベースの推論を行えばよいのです。

これは仮説上の懸念ではありません。研究者たちは、検索パイプラインにおいてドキュメント画像が頻繁にMarkdown形式に変換され、グラフやテーブルがコードや構造化データへ変換されることを指摘しています。一見視覚的に見える幾何学の問題でさえ、多くの場合「テキスト完結型」であり、形状の言語的な記述だけで解けることが多いのです。したがって、あるベンチマークでモデルが「視覚的推論」タスクで90%のスコアを出したと報告されたとき、本当に問うべき重要な疑問があります。それは、モデルが実際に「目」を使ったのか、それともただ「読んだ」だけなのか、という点です。

著者たちがこの問いに対する答えとして提示するのが、地図です。地図の意味はその空間的なレイアウトに宿っています。等高線、色分けされた地域、凡例に依存する記号、そして物体同士の相対的な位置関係などです。スプレッドシートのように、地図をきれいな段落に平坦化（フラット化）することはできません。これが地図を優れたストレステストとする所以であり、OmniMapBenchが存在する理由です。

ベンチマークが本当に視覚能力を必要とするかどうかを証明する方法

この論文の巧妙な点は、「地図ベンチマークを作った」ことだけではありません。著者たちは、任意のベンチマークにおいて、画像に依存する度合いと、テキストだけで攻略（ゲーム）できる度合いを測定する方法を構築しました。

これを「視覚依存指数（Visual Dependency Index, VDI）」と呼び、そのアイデアは一度見ればシンプルです。あるベンチマークを取り、強力なモデルを通常通り（実際の画像を使用して）実行し、精度を記録します。次に、画像を削除し、同じモデルにまずその画像の文章による記述を生成させます（トークンの予算を固定の上限に設定し、無限に詳細なトランスクリプトを出力できないようにします）。その後、画像の代わりにその記述をモデルに入力し、再度精度を測定します。VDIは、この2つの数値間の精度低下の割合です。モデルが実際の画像を見る場合と、自身の生成したテキスト記述から作業する場合でほぼ同様の性能を発揮する場合は、VDIは低くなり、そのベンチマークは真の視覚能力を必要としないことを示しています。一方、画像がないと精度が崩壊する場合は、VDIは高くなります。

その結果は明白です。1,024トークンという記述予算（数段落の密度の高い文章に相当）では、AI2D（科学図解）やMMBenchなどのベンチマークはほぼ機能しなくなります。VDIはほぼゼロに低下し、十分な段落があれば、実際の画像と同じ精度が得られることを意味します。一方、OmniMapBenchは反対側に位置し、DocVQA、ChartQA、MathVistaなどの馴染みのある名前を含む11のベンチマークの中で最も高い0.338というVDIを示しました。著者たちはまた、「記述飽和指数（Descriptive Saturation Index, DSI）」と呼ばれる補足指標も追跡しています。これは、モデルが画像を記述するためにトークン予算を使い切ろうとするのか、それとも言うべきことがなくなっているため早期に諦めるのかを測定するものです。OmniMapBenchはここで0.629を記録し、比較の中で2番目に高く、モデルがトークンの上限に達してもこれらの地図を記述するためにさらに言葉を絞り出そうとしていることを意味します。これらの2つの数値を組み合わせることで、テキスト変換による抜け穴を2つの異なる角度から防ぐベンチマークが得られます。

1,603枚の「回避不可能」なマップを構築する

本データセット自体は、DocVQA（約50,000問のQAペア）やOmniMapBench（2,096問）といった有名なVQAベンチマークよりも小規模ですが、その構築プロセスは、なぜこれらの質問がショートカット（裏技）で解けないのかを理解するために、ぜひ見ておく価値があります。

チームはまず、LLMを用いて9つのターゲットカテゴリに対して多様な検索クエリを生成し、5,000枚以上のマップ画像をスクレイピングおよび手動で収集しました。さらに、交通図などの専門的なマップタイプについては、政府ポータルやソーシャルプラットフォームから意図的にソースを取得しました。このプールからほぼ2,000枚の画像に絞り込み、類似度の高い重複画像、低解像度のスキャン画像、および政治的に敏感な地域に言及するものを除外しました。その後、人間の注釈担当者（アノテーター）が厳格なルールに従ってQAペアを手作業で作成しました。すべての質問は、マップの視覚情報のみで回答可能であり、外部知識を必要としないものでなければならず、採点を客観的に保つため、単一選択式、複数選択式、または順序選択式の形式でフォーマットされました。

アノテーターは、意図的に3つの難易度レベルを達成する必要もありました。レベル1は基本的な知覚能力（シンボルを見つけ、読み取れるか）をテストし、レベル2は単一ステップの空間推論（これらの2点のうち、どちらが川に近いのか）をテストし、レベル3は複数ステップの関係推論（いくつかの曲がり角を通るルートを追跡し、沿道に見えるものを報告する）をテストします。この最初のラウンドで3,386ペアのQAが生成され、フィルタリングと再バランスを経て2,882ペアに減らされました。その後、別のチームのアノテーターがすべてのペアの正確性とカテゴリの正確性をチェックする、独立した2回目のクロスバリデーションが行われました。このチェックを通過しなかったものはすべて破棄されました。最終的に残ったのは、1,603枚の画像にわたる2,096ペアでした。

9つのカテゴリは、ここで「マップ」の概念がどれほど広義に解釈されているかを示しています。屋内ナビゲーション（画像の18.3%）、教育・歴史（17.2%）、工学・施設（16.8%）、交通（15.7%）、観光（13.2%）、地形・リモートセンシング（7.3%）、環境・自然（5.2%）、社会経済（3.9%）、そして注目すべきはゲームマップ（2.4%）です。これは、架空のファンタジーやビデオゲームの世界マップを指します。最後のカテゴリは、マップとは現実世界の地理を意味すると仮定するベンチマークに対する意図的な批判です。従来のマップ特化型ベンチマークは、ReasonMap（交通図のみ、約30枚）やMapQA（コロプレスマップのみ）のように狭い専門分野に特化する傾向があります。OmniMapBenchの賭けは、地下鉄図からショッピングモールの案内図、避難経路のフロアプランに至るまでの多様性が、モデルの特定のマップスタイルへの慣れではなく、一般的な空間推論能力に実際に負荷をかけるという点にあります。

マニトバ州北西部のダック山とライディング山の地形図（1888年）— Manitoba Historical Maps による flickr 経由, BY 2.0.

スコアボード：25モデルと75%の天井

注目すべき結果は、テストされた中で最高のモデルであるGemini-3.1-Proが全体で75.03%のスコアを記録したことです。ランダムな推測ですらある程度の正答率を得られる、択一問題や順序問題から構成されるベンチマークにおいて、これは2026年の最先端モデルにとって有意義に低い天井値と言えます。

25モデルの完全なリーダーボードでは、いくつかの点が際立っています。まず、トップクラスの商用モデルとオープンソースモデルの差は、予想よりも小さいことです。Qwen3.5-397B-A17Bは72.22%を記録し、Gemini-3.1-Proに3ポイント以内の差をつけ、GPT-5（56.54%）、Claude-Sonnet-4-5（45.04%）など他のいくつかの商用システムを明確に上回りました。GPT-4oは25モデル中最下位で31.47%でした。「商用フラッグシップ」が自動的に「視覚推論で最良」を意味すると仮定していた場合、このリーダーボードはそれとは異なることを示唆しています。

第二に、推論が難しくなるにつれてパフォーマンスは急激に低下します。Gemini-3.1-Proの難易度別スコアがその物語を語っています：レベル1（知覚）で88.24%、レベル2（単一ステップ推論）で81.53%、レベル3（複数ステップ推論）で62.88%です。地図から記号を読み取ることは一つのことですが、いくつかの空間的事実を連鎖させて質問に答えることは別のスキルであり、それが明らかにまだ発展途上であることを示しています。

第三に、カテゴリは大きく影響します。モデルは、地図がより伝統的なラベル付きテキスト（ランドマーク名、道路標識など）を含み、モデルがそれらに頼りやすい観光カテゴリでは比較的良好なパフォーマンスを発揮します。一方、情報は離散的なラベル付きテキストではなく、密集した非標準記号、等高線、連続的な色グラデーションでエンコードされている地形・リモートセンシングカテゴリでは、パフォーマンスが劣ります。これは論文全体の提唱と一致しています：地図を言葉で説明するのが難しいほど、現在のモデルにとって難しいということです。

また、注目すべき制御実験もあります。著者は「画像なし」ベースラインを実行しました：モデルに質問と回答選択肢のみを与え、画像や説明は一切与えず、ベンチマークが回答選択肢のバイアスや一般的な世界知識のみでゲーム化できるかどうかを確認しました。テストされた3モデルの平均精度は、通常アクセス時に58.87%から、盲検状態で23.35%に低下しました。これはランダムな推測と、説得力のある回答への軽微なバイアスの間の期待値に近いもので、良いニュースです：つまり、ベンチマークは、単に最も奇妙でないように聞こえる択一回答を選ぶのが得意なモデルによって秘密裏に解けるものではないことを意味します。

OCRパイプラインの構築・選定においてなぜ重要なのか

あなたの製品が、テキストよりも空間的な構造が本質的な書類（フロアプラン、交通図、サイト図、避難経路図、GISオーバーレイなど）を扱う場合、この論文は警告ラベルのようなものです。OCRを実行するか「この画像を説明して」というプロンプトを与え、その結果として得られたテキストをLLMに渡すというパイプラインは、まさにこのカテゴリの書類で静かに失敗します。なぜなら、重要な情報（何が何の近くにあるか、どの経路がどの部屋につながっているか、どの領域がどの色で着色されているか）は、キャプションに平坦化される過程で失われてしまうからです。OCRやドキュメントAIベンダーが好んで公開するDocVQAスタイルのベンチマーク数値は、このカテゴリの処理能力について何ら示唆を与えません。なぜなら、この論文独自の測定によれば、それらのベンチマークはテキストの近道で解けるものが大半だからです。

日本語（漢字＋仮名）は多くの場合縦書きで表記され、これは多くのOCRやVLMモデルにとって最も困難なケースの一つです。もし対象の論文やモデルが英語のみを対象としており、縦書きテキストを無視している場合、それは日本語の文書、特に伝統的な縦組レイアウトや漢字混在の文書ではそのままの精度が期待できないことを意味します。

実務的な対応策は、集計された精度スコアを盲目的に信頼するのではなく、実際の失敗モードを意識してテストを行うことです。エンジンがバウンディングボックス内のテキストを文字起こしできるかどうかではなく、フロアプラン上の経路を追跡し、その沿道にあるものを報告できるかどうかを問うべきです。地図、図面、技術的な回路図、またはダイアグラムを含む何かのためにOCRやドキュメントAIベンダーを評価している場合、「視覚的ドキュメントを処理できます」という言葉を額面通り受け取ってはいけません。代わりに、複数ステップにわたる空間的に根ざした質問に対する精度を具体的に要求してください。なぜなら、そこが汎用OCRパイプラインや、強力なLVLM（Large Vision-Language Models）ですら現在苦戦しているまさにその場所だからです。現在、世界最高のモデルでさえ、この分野での精度は最大で四分之三（75%）に留まります。あなたのユースケースがその最後の四分数（25%）の正確性に依存している場合、汎用のビジョン言語モデルが箱から出してそのまま解決してくれると想定するのではなく、人間のレビュープロセスを計画するか、より狭く目的特化されたアプローチを採用してください。

このベンチマークが思われているよりも薄い部分

OmniMapBenchを絶対的な基準として扱う前に、いくつかの留意点を押さえておく価値があります。2,096組のQAペアという規模は、DocVQAの50,000件超や、一部のチャートベンチマークの数万件と比較すると小さく、カテゴリの分布も偏っています。屋内ナビゲーション、教育・歴史、エンジニアリング・施設のカテゴリが合計で画像の半数以上を占める一方、ゲームマップは合計で40枚未満です。最も少ないカテゴリがこれほど少ないベンチマークでは、集計値が堅調であっても、カテゴリレベルではノイズが含まれる可能性があります。

VDI指標自体も、テキストのみでの比較に使用される記述を生成するために、単一の参照モデル（GPT-4.1）に依存しています。著者は別の参照モデルに置き換えたアブレーション実験を行い、一貫した傾向を確認しましたが、これは指標が依然として「このモデルが、このベンチマークを言葉でどの程度正確に記述できるか」を問うものであり、画像自体のモデルに依存しない性質を測っているわけではありません。また、このベンチマークは英語と中国語のみ（それぞれ質問の61%と39%）を対象としており、他の言語や文字体系で注釈が付けられたマップでは、結果がどのように変化するかについては何も示していません。

これらの要因は、核心的な発見を否定するものではありません。データセットが小さく、指標も完璧ではないものの、OmniMapBenchのVDIと他のテスト対象との間のギャップは説得力のある大きさであり、世界最高のモデルでも75%という天井値は、四捨五入の誤差ではなく、実質的な結果です。この論文の実際の貢献は、「これが決定版的なマップベンチマークです」というものではなく、「あなたのベンチマークが、視覚認識をテストしているのか、それとも読解力をテストしているのかを見分ける方法です」というものです。これは有用なツールであり、現在多くの「視覚的推論」リーダーボードが、おそらく無意識のうちに、後者に近いものを測定していることを考えると、待ち望まれていたものです。