見つかっても読まれない：なぜVision-Language Modelに今なおOCRが有効なのか

ビジュアルドキュメント検索の錯覚

次のようなシナリオを思い浮かべてみてください。ColQwen2のようなビジュアルレトリーバーを中心にドキュメント質問応答パイプラインを構築します。PDFの各ページを画像としてレンダリングし、ユーザーの質問に基づいてページを検索します。レトリーバーは上位16枚のページ画像を抽出し、それをそのままQwen2.5-VLやQwen3-VLなどのVision-Language Model（VLM）に渡し、読み取って回答させます。

このアーキテクチャは非常に洗練されているように思えます。ページの画像をマルチモーダルモデルに直接入力することで、リーダー（Reader）への入力としてOCRによる書き起こしテキストを必要とせず、ドキュメントの視覚的なレイアウトをそのまま保持できます。その根底にある前提は自明なものに思えます。「難しいのは適切なページを見つけ出すことであり、いったんコンテキストウィンドウにページ画像が入ってしまえば、答えを読み取るのは容易なはずだ」と。

ハルビン工業大学（Harbin Institute of Technology）の研究チームによる論文、『Found but Not Read: When Extracted Text Closes the Retrieval-Reading Gap in Document Vision-Language Models』（Xia et al., October 2, 2026）は、まさにこの前提に疑問を投げかけています。

著者らが示したのは、ビジュアルレトリーバーがほぼ完璧な再現率（Recall）を達成し、正解を含むページがモデルの目の前に提示されている場合でさえ、検証されたVLMは依然として膨大な根拠情報を見落とし、利用できていないという事実です。著者らはこの問題をretrieval-reading gap（検索と読解のギャップ）、すなわち検索システムによって見つけ出されたものの、リーダーによって適切に活用されなかった根拠と呼んでいます。

驚くべきは、その改善アプローチです。まったく同じページ画像に対してCPU上でOCRを実行し、抽出されたテキストブロックを選択して画像とともにプロンプトに追加します。すると、FoveDoc-Benchにおいて、メインリーダーの厳密な回答正解率（strict accuracy）が13〜16パーセンテージポイントも跳ね上がったのです。視覚モデルはすでにそのピクセル情報を持っていました。テキスト情報を個別に提示したことで、モデルは元々そこにあった情報を初めて適切に利用できるようになりました。

リーダーをあぶり出す：FoveDoc-Benchにおける対照プロトコル

ドキュメントベンチマークにおいて、回答に失敗した原因を診断するのは容易ではありません。パイプラインが誤った回答を出力したとき、検索エンジンが誤ったページを取得したのか、それとも言語モデルが正しいページを活用できなかったのか、どちらが原因なのでしょうか。

レトリーバー（検索部）の影響を排除してリーダー（読解部）を単独で評価するため、XiaらはFoveDoc-Benchと呼ばれるベンチマークを構築しました。これは1,173件のボーンデジタル（電子的作成）文書からなる2,346問の質問で構成され、各質問には16〜24ページのコンテキストが与えられます。すべての質問はアノテーションされたソースブロックおよび厳密なテキスト抜粋と紐付けられています。これらの文書は、本研究の補助的なトレーニングおよび検証用QAプールからは除外されたホールドアウトデータです。

ベンチマークは以下の2つの異なるタスクに分割されています。

1. V-NIAH：単一のページ内にある1つの根拠ブロックに回答が依存するタスク。
2. V-MQAR：異なるページに存在する2つの根拠ブロックを統合して回答する必要があるタスク。

次に研究チームは、「検索飽和（retrieval-saturated）」プロトコルを確立しました。ColQwen2を用いて質問ごとに上位16ページを検索したところ、すべての正解根拠ページが検索された割合を示すfull recall@16は、V-NIAHで1.000（100%）、V-MQARで0.998（99.8%）に達しました。全2,346問中、実に2,344問において、モデルのプロンプト内に正解の根拠ページがすべて揃っていたことになります。これにより、比較における検索失敗の要因がほぼ完全に排除されました。

検索条件を一定に保った上で、同一の凍結モデルである市販のQwen3-VL-2B-Instructを用い、以下の2つの条件下でテストを実施しました。

• Arm A（画像のみ）：モデルは質問と、検索された16枚のページ画像を受け取る。
• Arm B（画像＋テキストメモリ）：モデルは質問、同じ16枚のページ画像、さらにそれらのページから質問との語彙的類似度（lexical score）が最も高かった16個のテキストブロックを受け取る。ブロックはページごとにグループ化され、ページ番号が付与され、それぞれ上限300文字に制限された。

Arm Bは何も削除せず、すでに提示されているページから抽出されたテキストを追加しているだけであるため、両者の正解率の差は、そのコンテンツを個別にアクセス可能な形で提示することの有用性を純粋に測定するものとなります。

回答の採点はLLMジャッジによって行われ、正解（correct）と判定されたもののみを厳密正解率（strict accuracy）としてカウントしました。メインの比較および外部比較にはGPT-5.4が使用され、ローカライゼーションおよび検索のコントロール実験にはGPT-5.6 Lunaが使用されました。1,963件の同一予測において、両ジャッジの一致率は厳密判定で98.8%に達しました。また、著者2名が画像のみの条件とOCR追加条件で判定が分かれたサンプルから200件を抽出して確認したところ、LLMジャッジとの一致率は96%でした。

スコア：CPU OCRによる13〜16ポイントの大幅な向上

画像のみのパイプラインによるベースライン性能は、驚くほど脆弱でした。

単一の根拠を探すタスク「V-NIAH」において、Qwen3-VL-2Bは根拠ページを受け取っているにもかかわらず、正解率は35.0%（1,173問中410問）にとどまりました。ここに、CPU上で動作するPP-OCRモデルを用いたRapidOCRによる抽出テキストを追加したところ、正解率は50.6%（1,173問中594問）へと跳ね上がりました。これは**+15.7パーセンテージポイントの向上**（p = 2.8e-24）に相当します。

2ページにまたがるタスク「V-MQAR」における相対的な伸び幅はさらに顕著でした。視覚リーダー単体でのスコアは15.3%（1,173問中180問）でした。CPU抽出テキストを追加したことで性能はほぼ倍増し、正解率は28.7%（1,173問中337問）へと向上、+13.4パーセンテージポイントの向上（p = 3.3e-26）を記録しました。

OCRテキストの代わりにPDF本来のネイティブテキストレイヤー（これらのページにおける正確なボーンデジタルのリファレンス）を使用した場合、正解率はV-NIAHで69.1%（画像のみに比べて+34.2ポイント）、V-MQARで43.2%（同+27.9ポイント）にまで達しました。

論文で挙げられている具体例を見てみましょう。全23ページのCloudflareのブログ記事のコンテキストにおいて、12ページ目のコードコメントに「TLSモデルは記法にM4プリプロセッサマクロを使用している」と記述されています。

質問は「What specific type of preprocessor macros does the TLS model use for notation?（TLSモデルは記法に具体的にどの種類のプリプロセッサマクロを使用しているか？）」というものです。

ページ画像のみを与えられた場合、Qwen3-VL-2Bは"Mk"と回答しました。しかし、uses M4 preprocessor macrosを含むRapidOCRのブロック（score 22.7, p12_b5）をプロンプトに含めると、モデルは"M4"と正しく答えました。

同様に、26ページと32ページにあるLinuxカーネルのトレーシングコマンドに関する2ページの質問では、画像のみのモデルはtcp_sendmsgとtcp_write_timerと回答しました。これにOCRテキストを追加したところ、正しいペアであるtcp_sendmsgとmod_timerを出力できました。

なぜCPU OCRは、PDFテキストレイヤーによる精度の伸びの約半分（V-NIAHで46%、V-MQARで48%）にとどまったのでしょうか。

著者らは、OCRが単に供給するテキスト量が少なかっただけなのかどうかを検証しました。しかし、原因はそれではありませんでした。ボーンデジタルのテキストレイヤーは1ページあたり約53ブロックに細分化され、中央値の長さは6文字だったのに対し、OCRによるグルーピングでは1ページあたり約17ブロック、中央値23文字となっていました。固定のブロック割り当て枠において、77.1%のサンプルでOCRメモリの方が文字数が多く、平均して+894文字多く含まれていたのです。

ボトルネックとなっていたのは、根拠の忠実度（fidelity）と完全性（completeness）でした。正解の抜粋と比較して、パッキング可能な最良の単一OCRブロックが再現できた抜粋トークンの割合は平均76%でした。両タスクにおいて、根拠項目の90%以上を再現できたのは53%にとどまりました。著者らは、OCRのテキスト総量が多かったにもかかわらず精度の伸びが小さかった理由を、根拠情報の不完全な復元によるものだと結論付けています。

モデルのスケールやプロンプトの工夫でもギャップは埋まらなかった

「これは主に20億パラメータ（2B）という小型モデルを使ったことによる特有の現象ではないか」「より大規模なリーダーモデルを使えば、テキストの追加など不要になるのではないか」と考えるのは自然な疑問です。

研究チームは、3つの系統にまたがる6つの既存のVision-Language Modelをテストしました。

• Qwen3-VL（2B、4B、8B）
• Qwen2.5-VL（7B）
• LLaVA-OneVision（7B）
• Idefics3（8B）

この比較では、ベンチマーク全体に対するCPU OCRではなく、各タスクの先頭400サンプルにおいてPDFテキストレイヤーのメモリを使用しました。その結果、すべてのモデルにおいて、両方のタスクで統計的に有意な精度向上が確認されました（12通りのモデル・タスクの組み合わせすべてにおいて p < 1e-13）。

LLaVA-OneVision-7Bでは、テキストの追加により正解率がV-MQARで29.2ポイント、V-NIAHで38.5ポイント向上しました。Idefics3-8Bでは、その向上幅は42.0ポイントおよび61.3ポイントに達しました。ただし、これらの数値には補足が必要です。これらのリーダーモデルでは16ページをコンテキストに収めるために、画像分割の無効化やピクセル数の上限設定が行われていました。したがって著者らは、向上の幅を直接比較するのではなく、異なるモデル系統間で「向上の方向性」が共通している点に着目しています。

3つのサイズが同一の設定で評価されたQwen3-VLファミリー内では、スケールアップによってギャップは縮小したものの、解消されることはありませんでした。

• 2Bリーダー：V-MQARで+28.2 pp向上 / V-NIAHで+36.0 pp向上
• 4Bリーダー：V-MQARで+25.0 pp向上 / V-NIAHで+30.7 pp向上
• 8Bリーダー：V-MQARで+23.0 pp向上 / V-NIAHで+22.5 pp向上

リーダーモデルが大きくなるほどテキスト追加の恩恵は小さくなったものの、80億パラメータのモデルであっても、両タスクにおいて依然として22パーセンテージポイントを超える優位性が維持されていました。

研究チームはさらに、抽出テキストの選択方法、プロンプティング、ファインチューニングに関するいくつかの変更もテストしました。

• V-MQAR上の4Bリーダーにおいて、ブロック割り当て枠の倍増、ユニオンセレクター（union selector）の採用、推論モード（reasoning-mode）リーダーへの切り替えは、それぞれ正解率を最大でも+3パーセンテージポイント動かしたにすぎませんでした。
• その設定において、Self-askによる質問分解は正解率を4.3パーセンテージポイント低下させました。
• LoRAによるファインチューニングでは、2BモデルにおいてV-MQARで6ポイント、V-NIAHで5ポイントの回復が見られたものの、報告された4BモデルのLoRAによる向上は0.9ポイントにとどまりました。

これらのテストされた介入による効果は、テキストレイヤーがもたらすギャップの大きさに比べればわずかなものでした。これはスケールアップやチューニングによってこの問題を絶対に解決できないと証明するものではありませんが、少なくともここで試みられた具体的な代替手法では解決できなかったことを示しています。

診断による発見：モデルは「読む」ことはできるが、「探す」ことに苦戦している

すでに手元にあるページからリーダーがなぜ回答を見つけられないのかを理解するため、著者らは3つの診断的比較実験を行いました。

第一に、質問に基づくブロック選択を行わず、16ページ全体の完全なOCRテキストを読書順（reading order）でそのまま入力しました。その結果、正解率はV-MQARで17.9ポイント、V-NIAHで22.1ポイント向上しました。これは、ニュートラルなプロンプトの下で16ブロックのダイジェストを与えた場合の伸び（それぞれ14.1ポイント、16.5ポイント）を上回るものでした。したがって、大きな恩恵を得るために質問に応じた選択を行うことは必ずしも必要ではありませんでした。

第二に、それらの選択されたブロックをテキストではなく**画像の切り抜き（image crops）**として、抽出テキストなしでフルページ画像に追加して提供しました。切り抜き画像にはリーダー自身のページ画像と同じピクセル密度が使用されたため、この介入はピクセル密度を上げることなくブロックを切り出して分離したことになります。

この切り抜き画像によって、ニュートラルプロンプトによるテキストダイジェストの向上幅のうち、V-MQARで87%（+12.3ポイント）、V-NIAHで92%（+15.2ポイント）が回復しました。

第三に、フルページ画像上の同じブロックを赤い枠線（red boxes）で囲みました。しかし、赤枠による改善効果はほとんど見られず、V-MQARで+0.5ポイント、V-NIAHでは3.0ポイントの低下という結果になりました。

まとめると、それぞれの比較は以下のようになります。

Intervention added to the 16-page input    V-MQAR gain    V-NIAH gain
Red boxes around selected blocks            +0.5 pp        -3.0 pp
Selected blocks as image crops             +12.3 pp       +15.2 pp
OCR digest under a neutral prompt          +14.1 pp       +16.5 pp
Full OCR text in reading order             +17.9 pp       +22.1 pp

これらの結果は、**「根拠へのアクセス性（evidence-accessibility）のボトルネック」**が存在することを示唆しています。情報がたとえピクセルのままであっても、周囲のページから切り離されて提示されれば、リーダーはその情報の多くを活用できるのです。

この実験は、特定のアテンション機構が原因であると特定するものではなく、なぜ赤枠が機能しないのかを証明するものでもありません。ここで明らかになったのは挙動の違いです。すなわち、ページ全体の中で領域をマークしても効果はほとんどなく、それらの領域を個別に切り出して提示することで、ダイジェストがもたらす恩恵の大部分を取り戻すことができたという事実です。

ページ単位の検索は、根拠単位の検索とは異なります。ページを検索することは「干し草の山」を視野に入れることにすぎません。選択されたテキストや切り抜き画像を提示することで、初めてその中にある「針」を扱いやすくできるのです。

ガードレール1：フローチャートの罠と根拠のモダリティ

ここまでの結果を見ると、「あらゆるドキュメント質問応答においてOCRのテキスト起こしを与えるべきだ」と結論付けたくなるかもしれません。しかし論文では、その結論を行き過ぎとみなす2つの境界線（ガードレール）を示しています。

第1の境界線は、**根拠のモダリティ（evidence modality）**です。すなわち、答えがテキストに依存しているのか、それとも図表やグラフなどの視覚的構造に依存しているのかという違いです。

著者らは、最大468ページにおよぶ135件の文書と1,091問の質問を含むMMLongBench-Doc上で、同様の対照プロトコルを評価しました。FoveDoc-Benchとは異なり、このベンチマークの根拠は主に視覚的な図表であり、検索も飽和していません（full recall@16は84.4%）。

アノテーションされた根拠を持つ回答可能な838問において、OCRメモリの追加がもたらした全体の変化は+0.4パーセンテージポイント（+0.004, p = 0.86）と、ごくわずかなものでした。この結果は、意図的に回答不能とされた項目を含む全1,091問ではなく、回答可能かつアノテーションされた層に適用されたものです。

著者らが根拠タグが正確に1つだけ付与されている414問を分類したところ、まったく異なるパターンが浮かび上がりました。

• テキストのみの根拠（129問）：抽出テキストの追加により**+8.5パーセンテージポイントの向上**。
• 図表やグラフの根拠（285問）：抽出テキストの追加により**−4.6パーセンテージポイントの悪化**。

これら2つの効果の差は13.1パーセンテージポイント（p = 0.0024）に達し、論文内での多重比較補正後も有意に残った外部モダリティの対比となりました。

重複を許容した根拠カテゴリでも、同様の傾向が見られました。

• Plain text: +5.2 pp
• Tables: +1.9 pp
• Layout: +0.9 pp
• Figures: −2.8 pp
• Charts: −4.0 pp

これらのカテゴリ別の推定値は観察された傾向を示すものであり、すべてが個別に立証されたメリットやデメリットというわけではありません。

MMLongBench-Docのサンプル #44 を見てみましょう。質問は「According to the flowchart 'Analytics Value Chain', what comes between Reporting and Action?（『Analytics Value Chain』と題されたフローチャートにおいて、ReportingとActionの間にあるものは何か？）」というものです。

画像のみを与えられたモデルは、正しく"Analysis"と答えました。

しかし、13ページ目からパッキングされたOCRメモリでは、Analysisという単語や矢印が脱落し、Reporting、Value、Actionなどの断片的な文字列のみが残っていました。このメモリが追加された結果、モデルは"Action"と誤った回答を出力してしまいました。

この例は、テキストへの書き起こしが、図を解釈するために不可欠な関係性やラベルをいかに欠落させ得るかを示しています。モデル内部の推論プロセスまでは分からないものの、結果は明白です。すなわち、テキストの追加が正解から不正解への変化を引き起こしたのです。

平坦化されたテキストは、図を意味あらしめている空間構造を失わせてしまう恐れがあります。この評価において、テキスト根拠は恩恵を受けた一方で、図表やグラフの根拠は平均してマイナスの影響を受けました。

ガードレール2：テキストは検索を増幅するが、検索の代わりにはならない

第2の境界線は、**検索の品質（retrieval quality）**に関するものです。レトリーバーが根拠ページを見落としてしまった場合、残りのページから抽出したテキストはどれほど役に立つのでしょうか。

それを明らかにするため、研究チームは統制された条件下で検索精度を段階的に劣化させました。ページ数の枠を固定したまま、上位16件の結果から正解ページを取り除き、ColQwen2が上位16件未満とランク付けしたページに置き換えたのです。

テストされたすべてのレベルで代替ページを提供可能な文書を持つ、V-MQARの938問およびV-NIAHの1,025問が適格なサブセットとして選ばれました。

Retrieved gold pages	V-MQAR gain	V-NIAH gain
100% recall	+12.5 pp	+14.9 pp
50% recall	+6.6 pp	—
0% recall	+3.0 pp	+4.3 pp

再現率がゼロに落ち込むと、テキストによる優位性はV-MQARで9.5ポイント、V-NIAHで10.6ポイント低下しました。どちらのサンプル内変化も統計的に有意でした（p < 1e-9）。再現率100%時の優位性の約4分の3は、正解ページがコンテキストに含まれていることに依存していたのです。

再現率ゼロの状態で残ったわずかなアドバンテージの一部には、**正解文字列の漏洩（answer-string leakage）**が関係していました。正解ページ以外のページからパッキングされたメモリ内に、正解文字列がそのまま現れていたケースが、V-MQARサンプルの4.8%、V-NIAHサンプルの12.4%に存在していたのです。

正規化した回答文字列マッチングを用いてこれらのケースを除外した後も、両タスクにおいて2.8ポイントの優位性が残りました。検出器の最小回答長を4文字から12文字まで変化させても、この残差は2.5〜3.1ポイントの間に留まりました。したがって、文字列の漏洩は残されたメリットの一部を説明するにすぎませんでした。

テキストという形式そのものが助けになったのかどうかを検証するため、著者らは同じパッキングルールのもとで、各ドキュメントのメモリをまったく別のドキュメントのテキストに置き換えました。どのドキュメントにも自身のテキストは与えられず、ペアとなるドキュメントは異なるソース系統から選ばれました。

再現率ゼロの場合、外部テキストは画像単体と比較して検出可能な効果をもたらしませんでした（V-MQARで+0.0ポイント、V-NIAHで−0.9ポイント）。再現率100%の場合でも、その効果は統計的にゼロと区別できませんでした（+1.9ポイントおよび−1.7ポイント）。

これらの対照実験は、再現率ゼロで残ったメリットが、そのドキュメント自身の非正解ページに含まれる文脈に由来するという著者らの解釈を裏付けています。単に同じ形式のテキストを追加するだけでは効果がなかったのです。

抽出テキストは、主に「検索された根拠へのアクセスを容易にする」ことによって寄与し、関連するドキュメント文脈からの寄与はより小さなものにとどまります。テキストは機能している検索を増幅するものであり、根拠を見つけ出すこと自体の代わりにはならないのです。

なぜ重要なのか：プロダクション向けドキュメントAIへのアーキテクチャ上の示唆

ドキュメント検索や質問応答システムの設計に取り組むチームにとって、本論文は実践的な設計指針を提供しています。測定された精度向上は本研究のタスク、リーダーモデル、入力設定におけるものであり、その教訓を他の環境に適用するには、自身のシステムが扱うドキュメントや質問での検証が必要です。なお、本研究は主に英語文書を前提としており、日本語読者にとっては、モデルにとって最難関となる漢字・かなの認識や縦書きレイアウトへの対応が含まれていない点に留意すべきでしょう。

1. 高密度なテキスト根拠に対して抽出テキストを有力な選択肢として残す

本研究は、VLMがページ画像を直接入力として受け取れる場合であっても、「画像＋テキスト」の入力を検討・テストすべき具体的な根拠を示しています。FoveDoc-Benchにおいて、CPU OCRはQwen3-VL-2Bで13〜16ポイントの精度向上をもたらし、PDFテキストレイヤーのメモリは検証された6つのリーダーモデルすべてにおいて有効でした。

実際のプロダクションにおける契約書や財務報告書などのドキュメント群で、同様のゲインが保証されているわけではありません。しかしこの結果は、ページ検索の成功や視覚的入力の対応能力があることだけでは、リーダーがその根拠を確実に活用できることの保証にはならないことを明確に示しています。

2. 検索されたページに対するOCRの適用を評価する

検証されたパターンは、実践的な出発点を提供してくれます。

• ビジュアルレトリーバーを用いて候補となるページ画像を検索する。
• それらのページからテキストを抽出する（論文ではCPU上でPP-OCRモデルを用いたRapidOCRを使用）。
• テキストブロックを選択・パッキングし、元の画像と並べてプロンプトに供給する。

この実験では、検索された16ページと16ブロックのメモリ割り当て枠が使用されました。メインの比較において、CPU OCRはネイティブのPDFテキストレイヤーがもたらした向上の約半分を維持しました。

本論文では、クエリ実行時のレイテンシ、インデックス作成の総コスト、あるいは本番環境でのコスト削減効果までは検証されていません。オンデマンドで抽出するか、結果をキャッシュするか、あるいは事前にページを前処理しておくかは、システムごとに測定・判断すべき実装上の選択事項です。

3. 根拠のモダリティを判断材料に組み込む

図表やグラフに関する実験結果は、「あらゆる抽出テキストが役に立つ」と安易に想定すべきではないことを警告しています。視覚的な根拠に対しては、平坦なテキストが削ぎ落としてしまう構造を保持した表現が必要となる可能性があります。

したがって、モダリティを考慮したパイプラインの検証には大いに価値があります。回答がテキストの根拠に依存する場合は抽出テキストを活用し、図表内の関係性が重要となる場合は、視覚的表現や構造を保持する表現を評価する、という切り分けです。

本研究は特定のレイアウト検出器やルーティングシステムを検証したわけではありません。その貢献は、すべての図表テキストを排除すべきという普遍的なルールを提示することではなく、そうしたシステムが尊重すべき境界線を明らかにした点にあります。

4. 集計ベンチマークの罠に注意する

MMLongBench-Docの回答可能かつアノテーションされた層において、全体の集計ゲインはわずか+0.4パーセンテージポイントにすぎませんでした。しかし、単一タグの比較では、テキスト根拠で8.5ポイント向上した一方で、図表やグラフの根拠では4.6ポイント低下していました。

評価結果は根拠のモダリティや検索の再現率ごとに細分化して報告すべきです。そうでなければ、質問の比率が変わるだけでメリットが隠れたり悪影響が見落とされたりしてしまい、あるベンチマークの集計スコアが別のワークロードに対して誤った判断基準を与えてしまうことになりかねません。

5. 「検索（Retrieval）」と「読解（Reading）」を切り離して測定する

再現率を統制した実験において、OCRによる優位性の約4分の3は正解ページが検索結果に含まれていることに依存していました。このことは、抽出テキストが有効に機能するかどうかを判断する上で、検索品質が極めて重要であることを示しています。

full recall@k を単独で測定した上で、同じ検索ページ群に対して「画像のみ」と「画像＋テキスト」の回答精度を比較してください。問われているのは、システムが正しいページを見つけられたかどうかだけではありません。手元に届いた根拠を、リーダーが実際に適切に活用できたかどうかこそが問われているのです。