Skip to content
OpenOCR
← Blog

Vision LLMに10ページも与えるのはやめよう：ViSARのトレーニング不要な適応型検索の内部

Based on: ViSAR: Training-Free Adaptive-$k$ Retrieval for Visual Document Question Answering — Adrien Mialland, Marc Plantevit, Julien Gallois, Céline Robardet

長い文書内の情報を視覚言語モデルに検索させると、標準的なドキュメント検索アーキテクチャは驚くほど非効率な動作をすることがある。それらは、ビジュアルエンコーダを使用して各ページのスクリーンショットを独立してスコアリングし、リストをソートしてから、固定された上位5ページまたは上位10ページを、重い大規模視覚言語モデル（LVLM）に渡す。

クエリが単純な場合、証拠は1ページに含まれていることがあり、残りの検索されたページは関連のない視覚的コンテキストを追加するだけである。モデルは、質問の回答に役立たない可能性のある表、ヘッダー、レイアウトを依然として処理する。逆に、固定された予算は、質問が複数のページからの情報を必要とする場合に、証拠を省略してしまう可能性がある。

このジレンマは、現代の視覚的ドキュメント検索における根本的な設計選択、すなわち固定の上位$k$選択に起因する。既存のアプローチは、クエリの複雑さに関係なく、常に同じ数のページを検索する。しかし、特定の質問に必要なページ数を決定することは、レイテンシと回答の品質に直接的な影響を与える。

2026年9月2日に公開された研究論文において、Adrien Mialland、Marc Plantevit、Julien Gallois、Céline Robardet（INSA Lyon、CNRS、LIRIS、EPITA、Lowit）は、エレガントな代替案であるViSAR（Visual Semantic Activation Retrieval）を紹介している。ViSARは、ビジュアルエンコーダを再訓練することなく、推論時に検索するページ数を動的に決定する。レイトインタラクション埋め込み空間内で既に存在する相互作用を分析することで、ViSARは報告された実験において、回答精度を維持または向上させながら、エンドツーエンドの質問応答レイテンシを最大58.7%削減した。

scanned financial audit report

後期相互作用エンコーダ内のブラインドスポット

ViSARの動作原理を理解するには、まずビジュアルドキュメント検索エンジンがどのように動作するかを見てみましょう。

従来のテキストベースの検索では、埋め込みを行う前に光学文字認識（OCR）を用いてピクセルを文字列に変換する必要があります。このプロセスでは、視覚的なコンテンツやドキュメント固有のレイアウトを見逃す可能性があります。ColPaliやColQwen2.5などの最新のOCR不要なビジュアル検索エンジンでは、代わりにページのスクリンショットを共有空間内の一連のビジュアルパッチ埋め込みとして表現します。ユーザーのクエリも同様に複数の埋め込みで表現されます。

関連性は、ColBERTによって導入されたMaxSim演算子による後期相互作用を用いて計算されます：

$$S_{Q, P^p} = \sum_{i=1}^m \max_{j \in {1, \dots, n_p}} \langle q_i, v_j^p \rangle$$

各クエリ埋め込み $q_i$ に対して、検索エンジンはページ $p$ 上のビジュアルパッチ埋め込み $v_j^p$ を横断して検索し、最も高い類似度を取り、それらのピーク整合性の合計を算出します。

後期相互作用は、きめ細かなクエリとページのマッチング、およびオフラインでのページエンコーディングを可能にします。しかし、2つの構造的な制限があります：

  1. 独立したページ評価: 検索エンジンは、ページ間の意味的な構造を活用することなく、各ページに対して独立して関連性スコアを生成します。
  2. 均一な意味的加重: 標準的な後期相互作用スコアにおいて、すべてのクエリおよびページ埋め込みが均一に寄与します。

テキスト検索では、トークン頻度統計、学習された重要度推定、またはスパース表現を用いて、関連する加重の問題に対処してきました。しかし、これらのアプローチは離散トークン構造や追加のトレーニングに依存しており、ビジュアル埋め込みに直接拡張することはできません。

したがって、後期相互作用はスカラースコアのランク付けされたリストを生成します。従来の適応的 $k$ 値アプローチは、連続するスコア間の最大のギャップを特定したり、スコア分布をクラスタリングしたりするなどのスコアヒューリスティックに依存していました。一方、ViSARは後期相互作用表現にエンコードされた意味的な構造を利用します。

ViSARの動作原理：セマンティック活性化の解読

ViSARは、基礎となるエンコーダの重みを修正しません。代わりに、標準的な後期インタラクション（late interaction）がスカラースコアに圧縮してしまうような、マルチベクトル間の相互作用を保持します。

このアーキテクチャは、クエリからページへの重みの計算、パッチレベルの重要度の導出、クエリ条件付きページ類似度行列の構築、そして適応的なパーティションコスト関数の最小化という、4つの連続する段階に分けられます。

Query & Page Embeddings
         │
         ▼
[1. Query-to-Page] ──► クエリのセマンティクスとページの共活性化に重み付け
         │
         ▼
[2. Page-to-Query] ──► MaxSimを逆転させ、パッチレベルの重みを導出
         │
         ▼
[3. Page-to-Page]  ──► ページ間で重み付けされた視覚パッチをマッチング（N x N 行列）
         │
         ▼
[4. Adaptive-k]    ──► 一貫性（coherence）とリーケージ（leakage）を評価し、最適な k* を選択

1. クエリからページへのインタラクション重み付け

標準的な後期インタラクションは、クエリベクトル $q_i$ とページ $p$ の間のインタラクションを即座に和として圧縮します。一方、ViSARは完全な活性化行列を保持します：

$$A_{p,i} = \max_{j} \langle q_i, v_j^p \rangle$$

この値は、クエリのセマンティクス $i$ がページ $p$ のどこでどれだけ強く現れているかを表します。ViSARは、この活性化をドキュメントのページ全体での平均（$\hat{A}_{p,i}$）で正規化し、正規化されたページ間標準偏差でスケーリングします：

$$\tilde{A}{p,i} = \hat{A}{p,i} \cdot \hat{\sigma}_i$$

ページ間で類似した活性化を持つクエリ埋め込みは重みが下げられ、空間的に局所的で強い活性化を持つものはより強調されます。

これらの調整された活性化から、ViSARは2つの重みを計算します：

  • クエリ埋め込み重み（$w_i$）：$w_i = \log(N / (1 + a_i))$ として定式化され、ここで $a_i = \sum_p \tilde{A}_{p,i}$ です。これにより、普遍的なセマンティックコンテンツはペナルティを受け、希少な活性化が強調されます。
  • ページ重み（$w_p$）：セマンティック共活性化を測定します。判別力のあるクエリセマンティクスが同時に活性化されるページは、より高い重要性を得ます。

2. ページからクエリへのインタラクション重み付け

次に、ViSARは検索の方向を逆転させます。ページがクエリとどれだけ一致するかだけでなく、ページ上の各視覚パッチがクエリに対してどれだけ関連しているかを評価します。

各視覚パッチ $v_j^p$ について、ViSARはクエリベクトル全体での最大アライメントを取り、ステップ1で計算されたトークン重みとページ重みで調整することで、関連スコア $r_j^p$ を計算します：

$$r_j^p = \max_i \left[ \langle v_j^p, q_i \rangle \cdot \tilde{A}_{p,i} \cdot \hat{w}_i \cdot \hat{w}_p \right]^2$$

その後、関連度を中心化し、閾値処理を行います：

$$w_j^p = \max(0, r_j^p - \text{mean}_{p,j}(r_j^p))$$

この閾値処理により、重みがゼロの非アクティブなパッチが生成されます。一部のページは完全に非アクティブになる可能性があり、そのようなページはページ間類似度の計算に寄与する必要はありません。

3. ページ間インタラクション行列

重み付けされたパッチを取得した後、ViSARはページ間の関係を測定します。ソースページ $P^p$ とターゲットページ $P^{p'}$ に対して、ページ $p$ 上の重み付けされたパッチがページ $p'$ 上の重み付けされたパッチとどれだけ一致するかを計算します：

$$S_j^{p \to p'} = \hat{w}j^p \cdot \max{j'} \left[ \langle v_j^p, v_{j'}^{p'} \rangle \cdot \hat{w}_{j'}^{p'} \right]$$

ViSARは上位 $T=50$ のパッチインタラクションを平均し、平方根を取ることで、方向性のある類似度スコアを導出します：

$$\text{Sim}(p, p') = \sqrt{\frac{1}{T} \sum_{j \in \mathcal{T}} S_j^{p \to p'}}$$

ソースパッチがターゲットページ内で独立して最良の対応物を求めるため、この類似度は方向性を持ちます：$\text{Sim}(p, p') \neq \text{Sim}(p', p)$。これらのペアワイズスコアを組み合わせることで、ユーザーのクエリに条件付けられた $N \times N$ のページレベル類似度行列が作成されます。

4. 一貫性とリーケージによる適応的 k 選択

検索をどこで打ち切るかを決定するために、ViSARは自己類似度スコア $s_p = \text{Sim}(p, p)$ を用いてページをランク付けします。

候補となるカットオフ値 $k$ ごとに、ドキュメントは2つのグループに分割されます。上位 $k$ ページを含む候補関連セット $R_k$ と、残りのページを含む非関連セット $I_k$ です。

各ページ $p \in R_k$ について、ViSARは2つの対抗的な力を評価します：

  • 内部一貫性（$c_k^p$）：ページ $p$ と取得された候補セット $R_k$ 内のページ間の平均類似度。
  • 外部リーケージ（$l_k^p$）：ページ $p$ と破棄されたセット $I_k$ 内のページ間の平均類似度。

候補セットのサイズ $k$ の全体的な品質は、コスト関数 $J(k)$ を用いてスコアリングされます：

$$J(k) = \sum_{p \in R_k} w_p^s \left( c_k^p - \gamma l_k^p \right)$$

ここで、$\gamma$ はリーケージペナルティパラメータであり、報告された実験では $10^5$ に設定されています。最適なページ数 $k^\star$ を見つけるには、$2^N$ の可能な部分集合を網羅的に評価するのではなく、最大で $N$ 個の候補セットを評価すれば十分です。この手法は、最小値がコスト関数における急激な遷移に対応するかどうかを評価することも含みます。

データが示すこと：よりコンパクトなセットと高速な推論

著者らは、メモリ48 GBを搭載したNVIDIA A6000 GPU上でViSARを評価し、MMLongBenchとLongDocURLという2つのマルチページベンチマークを用いた。両データセットは、ページランキングの評価に用いる答えと証拠となるページを提供するほか、テキストと視覚的な推論を必要とするドキュメント質問応答シナリオも備えている。

評価には、3つのビジュアル・レイトインタラクションエンコーダ（ColQwen2.5、ColPali、ColModernVBERT）と、Tesseract OCRを用いたテキスト検索エンジン（ColBERTv2）、および単一ベクトル型ビジュアル検索エンジン（VisRAG-Ret）を併用した。回答生成にはQwen2.5-VL-7B-Instructを使用し、評価にはfew-shot構造化出力を用いたQwen2.5-14B-InstructをLLM-as-a-judgeとして採用した。

両ベンチマークにおいて、正解の証拠ページ数は平均1.9ページであり、MMLongBenchでは中央値が1ページ、LongDocURLでは2ページとなっている。

1. 検索効率とコンテキストの圧縮

表1は、適応型検索手法が、標準的なレイトインタラクションランキングにおいてすべての証拠ページを含む最小の上位$k$個のウィンドウとして定義されるOracle（オラクル）と比較して、どのように振る舞うかを示している。

エンコーダ 手法 MMLongBench 平均 $k^\star$ MMLongBench 中央値 LongDocURL 平均 $k^\star$ LongDocURL 中央値
ColQwen2.5 Oracle (Late-Int.) 8.3 2 10.7 3
Score-Cluster 18.6 8 36.6 20
Largest-Gap 15.4 2 28.7 3
ViSAR (Ours) 4.7 3 7.9 5
ColPali Oracle (Late-Int.) 8.8 2 12.4 3
Score-Cluster 18.7 8 35.8 18
Largest-Gap 16.2 3 24.7 2
ViSAR (Ours) 5.3 3 8.1 6
ColModernVBERT Oracle (Late-Int.) 10.5 2 13.0 3
Score-Cluster 23.0 12 47.4 44
Largest-Gap 20.0 4 39.3 4
ViSAR (Ours) 7.5 4 13.5 11

Oracleの結果は、すべての証拠ページを検索するには、証拠ページ数そのものが示唆するよりもはるかに大きなウィンドウが必要になることがあることを示している。基礎となるレイトインタラクションランキングが、証拠ページよりも関連性の低いページを上位に配置する可能性があるため、すべての証拠を含めるには検索ウィンドウを拡張する必要がある。

Score-ClusterとLargest-Gapは、一般的にViSARよりも多くのページを検索する。ColQwen2.5を用いたMMLongBenchでは、ViSARは平均4.7ページを検索する。Largest-Gap（75.16%対81.12%）よりも再現率は低いが、精度は高い（50.37%対45.13%）ため、よりコンパクトな検索結果セットが得られる。

2. 下流の質問応答精度

報告された結果は、適応型検索が、最大5ページまたは10ページの入力予算内で回答精度を向上させることができることを示している。

検索手法 MMLongBench Max-5 MMLongBench Max-10 LongDocURL Max-5 LongDocURL Max-10
固定Top-$k$ ベースライン
ColBERTv2 (OCR + Text) 24.51% 24.70% 47.18% 47.70%
M3DocRAG (ColPali) 34.86% 35.08% 59.31% 58.71%
VisRAG-Ret (Single-Vector) 34.48% 35.69% 57.29% 58.02%
ColQwen2.5 (Fixed Top-$k$) 35.04% 35.69% 59.79% 59.27%
適応型検索 (ColQwen2.5)
Largest-Gap 35.79% 35.88% 61.01% 60.89%
Score-Cluster 36.25% 35.97% 60.00% 59.83%
ViSAR (Ours) 36.53% 36.63% 61.06% 60.97%

3つのエンコーダ、5つのLVLM、2つのページ予算、2つのデータセットを組み合わせた60の構成において、ViSARは24件のケースで精度を向上させ、残りの36件では精度を維持した。論文では統計的に有意な低下は報告されていない。ColQwen2.5とColPaliを用いた場合、結果は一般的に上昇傾向にあり、McNemar検定（$p < 0.05$）によりLongDocURLにおいて統計的に有意な改善が確認された。

最大の改善は、著者らがより長いコンテキストに敏感であると記述しているLVLMで現れ、これはViSARが検索ページ数と関連性の低いページ数の両方を削減することに一致する。

3. レイテンシの恩恵

評価されたビジュアルドキュメントパイプラインにおける実用的なボトルネックは、LVLMの生成時間である。固定Top-$k$検索は常にLVLMの入力予算を満たすが、ViSARはページ数を調整し、必要な場合にのみ予算を最大限に使用する。

ViSARは、パッチ重み付けとページ間類似度の計算による検索オーバーヘッドを導入する。しかし、論文では、このオーバーヘッドは評価されたドキュメントサイズの大部分において総コストにわずかな影響しか与えず、生成レイテンシの削減がエンドツーエンドの結果を支配することが示されている。

MMLongBench Latency at Max-10 Budget:
Fixed top-10: [Retrieval][================ Generation ================]
ViSAR:        [Larger retrieval step][====== Reduced generation ======]
                                      End-to-end reduction: up to 58.7%

報告されたエンドツーエンドのレイテンシ削減は、Max-10のLVLM予算において、MMLongBenchで58.7%、LongDocURLで38.5%に達する。ViSARの検索オーバーヘッドはドキュメントサイズとともに増加し、468ページを含むMMLongBenchの最大のドキュメントでは顕著になる。補足資料では、そのようなケースに対する類似度行列の近似手法が提案されている。

注釈付き医療ケースファイル

行列幾何学：スパース性が正解を示すとき

本論文の最も説得力のある洞察の一つは、クエリ条件付きページ類似度行列 $\text{Sim}(p, p')$ の構造にあります。

著者らは、以下の2つの対照的なケースを例示しています。

  • スパース行列: クエリに関連する意味が局所的に集中している場合、関連コンテンツを共有するページは比較的少なくなります。このとき行列はスパースになり、コスト関数 $J(k)$ の最小値がより鋭く、より信頼性の高い検索境界をサポートします。
  • 稠密行列: クエリに関連する意味がより多くのページに分散している場合、行列は稠密になります。対応する $J(k)$ の最小値は浅くなり、停止判断の信頼性が低下します。

MMLongBenchでテストされたエンコーダ全体、およびLongDocURLで報告された同様の傾向において、類似度行列のスパース性が高いほど、回答精度も高くなる相関が見られます。

これは完成した信頼度システムというよりは、有用な研究方向性です。著者らは、行列構造が、追加のモデルや学習を必要とせずに、反復的なクエリ改善や証拠選択を含む将来の検索戦略におけるラベル不要のフィードバック信号となり得ると示唆しています。

エンジニアリング上の注意点：トレーニング不要なプルーニングの限界

ViSARはアルゴリズム的な貢献ですが、実用上のいくつかの制約を念頭に置く価値があります：

  • ページ間計算は文書サイズとともに増加する: ViSARはページレベルの類似度行列を構築し、ページ間相互作用を密集テンソルとしてではなくブロック単位で評価します。非アクティブページの最適化は不要な計算を回避しますが、論文では文書が大きくなるにつれて検索オーバーヘッドが増加すると報告されています。このオーバーヘッドは、468ページのMMLongBenchの例で最も顕著です。
  • エンコーダの品質が限界を決定する: ViSARはエンコーダによって既に学習された意味構造に依存しています。ColQwen2.5とColPaliは、ColModernVBERTよりも強力な結果を示しました。論文では、ColModernVBERTの比較的 modest な利得の一部は、その小さいサイズ（250Mパラメータ対3B）と、その結果として生じる意味をコンパクトな検索セットに分離する難しさに起因すると説明されています。
  • エンコーディングの不安定性が観察された: ColModernVBERTは、LongDocURLクエリの7.31%でエンコーディング中に数値的不安定性を示しました。著者らは、この問題はViSARとは無関係に発生したと報告し、これらのサンプルは評価から除外されました。
  • ViSARはコンパクトな検索を好む: Oracleの閾値が大きくなるにつれて、ViSARは平均してより少ないページを検索し、関連性の低いコンテキストを制限しますが、一部の設定では精度と再現性のトレードオフが生じます。Largest-GapはLongDocURLで最も良い集計F1スコアを達成しますが、ViSARは$k_{\text{Oracle}}$の異なる値に対してより一貫した適応的な振る舞いを提供します。

ドキュメントパイプラインにおける重要性

ドキュメント質問応答（Document QA）を研究するチームにとって、ViSARは検索深度を恒久的な定数として扱うことへの代替案を提供します。

その核心的な発見は、マルチベクトル視覚検索器が、最終的なスカラーの遅延相互作用スコアが示す以上の情報を含んでいるという点です。ViSARは、クエリからページへの活性化、パッチレベルの重み、ページ間セマンティック構造を活用して、クエリに合わせた検索セットを選択します。

論文で報告された結果は、3つの具体的な示唆を示しています。

  1. よりコンパクトなページセット: ViSARは、報告された比較において、Oracle、Largest-Gap、Score-Cluster手法よりも平均して少ないページを検索します。
  2. エンドツーエンドのレイテンシの低減: Max-10の予算では、MMLongBenchで最大58.7%、LongDocURLで38.5%のエンドツーエンドRAGレイテンシを削減します。
  3. 将来の検索品質研究へのシグナル: 類似度行列のスパース性と回答精度の関係は、今後の検索や証拠選択手法に対する潜在的なフィードバックシグナルを示唆しています。

もし視覚的ドキュメントスタックがColPaliやColQwen2.5のような遅延相互作用エンコーダを使用している場合、ViSARはトレーニング不要な方法で適応的$k$検索を調査する手段を提供します。その結果は、埋め込み幾何学が、すべてのクエリが同じ固定されたコンテキストウィンドウを必要とするという仮定なしに、ドキュメントパイプラインが十分なページを検索したかどうかを決定するのに役立つことを示唆しています。日本語の文書処理において、漢字や縦書きレイアウトはOCRやVLMモデルにとって最も困難なケースの一つですが、この手法がそのような言語特性を直接カバーしていない場合、日本語読者にとっては追加の前処理やモデル調整が必要になる可能性があります。