ビジョン層をスキップすると機能するが、テキストを読み取らせるよう要求するとそうではなくなる

ビジョン言語モデルに駐車場の写真にある車の台数を数えさせる場合、ぼやけたレシートを文字起こしさせる場合と同じだけの計算リソースが消費されます。エンコーダーもレイヤー数も、かかるミリ秒数やコストも、タスクが「いくつあるか」であれ「何と書かれているか」であれ同じです。これは少し気になる点です。なぜなら、これらは明らかに異なる作業だからです。車の台数を数えるには大まかな空間的な配置が必要ですが、レシートを読むには小さな文字の詳細な情報が不可欠です。これらのモデルが両方のタスクを同一視するように設計されたわけではありません。単に、1つのビジョンエンコーダーを構築してすべてのデータに適用した場合に生じる結果に過ぎません。

Tarun Tomar氏による新しい論文は、ストレートな問いを投げかけます。すでに機能しているビジョン言語モデルにおいて、内部のビジョン処理の一部をスキップすることで、何らかの再学習を行わずにコストを削減できるでしょうか？ さらに、質問がテキスト、カウント、オブジェクト、色、空間関係のいずれに関するかによって、スキップする部分をカスタマイズすると効果があるでしょうか？ 答えは「はい」であり、同時に重要な点では「いいえ」でもあります。この論文は、賢いプルーニング（剪定）による実質的で転移可能な利得を発見しましたが、最も魅力的なアイデア（タスクごとにショートカットをカスタマイズすること）が、OpenOCRの読者が最も関心を持つケース、つまりテキストの読み取りにおいて、まさに崩壊することを明らかにしました。

Passport 8 — by Ken_Mayer via flickr, BY 2.0.

ビジョン・ランゲージモデルの「目」には実際に何が収まっているのか

ビジョン・ランゲージモデル（VLM）は、画像とテキストプロンプトを入力として受け取り、テキスト回答を生成する。言語による推論が行われる前に、画像はビジョンエンコーダを通過する。このビジョンエンコーダは、それぞれが視覚表現を少しずつ洗練させていくトランスフォーマーブロックのスタックで構成されている。ブロック1はエッジやテクスチャを抽出するかもしれない。ブロック12は「右下の領域に領収書の合計金額がある」といった、より高レベルな概念を表しているかもしれない。画像が言語モデルに到達するまでに、問いが何であれ、スタック内のすべてのブロックを順に通過している。

この論文が対象としているのは、この設定である。そのアイデアは、推論時に一定数のブロック（Kとする）を完全にスキップすることだ。ファインチューニングも再学習も不要で、単に「今回はブロック4、9、15、21を実行しない」と決定し、精度にどのような影響が出るかを確認するだけだ。精度がほとんど低下せず、計算量が有意に削減されれば、それは無料の効率化を見つけたことになる。これをモデルファミリー全体で実施すれば、一般化しうる発見が得られるかもしれない。

最も直感的な最初の試みは、ブロックを個別の重要度でランク付けし（1つずつ削除して被害を測定し、すべてのブロックでこれを繰り返す）、単独で見ると最も重要度が低いK個のブロックを削除する方法である。この手法は論文で「独立ランク付け（independent ranking）」と呼ばれており、誰もが真っ先に思い付く自然なベースラインである。もう一つの自然な直感は、中間層は冗長であるという仮定に基づき、連続するブロックの塊を切り捨てることだ。どちらも計算コストは低い。しかし、実際には、これら両方の手法は真の精度をテーブルの上に置き去りにしてしまう（＝精度低下を招く）ことが判明した。

ブロックを単にランク付けするのではなく、より良い経路を「育種」する

独立したランキング手法の問題点は、バスケットボールの選手を一人ずつ評価して、互いにうまく連携できるか確認することなく「ベスト5」を選ぶのと同じ問題に直面することです。ブロック同士は相互作用します。ブロック10がまだ存在してカバーしている場合、ブロック9を削除することは無害かもしれませんが、ブロック115も同時に削除された場合には有害になります。重要度は加算的ではないため、ブロックを孤立してスコアリングし、上位の選択を組み合わせるだけでは、直接組み合わせをテストしたときにのみ現れる相互作用を見逃すことになります。

ここで論文の主要な手法が登場します。それは、スキップする特定のK個のブロックのセットに対する進化探索です。ブロックを個別にスコアリングするのではなく、ビジョンエンコーダーを通る完全な組み合わせ（完全な「経路」）を、876個の例からなるホールドアウトセットに対して直接テストし、より良いものへと進化させます。候補となる経路の集団から始め、スコアの高いものを選び、変異と再結合を繰り返し、これを繰り返します。これは、作物を改良するために育種家が使用するのと同じ論理です。事前にどの単一遺伝子が最も重要かを決定するのではなく、実際の成果に基づいて選択し、良い組み合わせが生き残るようにします。

ここで重要な詳細があります。この探索は「ソースバランス型」であり、評価対象のホールドアウトセットは、OCR、カウント、物体認識、属性、空間関係などの異なるタスクの種類を、あるカテゴリが支配的になるのではなく、バランスの取れた割合で意図的に混合しています。これは、カウントの例が偶然にも過剰に表現されていたため、カウントには非常に優れていて他のすべてには平凡な経路を見つけ出す探索を防ぐことを意図しています。

この手法は、Qwen2.5-VL-3B-InstructとSmolVLM2-2.2B-Instructという2つのモデルでテストされ、これらはどちらも中規模のオープンVLMです。そして、独立したランキング、連続した削除、および同じ予算（スキップするブロックの数は同じですが、どのブロックを選ぶかは異なる）でのランダムブロック選択と比較されます。

ナイーブなプルーニングを見直させるべき結果

注目すべき数値：SmolVLM2において、進化的探索による共有4ブロック経路（タスクに関係なく、すべての質問に対して同じ4つのブロックをスキップする固定セット）は、独立したランキング構築を4.91ポイント上回りました。これは、推論時にどの4つのブロックを除外するかを決定するコスト以外の追加コストがかからない変更としては、意味のある差です。さらに、このパターンはテストされた両方のアーキテクチャで現れているため、組み合わせ探索（ブロックを一つずつスコアリングするのではなく、経路全体をまとめてチェックする）が、これらのショートカットを構築する際、直感的な最初のアプローチよりも本質的に優れた方法であることを示す妥当なシグナルとなっています。

もし論文がここで終わっていたなら、要点はシンプルでした：ブロックの組み合わせを探すことは、それらを個別にランキングすることよりも優れており、VLMの推論コストを再トレーニングなしで削減しようとする際には、この知見は価値があります。

専門化のアイデアが魅力に感じられ、そして破綻するところ

論文が次に問うているのは、より野心的な問題です。すべての質問に対して1つの固定されたルートを使うのではなく、質問の種類に応じて異なるKブロックのルートを選ぶとしたらどうなるでしょうか？質問がOCRなのか、カウントなのか、空間推論なのかを知っている（または推測できる）場合、スキップすべき理想的なブロックはそれぞれ異なるかもしれません。これには、現在の質問がどのタスクカテゴリに属するかをシステムに伝える何らかのシグナル、つまり機能ラベルが必要です。

Qwen2.5-VLでは、一見するとこのアプローチは報われます。6ブロックの機能特化型ポリシーは、共通の一律のルートよりも全体で2.17ポイント優れており、ほぼすべての改善は単一のカテゴリ、すなわちOCRにおける7.10ポイントの向上から来ています。これは確かな結果であり、もしこれがどこでも通用するなら、実際に有用です。デフォルトでは一般的なルートを使い、テキストを読んでいることがわかるときには専門的なOCRルートに切り替えることで、無料で意味のある精度向上が得られるからです。

しかし、それは通用しません。論文がSmolVLM2のOCR特化型ルートを、標準的なシーンテキストベンチマークであるIIIT5K（野外のテキストの写真：店舗の看板、道路標識、製品ラベルなど）でチェックしたところ、その特化型ルートは単純な共有ルートよりも13.6ポイント劣っていました。丸め誤差ではありません。検索の独自のホールドアウトセットでは勝利のように見えた専門的なショートカットが、別の密封されたOCRテストでは実際にパフォーマンスを損なうことが判明しました。

これがなぜ起こるのかが重要な部分です。 機能特化型ルートは、選択セットからのOCRラベル付き例の限られたプールに対して最適化されていました。それは、テキスト読みのその特定の切り口にとってたまたま重要でなかったブロックをスキップすることを学習し、テキストを読むこと全般にとって重要でないブロックをスキップすることを学習したわけではありません。IIIT5Kのシーンテキスト（曲がった看板、奇妙なフォント、雑然とした背景）は、特化型ルートが捨て去ると決定した視覚処理の一部を必要としていたようです。そのルートは、野外で実際にOCRがどのようなものかを横断的に一般化できるものを見つけるのではなく、「OCR」の狭い定義に過剰適合してしまったのです。

OCRの構築・選定においてなぜ重要なのか

文書処理パイプラインを構築している、あるいはどのOCRエンジンやVLMバックボーンを信頼すべきかを評価している場合、この論文は特定の種類の効率化手法に関する有用な注意喚起であり、VLMベースのOCR全般を信頼しない理由にはなりません。

朗報は、適切な組み合わせ探索によるブロックスキッピング（アドホックなプルーニングではなく）は、再学習なしでビジョン・ランゲージモデルの推論コストを削減する正当な方法であり、この研究では2つの異なるモデルファミリー間でその効果は転移した点です。ベンダーが、推測ではなく慎重な探索によってより安価な推論パスを見つけたと主張する場合、それは妥当であり、真剣に受け止める価値があります。

ただし、注意点があります。ベンダーが共有モデルに対して「タスク特化型」または「OCR最適化」された高速パスを構築したと主張する際には、それが何に対して検証されたのかを必ず問い質してください。この論文は、特化されたOCRルートは構築に使用された特定のベンチマークでは非常に優れた結果を示すものの、別の標準的なOCRテストでは13ポイント以上劣化し得ることを示しています。このギャップは、ベンダーが報告する数値のみを確認している場合、まさに目に見えない種類のものです。OCRエンジンを選択する際の実践的な対応は、この論文が示唆するものと同じです。ベンダーの最適化が調整されたベンチマークだけでなく、自社のドキュメント、特にレシート、看板、手書き文字、低コントラストのスキャンなど、messyな現実世界のデータでテストを行うことです。

構築側（購入ではなく開発側）の皆さんにとって、これはデフォルトとして単一の共有かつ十分にテストされたルートを保ち、タスク固有の高速パスを、発見に使用したセットでのスコア向上だけでなく、実際に異なるテストセットでの独自のホールドアウト検証を経てから出荷する実験的なアドオンとして扱うべきであるという強力な論拠となります。特に日本語のOCRにおいては、漢字や縦書きレイアウトは多くのOCR/VLMモデルにとって最も困難なケースの一つですが、英語のみを対象とした研究や縦書きを無視した最適化では、これらの重要な要素がカバーされないため、実際の日本語ドキュメントでの性能低下を招く可能性があります。

ここでの不確実性

本研究は小規模モデルを対象とした限定的な範囲の調査であり、その文脈で読み解く必要があります。評価対象の両モデルは比較的小規模（3Bおよび2.2Bパラメータ）であるため、同じ規模のギャップがより大規模な本番環境向けVLMでも再現されるかどうかは未解決の課題です。テストされたアーキテクチャは2種類のみであり、このパターンが単なる偶然ではないことを示すには十分ですが、普遍的な現象であると断言するには不十分です。

また、論文では完全に解決されていない実用的な課題もあります。機能特化型ルートを使用するには、推論時に機能ラベルを事前に知る必要があり、何らかの手段（分類器、ユーザー提供のヒント、ルーティングモデルなど）によって、各入力質問がOCR、カウント、空間認識などのいずれに該当するかを正しくタグ付けする必要があります。この分類を誤ると、特化の恩恵を受けられないだけでなく、OCRの質問をカウント最適化されたルートに誤ってルーティングしてしまう可能性があります。

最も重要な制限事項は、論文自体が正直に述べている通り、組み合わせ探索はルートの構築を確実に改善しますが、機能ラベルは汎化能力のあるルートを確実に定義するものではありません。これは「タスク固有のプルーニングが有効である」という主張よりも狭く、かつ実用的な主張であり、テキスト読み取りに特化して最適化されたモデルが提案された際に覚えておくべき点です。そのモデルが最適化対象とは異なる外見のテキストでどのような性能を示すのかを問うべきです。