One Patch Is Enough: 2Bパラメータモデルが街路標識の読解でGPT-5.4を凌駕する方法

クラウド・ソネット4.6に雑然とした店舗の写真を提示し、看板の文字をすべて転写し、各単語の正確な境界を指定するように指示すると、標準的なTotal-Textベンチマークでエンドツーエンドの精度は14.1%でした。GPT-5.4はわずかに優れ、17.2%を記録しています。ジェミニ3.1フラッシュは50%台後半に達しています。これらは現在存在する最も高性能な汎用モデルの3つですが、ほぼ自明なタスク（看板を読み、その位置を特定する）において、ほとんど誰も聞いたことがない20億パラメータのモデルに大きく敗れています。

このモデルは、华南理工大学から発表された新しい論文「One Patch Is Enough」から来ています。タイトルがすべてを物語っています：モデルが読み取った各単語を表すために複数の画像パッチを集める代わりに、正確に1つだけ与えるというものです。この論文は、写真内のテキストの読み取りがスキャンされたページの読み取りとは本質的に異なる問題であり、より大きく賢い言語モデルを投入してもそのギャップを埋められない理由について話すための良いきっかけとなります。

CVSファーマシー - 看板の修復 — pixeljones提供、flickrより、BY-SA 2.0。

道路標識を読むのがページを読むよりも難しい理由

「シーンテキストスポッティング（Scene text spotting）」とは、写真に自然に現れるテキストを検出し、文字起こしするタスクです。対象は店舗の看板、製品ラベル、道路標識、落書き、消火器のステッカーなどです。これはドキュメントOCRとは重要な点で異なります。スキャンされたページは平坦で、コントラストが高く、整然と行が並んでいます。一方、レストランの看板の写真は小さく、コントラストが低い部分があり、ロゴに絡みつき、他の3つの看板に挟まれ、さらに斜めから撮影されていることがよくあります。

モデルは同時に2つのことを正確に一致させる必要があります。1つは各テキストの位置を特定すること（検出）、もう1つはその内容を読み取ること（認識）です。境界線を数ピクセル間違えると、文字が切り取られてしまいます。境界線は正しくても、誤った単語に割り当ててしまうと、文字自体が正しくても予測全体が無意味なものになってしまいます。

マルチモーダル大規模言語モデル（MLLMs、画像を見てそれについて話せるGPT-4VやGeminiシリーズのモデル）は、画像を「パッチ（patch）」と呼ばれる小さなタイルのグリッドに分割し、各パッチをトークンとして扱います。これはモデルが単語を扱うのと同じ単位です。画像内の特定のものを指し示す場合、モデルは生のコординатをテキストとして出力するか、これらのパッチトークンのいずれかを直接指し示すことができます。パッチを指し示す方が信頼性が高いのは、モデルの答えが実際に視覚化した情報と結びつくためであり、空中楼阁のように4つの数値を推測するのとは異なるからです。

従来のアプローチ：各単語に複数のパッチを割り当てる

座標を入力する代わりにパッチを指し示すようになったら、次の合理的なステップは、より多くの証拠がより確信度の高い回答につながるという理論に基づき、モデルが各単語に対して複数のパッチを選択することです。これが従来の手法で行われていた方法ですが、SPaTS論文では、このアプローチが特にテキストの場合に逆効果になると主張しています。

同論文の図1は、実際の看板（「MANOEI-HEATHER, PLEASE, FOREVER.」のような文字列）を用いてその理由を示しています。単語ごとに複数のパッチが割り当てられると、以下の3つの失敗パターンが頻繁に発生します。パッチがテキストではなく関連のない背景に割り当てられる、複数のパッチが同じ単語に割り当てられるためどのパッチが権威あるものか不明確になる、隣接する単語からのパッチが混ざり合い曖昧な信号になる、というものです。小さく密集し、曲がったテキストは、隣接するパッチが互いに干渉し合う可能性が最も高い状況です。

解決策：パッチを1つだけ選び、残りの画像で形状を補完する

本論文の核心アイデアである Single-Patch Text Spotting (SPaTS) は、テキストの各インスタンスをクラスターではなく、単一のアンカーパッチを通じて処理します。このアンカーがアイデンティティを確立します：つまり、このパッチが単語「FOREVER」が存在する場所です。しかし、アンカーだけでは曲がった或不規則なテキストの周囲に正確な境界を描くための情報が不十分であるため、SPaTS はこの作業を2つに分けます。

Patch-Enhanced Decoding (PED) と呼ばれるコンポーネントは、選択された1つのアンカーを受け取り、モデルの言語状態と組み合わせ、アンカーパッチだけでなく画像全体のフィーチャマップに対してクロスアテンションを適用することで、最終的な幾何形状（バウンディングボックス、ロゴの周りを曲がるテキスト用のベジエ曲線、または点のセット）を回帰します。これは、目撃者が並列写真から顔を選び出し、スケッチアーティストが指差す指だけでなく写真全体を見て完全な肖像画を描き直すようなものです。1つのトークンが「何で、だいたいどこか」を示し、残りの画像が正確な形状を提供します。

モデルにどのパッチを選ぶかを教える、正解を明示しないアプローチ

ここが厄介な点です。どのデータセットにも「この単語に対する正しいアンカーはパッチ #4,281 です」といった記述はありません。グラウンドトゥルース（正解データ）が提供するのはバウンディングボックスと文字認識結果であり、そのインスタンスを最もよく表す個別のパッチのランキングではありません。アンカーの選択は離散的な決定であり、学習するための直接的なラベルが存在しないのです。

著者たちは、これを強化学習によって解決しました。彼らはこれを Single-Patch Selective Optimization (SPaSO) と呼ぶフレームワークを構築し、DeepSeek がモデルに数学的推論能力を学習させるために使用したのと同じレシピである GRPO（Group Relative Policy Optimization）を基盤としています。モデルは複数の候補パッチの選択をサンプリングし、グループ内でより良い結果をもたらした選択が他の選択に対して相対的に強化されます。別途クリティックネットワークは不要です。

この仕組みを支えるのは2つの報酬です。Patch Generation Reward は最終結果を検証します。つまり、このパッチの選択が、グラウンドトゥルースとの幾何学的な重なりが良好な正しい文字認識結果につながったかどうかを確認します。もう一つの Patch Dominance Reward はより興味深いものです。モデルは学習の初期段階で完璧な答えにたどり着くことは稀であり、そのため主要な報酬はしばしばゼロとなり、モデルが学習する材料が得られない状況になります。支配性報酬（dominance reward）は、最終的な予測が外れた場合でも、候補の中で正しいパッチを上位にランク付けしただけで部分的なクレジットを与えます。これは、的を射抜いた場合のみを報酬とするのではなく、「的に近づくこと」自体も報酬とする違いです。

名前以上の役割を果たす2つの小さなアイデア

アーキテクチャを補完する2つの補助的な要素があります。

方向性埋め込み整列（DEA）は、微妙な失敗モードに対処するものです。パッチはベクトルとして表現され、大きなノルムを持つベクトルは、実際にはより小さいベクトルの方が意味的に適切である場合でも、選択プロセスを支配してしまうことがあります。DEAは各パッチベクトルを、強さ（信号の強さ）を表すノルムと、実際の意味を表す方向に分割し、ウォームアップ期間の後にはノルムを固定します。これにより、選択は「最も大きい」パッチではなく、方向性の整列に依存するようになります。アブレーション実験では、DEAを除去すると、選択が意味的関連性ではなく特徴のノルムによって支配されてしまうことが示されました。

PEDを除去し、選択された画像パッチに再グラウンディングするのではなく、言語モデルの内部状態のみから幾何学情報をデコードすると、著者らが「精度の崩壊」と呼ぶ現象が起きました。これは有用なネガティブな結果であり、実際のピクセルに対して答えを常にチェックさせない場合、モデルは説得力のあるテキストの位置をハルシネーションし始めることを示しています。

数値結果

結果は、3つのベンチマーク（曲線および多方向のテキストを含むTotal-Text、同様に曲線だがより高密度なCTW1500、実際の街中のシーン写真を含み3つの中で最も難しいとされるICDAR2015）で報告されています。SPaTSは2Bと4Bパラメータの2つのサイズがあり、3つのカテゴリの競合モデルと比較されています。それは、最先端のクローズドソースモデル（Claude Sonnet 4.6、GPT-5.4、Gemini 3.1 Flash、Seed 2.0 Pro）、大規模なオープンウェイトモデル（397BのMixture-of-ExpertsモデルであるQwen3.5、241BのInternVL3.5、GLM-4.6V、Kimi K2.5）、そしてOCR特化型のMLLM（HunyuanOCR、PaddleOCR-VL-1.5、dots.ocr）です。

Total-Textでは、SPaTS-4Bは厳格な辞書不使用設定で64.9%のエンドツーエンドFスコアを達成し、単語の曖昧性を解消するために辞書を使用すると74.9%に達しました。これに対し、Claude Sonnet 4.6はそれぞれ14.1%と15.9%でした。クローズドソースの最先端モデルは、他のタスクでどれほど優秀であっても、ここでは競争力を持っていません。CTW1500では、SPaTS-4Bのエンドツーエンドスコアは、完全な辞書プロトコル下で79.6%に達しました。ICDAR2015では、論文はSPaTSが前回の最良の結果と比較して、エンドツーエンドの精度を約50%向上させたと明確に述べています。

直接のアブレーションは、アーキテクチャ内で起きている他の要素から論文の中心的な主張を分離するため、注目すべきです。同じバックボーン上で、座標テキスト出力、マルチパッチグラウンディング、シングルパッチグラウンディングを互いに比較しました。シングルパッチが明確に勝利しました。これは、ゲインがタイトルにあるアイデアから来ていることを示す良い証拠であり、単に大きなトレーニング実行やより良いバックボーンによるものではありません。

強化学習の段階は、予想以上に重要です。監督付きファインチューニングのみからSPaSOを追加することで、著者たちはCTW1500の完全な辞書設定下で、エンドツーエンドF値が20.7ポイント跳ね上がったと述べています。58.9%から79.6%への向上です。監督付きトレーニングは、モデルが文字を正確に転写できるようにしますが、RLの段階は、実際に良いアンカーを選ぶ方法を教えるものです。

OCRの構築・選択においてなぜ重要なのか

ここで最も重要な示唆は、特定のアーキテクチャそのものではなく、比較表が示す汎用モデルの現状にある。Claude Sonnet 4.6、GPT-5.4、Gemini 3.1 Flashは、推論、コーディング、画像に関する対話において優れている。しかし、これらは精密で高密度なテキストの位置特定には現在不向きであり、目的特化型の2Bモデルが60〜80%のスコアを出すタスクにおいて、10代から20代のスコアにとどまっている。レシートや複雑な棚の写メにあるすべての単語にきっちり枠を引く必要がある製品の場合、いかに最新で高価な汎用チャットモデルでも、それは適切なツールではない。

2つ目の示唆は、パラメータ数が品質を判断する弱い指標であるということだ。2Bモデルは、このタスクにおいて397BのMixture-of-Expertsモデルや241Bモデルを凌駕した。ベンダーが「巨大なフロンティアモデルで駆動されている」からOCRが優れていると主張しても、それは曲がったロゴやぼやけた店舗の写真での性能についてほとんど語っていない。クリーンなスキャン文書ではなく、雑多な実世界画像での正確性数値を要求すべきだ。なぜなら、これらは難易度のカーブが異なる2つの別問題だからだ。

3つ目の示唆は、単一のエンジンに賭けないことへの主張である。クリーンな請求書スキャンに適したモデルが、歪んだレシートや道路標識の写真にも最適とは限らない。この論文は、「画像を読む」と主張するモデル間のギャップがどれほど広いかを明確に示している。1つの巨大モデルがすべてのケースを適切に処理すると仮定するよりも、複数のエンジンで文書を処理し、最良の結果を選ぶ方がコストが低い。

考慮すべき1つの注意点として、ここで扱われているのはすべてラテン文字のシーンテキストであり、手書き文字、高密度フォーム、非ラテン文字、実際の紙文書は含まれていない。これはテストされた問題に対する強力な結果である。同じ単一アンカーのアイデアが、請求書の山や手書きのメモでも通用するかどうかは、この論文が答えを出していない別の問題である。日本語の漢字や縦書きレイアウトは、多くのOCR/VLMモデルにとって最も困難なケースの一つであり、この論文が英語のみを対象としており縦書きを無視している点は、日本語の読者にとって漢字や縦書きレイアウトがカバーされていないことを意味する。

誰にも覆い隠されていない粗い部分

著者たちは、2つの現実的な限界について率直に述べている。第一に、強化学習（RL）ステージは意味のあるトレーニングのオーバーヘッドを追加し、安定性を保つためには慎重に調整された報酬整形に依存する。これは教師あり学習に対するプラグアンドプレイの効率アップではなく、トレーニングの単純さを精度と引き換える、より複雑なレシピである。

第二に、DEAはウォームアップ期間後にパッチ表現の大きさブランチを固定し、著者たちはこれが極端な照明変化の下で堅牢性を損なう可能性があることを指摘している。そのような状況では、パッチの生の特徴スケールが実際に有用な情報を持っている可能性があるが、固定されたモデルはそれを無視している。これは漠然とした免責事項ではなく、具体的で妥当な失敗モードである。

さらに、コードは「近日公開予定」であるという実用的な問題もある。つまり、現時点ではこれは論文であり、自分のドキュメントに対してインストールしてテストできるものではない。特に、最先端のチャットモデルや専用OCRシステムの両方を大幅に上回ると主張しているため、リリース時には注目する価値があるが、現時点では数値は上記の表にのみ存在する。