GPT-5を失敗させるために構築されたOCRベンチマーク

おそらく誰もが一度は目にしたことがある詐欺広告のスクリーンショットを想像してみてください。笑顔の人物の写真の上に、ゆがんだ半透明のフォントで「カスタマーサービス」の電話番号が表示され、背景に文字が溶け込むかのような色合いが選ばれています。人間は意識しなくても、半秒もかからずにその文字を読み取ることができます。しかし、同じ画像をGPT-4oに読み込ませて番号の文字起こしを依頼すると、高い確率で誤認識するか、文字を全く検出できないことになります。

人間の目が自動的に処理できることと、最先端のビジョンモデルが信頼性を持って実行できないこととのこのギャップが、新しい論文「ArmorOCR」の主題です。研究者たちは、人間には読み取れるがモデルには難しい画像を特化して作成したベンチマークを構築し、現在の主要な大規模マルチモーダルモデル（LMMs）をテストしました。その結果、非常に厳しい数値が浮き彫りになりました。GPT-4oは敵対的OCRテストで23.2%のスコアでした。GPT-5はそれより良い結果を出しましたが、それでも30%にとどまりました。一般的なOCRではそれなりに性能を発揮するGemini 2.5 Flashでさえ、32.3%でした。その後、この問題に特化したモデルを訓練したところ、最先端システムの数分の1のサイズしかないベースモデルを用いて55.7%のスコアを達成し、GPT-4oのスコアを2倍以上上回りました。

「グラウンデッド」敵対的OCRが実際には何を意味するか

多くのOCRベンチマークは認識能力をテストする：ここに画像があります、テキストは何と書かれているか？ スタイル化されたテキストや劣化したテキストの場合、これはすでに難しい課題ですが、それは仕事の半分だけです。モデルは、テキストを実際に発見することなく、文脈に依存して正解を推測することがあります。コーヒーショップの写真にある看板は、おそらくコーヒーに関連する何かと書かれているでしょうから、モデルは完全に異なるピクセルを指したり、ピクセルを一切指さなかったりしながら、説得力のある答えを生成することがあります。

論文はこれを直接的に指摘しています：答えの精度だけでは、モデルが実際にテキストを特定できることを証明しません。そのため、彼らはこのタスクを「グラウンデッドOCR知覚」として定義し、モデルは以下の2つのことを同時に実行する必要があります：テキストが存在する領域を見つける（ローカライゼーション、通常はバウンディングボックス）と、その中身を読む（認識）。ボックスを間違えれば、推測した単語が偶然正しくても意味がありません。これはタスクのより難しく、誠実なバージョンであり、スキャンされたフォームの機密フィールドを消去したり、画像内の改ざんされたテキストの位置を特定したりする実際のアプリケーションで重要となるものです。

ここで言う「敵対的」とは、モデルの重みに対して正式な攻撃アルゴリズムが実行されていることを意味しません。テキスト自体が視覚的に敵対的であることを意味します：歪曲され、忙しい背景に隠され、ドットで描かれ、AI生成画像にシームレスに融合されており、「テキスト」と「画像」の境界がほとんど存在しない状態です。

AdvSpotの内部：モデルを混乱させるために構築された390枚の画像

AdvSpotと呼ばれるこのベンチマークは、現代のデータセットの基準では小規模で、画像は390枚です。しかし、すべてがリージョンレベルで注釈付けされており、それぞれはテキストがモデルの視覚認識を回避する13の特定の手法のいずれかを表すために選ばれ、5つのカテゴリに分類されています。

空間操作は、物理的に歪められたテキストをカバーします：不自然な角度で回転させられたり、鏡像反転させられたり、数ピクセルに縮小されたりしたものです。これは、傾いた道路標識を読む際に人間がほとんど気づかないようなものですが、主に水平で左から右へのテキストブロックで訓練されたモデルを混乱させます。

グリフ変異は、文字の形状そのものに関するものです。スタイライズされたグリフは、ストロークを分割したり、遮蔽したり、切り捨てたりします。例えば、ロゴの半分が別の形状の後ろに隠れているが、脳が自動的に隙間を埋めるようなケースです。不規則な間隔や個人的な癖を持つ手書きテキストもこのカテゴリに含まれます。

画像劣化は日常的なものです：モーションブラー、スマートフォンカメラの反射、フィルムグレイン、露出過多の写真、スクリーンショットされて何十回も再共有されたことによる圧縮アーティファクトなどです。ここでは特に珍しいものはなく、スタジオで撮影されなかった画像の現実を反映しています。

文脈的融合は、本当に興味深い部分です。これには、低コントラストのテキスト（背景と同じ色合いであり、技術的には見えるが視覚的にカモフラージュされている）、パターンオーバーレイ（ドットや線が透かしのようにテキストの上に描かれている）、そして著者らがAIGC融合テキストと呼ぶもの（AI生成画像に直接焼き付けられたテキストで、シーンに自然に溶け込み、上に貼り付けられたキャプションのように見えないもの）が含まれます。最後のこのカテゴリは、ベンチマーク全体で最も難しいことが判明しました。訓練前、ほとんどのモデルはこれに対してほぼゼロのスコアでした。

視覚的エンコーディングは最も抽象的なグループで、文字は従来のストロークではなく、記号の配置、ドットの密度、または線の方向によって表現されます。これは読書よりもパズルに近く、ベースラインモデルがほぼ機能しなかったもう一つのカテゴリです。

モデルをこのタスクで実際にどのように訓練したか

ArmorOCRの訓練は2段階で行われ、それぞれの背後にある論理は理解する価値があります。特に第1段階は、機械学習で頻繁に現れる問題に対する巧妙な回避策です。それは、タスクの難しいバージョンの正解（ground-truth）を安価に生成することはできないが、その簡単なバージョンからのシグナルはすでに得られる可能性があるという問題です。

第1段階は「On-Policy Self-Distillation（オンポリシー自己蒸留）」と呼ばれます。ここで重要な点は、各敵対的訓練画像に対して、研究者がリサイズ、回転、反転、またはその他のクリーンアップ処理を施した複数の変換バージョンを生成し、別の判定モデルが正しく読み取りやすい変換バージョンを選択することです。この簡単なビューが一種の特別ヒントとなります。訓練中は、学生モデルは元の難しい画像のみを見て、現在のポリシーに基づいて独自の回答を生成する必要があります（これが「オンポリシー」の部分です：訓練の早い段階のスナップショットではなく、自分自身を評価しています）。その後、教師プロセスが学生モデルの回答を、より簡単な変換ビューと実際の正解テキストから推論できるものと比較し、学生モデルの内部確率をより良い回答へと誘導します。この誘導は、出力のどの部分を修正しているかに応じて2種類のペナルティを使用します。モデルの推論ステップには柔らかいペナルティを、実際の予測テキストには厳しいペナルティを適用します。平易に言うと、モデルは、同じ写真のわずかに歪みの少ないバージョンを見ていれば本来言うべきだったことと比較することで、歪んだ写真を読む方法を学びます。

第2段階は、Group Relative Policy Optimization（GRPO）を通じた強化学習です。これは、別個の報酬モデルを必要とせず、モデル自身のサンプリングされた出力グループを互いに比較して、最も高いスコアを得たものを強化する手法であり、言語モデルやビジョン言語モデルのファインチューニングで人気を集めています。ArmorOCRは、4つのサブタスクに調整された4つの異なる報酬シグナルを適用します。予測ボックスが正解ボックスとどれだけ重なっているか（純粋なローカライゼーション用）、編集距離を用いて予測テキストが正しい文字列にどれだけ近いか（純粋な認識用）、両方を一度に行うための複合スコア（完全スポットティング用）、およびテキストに関する視覚的質問応答の単純な正解チェックです。このように訓練することで、1つのブレンドされたメトリクスを最適化するのではなく、モデルがローカライゼーションと認識を別々のスキルとして実際に習得することを強制し、1つのブレンドスコアのみを満たすショートカットを見つけるのを防ぎます。

これらはすべて、Qwen3-VL-8B-Instructという中規模のオープンモデルの上に構築され、第1段階では約50,000の合成訓練例、第2段階では70,000のより難しいケースを使用しました。

数値と、実際に性能向上が現れる箇所

注目すべき結果は、AdvSpotのVQAタスクにおいて、GPT-4oの23.2%からArmorOCRの55.7%へと大幅に跳ね上がった点であり、位置推定（localization）タスクでも同様の傾向が見られた。ArmorOCRはIoU（ボックスの重なり度を測る標準的な指標）で63.3%を記録し、約30倍の規模を持つ最良のベースラインモデルであるQwen3-VL-235Bの47.5%を上回った。

性能向上は均一に分布しておらず、これが汎化能力を評価する上でより重要な知見となる。AI生成コンテンツ（AIGC）の融合テキスト、つまりテキストがAI生成された背景に溶け込むカテゴリでは、ArmorOCRは最も強力な競合モデルを65%上回った。論文のエラー分析が事前に「ほぼ解けない」と指摘していたカテゴリであるため、ここでの大幅な向上は、2段階のトレーニングアプローチがベンチマークの癖を単に暗記しているのではなく、実際に効果的な学習を行っていることを示す意味のある証拠である。一方、記号ベースおよびドットパターンによるエンコーディングは、トレーニング後も最も難易度が高く、論文でもこれらが依然として「非常に挑戦的」であると明確に述べている。

研究者自身が設計しなかった他の敵対的OCRベンチマーク、AdvOCRおよびSmuggleBenchでは、ArmorOCRは専門化された先行手法をわずかに上回ったが、その差は小さかった（56.0%対55.0%、17.1%対16.4%）。この点はよく考慮する価値がある。最大の性能向上は、著者が構築し、トレーニングデータを最適化したベンチマークで現れ、他者が構築したベンチマークでは縮小する。これ自体が赤旗（警告信号）というわけではない。専門的なトレーニングは自らの得意分野で最も効果を発揮するのが一般的である。しかし、55.7%という目玉の数値を、この特定の種類の敵対的テキストにおける上限と捉え、普遍的な敵対的OCRスコアとは見なさない理由となる。

もう一つ重要な数値は、変化しなかった部分である。OCRBenchなどの標準ベンチマークにおける一般的なOCR性能は、追加の汎用トレーニングデータを加えずともほぼ横ばいを維持した。狭く困難な問題に対してモデルを専門化しつつ、日常の性能を損なわないことは、派手さはないが、おそらくより重要な成果である。多くのファインチューニング作業は、特定のベンチマークでの急激な向上と引き換えに一般的な能力を犠牲にするが、今回のケースではそのようなトレードオフは起こらなかった。

OCRの構築または選択において重要である理由

ドキュメント処理、領収書処理、身分証明書の検証、またはコンテンツモデレーションのためにOCRエンジンやLMM（Large Multimodal Model）を選択している場合、この論文は、多くのベンチマークがカバーしていない盲点に対する有用な現実チェックとなります。標準的なOCRのリーダーボードは、主にクリーンなドキュメントや撮影状態が良好な自然なシーンでのテストに重点を置いています。しかし、これらは、ユーザーが反射の強いスマートフォンの写真で撮影した領収書、数字の上に半透明の透かしが重なったスクリーンショット、あるいは電話番号が壁紙に溶け込んだAI生成画像をアップロードした際に何が起こるのかを教えてはくれません。これらはもはやエッジケースではありません。反射やぼけは、モバイルアップロードで日常的に発生します。透かしやAIで合成されたテキストは、詐欺コンテンツ、偽造ドキュメント、モデレーション回避の試みにおいて頻繁に登場し、まさに信頼と安全（Trust and Safety）パイプラインが検知すべき対象です。

実用的な教訓は「ArmorOCRに切り替えろ」というものではありません。ArmorOCRは、80億パラメータのオープンモデルに基づいた研究用チェックポイントであり、堅牢な本番環境向けAPIではないからです。重要なのは、モデルのサイズや一般的なOCRベンチマークでのランキングが、システムが真に対抗的（adversarial）な入力に対処できるかを予測する指標としては弱いということです。このタスクでは、グラウンディングと対抗的ロバストネスに特化して訓練された小型モデルが、その何倍ものサイズを持つモデルを凌駕しました。あなたのユースケースが不正検出、コンテンツモデレーション、または人間が機械による読み取りを困難にするインセンティブを持つあらゆるパイプラインに関連している場合、汎用OCRのスコアは必要な情報を提供しません。クリーンなベンチマークの数値を信頼する前に、AdvSpotのカテゴリに近いもの、つまり歪みや回転したテキスト、低コントラストのオーバーレイ、反射、生成画像に溶け込んだテキストなどに対してテストを行うべきです。

日本語のOCRやVLMモデルにとって最も困難なケースの一つは、漢字と仮名を混在させ、さらに縦書きで記述されたテキストです。もし対象の論文やモデルが英語のみを対象としており、縦書きのレイアウトを無視している場合、それは日本語の読者にとって、実務で頻繁に出会う縦書きの漢字テキストがカバーされていないことを意味します。

ここでの不確実な点

390画像のベンチマークは規模が小さく、わずかな特殊な例でカテゴリレベルのスコアが有意に変動する可能性があるため、また論文では複数回の実行における分散が報告されていないため、個々のカテゴリの数値は正確なものではなく、傾向を示すものとして扱うべきです。トレーニングおよび評価データは、実際の詐欺や不正行為のコンテンツから取得したのではなく合成されたものであり、制御されたベンチマークを構築するには妥当ですが、これは現実世界で特定のモデルを回避しようとする人々によって作成された敵対的テキストが、AdvSpotが捉えるものとは異なる外観を持つことを意味します。さらに、ArmorOCRが依然として苦戦しているカテゴリである記号およびドットパターンエンコーディングは、セットの中で最も意図的に敵対的なものであり、歪んだ自然言語テキストよりも視覚的な暗号に近いものです。敵対的OCRの比較的簡単な80%を解決し、最も難しい20%がほぼゼロのままでも、それは真の進歩ですが、敵対的OCRを完全に解決したのと同じではありません。

それでも、中核的な貢献は確かなものです。モデルが読み取りにくいテキストを推測するだけでなく、実際に発見できるかを測定するベンチマークと、日常のパフォーマンスを損なうことなくギャップを有意に縮めるトレーニング手法です。より厳しい評価と、他の部分にコストを課さない修正手法の組み合わせは、この分野において本来あるべき以上に稀なものです。