写真には優れているのに請求書の読み取りには不向きなモデルの理由

ゴールデンレトリバーの写真に数ピクセルのぼかしをかけたとしても、それはまだ「犬」と認識されます。しかし、同じ程度のぼかしをスキャンした請求書にかけてしまうと、「$1,987.00」が「$1,387.00」に変わっても、数字の合計が合わなくなるまで誰も気づかないことがあります。この問題の核心は一言で言えば、現実世界の写真は曖昧さ（fuzziness）を許容するのに対し、テキストのページはそうではない、という点にあります。新しい論文『MonkeyOCRv2』はこの不一致を真摯に受け止め、その解決策は「より多くの文書で学習させる」よりも興味深いものです。

視覚エンコーダは間違った画像で学習させられていた

PDFを解析するにしても、スキャンされたフォームに関する質問に答えるにしても、現代のドキュメントAIシステムはすべて「視覚エンコーダ」から始まります。これは画像を圧縮された表現に変換し、モデルの残りの部分が推論できるようにするニューラルネットワークです。MonkeyOCRv2チームが指摘する問題は、これら視覚エンコーダのほとんど（今日の人気マルチモーダルモデルに組み込まれているものも含む）が、自然画像で事前学習されているという点です。ImageNetやLAIONを想像してください。猫、車、休暇の風景写真といった、標準的な学習データセットです。

この事前学習は、ネットワークが粗いレベルで物体やシーンを認識することを教えます。犬は、少しぼやけていたり、回転していたり、3フィート近くから撮影されていても、依然として犬として認識されます。しかし、テキストのページは全く異なる種類の画像です。「cl」と「d」の違いは数ピクセルです。カンマとピリオドの違いは、数字の意味を変えてしまう可能性があります。化学式の下付き文字が1ピクセルだけ高すぎたり低すぎたりすると、式自体が変わってしまいます。論文ではこれを「文字レベルの視覚知覚」と呼んでいますが、これは実在するギャップです。プードルとラブラドール・レトリバーを見分けることに優れているエンコーダに、8ポイントのフォントで書かれた「3」と「8」を見分ける能力が特に必要とされる理由はありません。なぜなら、その学習データには、そのような精度を要求するものは何も含まれていないからです。

これが、汎用の視覚エンコーダを言語モデルに単純に接続して「ドキュメントAIシステム」と呼ぶと、流暢ではあるものの、気づきにくい方法で時折誤りを生むシステムになりがちである理由です。それはページの内容を読むというより、ページの形状を読んでいるのです。

史上最大規模のドキュメントデータセットで学習する

MonkeyOCRv2 チームの答えはデータから始まります。彼らが構築した MonkeyDoc v2 というコーパスは、17 言語にわたる 1 億 1,300 万枚の画像からなり、これまで構築された中で最大規模のドキュメント画像事前学習データセットであるとされています。これは、1 億 1,300 万枚のドキュメントを一度スクレイピングして放置したものではありません。自然画像データセットでは対応不可能な、特定の種類の学習のための原材料です。猫の写真のコーパスには、ピクセルとテキストの文字レベルでの整合性が必要ないからです。

しかし、規模だけでは根本的な問題は解決しません。1 億 1,300 万枚のドキュメント画像で自然画像スタイルのエンコーダを事前学習しても、学習目標がモデルに個々の筆画を重視させるものでなければ、ページ全体を一つの大きなぼやけた物体として扱うだけのモデルができてしまいます。

1つのエンコーダで2つのタスク

実際の工夫は事前学習の仕組みにあります。これは本当に巧妙な設計です。モデルは同じ視覚バックボーンを使用して、2つのタスクを同時に学習します：

• 画像からテキストの生成。 ドキュメント画像が与えられた場合、その中に含まれるテキストを生成します。これは馴染みのあるOCRタスクであり、エンコーダが見たものと単語の意味を一致させることを教えます。
• ピクセルレベルでのドキュメント再構築。 ドキュメント画像が与えられた場合、文字のストロークやレイアウトを保持しながら、画像自体をピクセルレベルで再構築します。

これは、ページを読んで要約する学生と、記憶からストロークごとにページを再描画しなければならない学生の間の違いと考えられます。最初のタスクだけでは、ドキュメントの概要を把握しながら、正確な転写と説得力のある誤りを区別する小さなセリフや小文字の"g"の尾のような細部を平滑化するモデルが生成される可能性があります。同じエンコーダにピクセルの再構築も強制することで、曖昧な内部表現で済ませることができなくなります。単語を推測するだけでなく、ストロークを再描画するために十分な詳細を保持する必要があります。

2つを組み合わせることは、どちらか一方よりも重要です。テキスト生成の目的なしでの再構築は、マークの意味を特に理解しない非常に良い画像圧縮器を生成するだけです。再構築なしでのテキスト生成は現状であり、現状は密集した、小さな、または劣化したテキストで破綻します。

実際の価値が問われる場面で検証

派手なデモを一つ作るのではなく、チームはMonkeyOCRv2のエンコーダを5つの異なるドキュメントタスクにおける既存システムに組み込み、パフォーマンスが向上するかどうかを確認しました。対象となったのは、テキスト認識、数式認識、テキスト検出、ドキュメント改ざん検出、および重なりテキストのセグメンテーションです。

最後の2つのタスクは特に注目すべき点です。なぜなら、これらは多くのOCRマーケティングで語られるようなタスクではないからです。改ざん検出とは、レシートで合計金額が変更されていたり、証明書で名前が入れ替えられていたりするなど、ドキュメントがデジタルに改ざんされた箇所を発見することを指します。重なりテキストのセグメンテーションとは、スタンプや透かし、手書きが印刷されたテキストの上に重なっている場合でも、テキストを正しく分離することを指します。これはスキャンされたフォーム、保険請求書、古いアーカイブ記録などで日常的に発生する問題です。これらのタスクは、再構成目的（reconstruction objective）が保持するように設計されたピクセルレベルの忠実度に成否がかかっています。エンコーダが改ざんを示す微細な詳細をすでに破棄してしまっている場合、数字が改ざんされたことを検出することは不可能だからです。

5つのタスクすべてにおいて、元のエンコーダをMonkeyOCRv2に置き換えることで結果が改善されました。この一貫性こそが、ここでのより意味のある発見です。テキスト認識では優位に立ちながら、数式認識では劣るモデルは、その向上が特定のベンチマークの癖への過学習によるものであることを示唆します。5つの真に異なるタスクで勝利することは、エンコーダが単一のデータセットに関する狭い知識ではなく、ドキュメントに関する一般的な何かを学習したことを示すより良い証拠となります。

競合他社を警戒させるべき数字

もし一つだけ注目すべき結果を選ぶなら、それはこれだ。チームは事前学習済みのエンコーダを完全に固定し（追加の学習は行わない）、小さな言語モデルと組み合わせ、7億パラメータのドキュメント解析モデルを構築した。

このモデルは、ソフトウェアからきれいにエクスポートされたデジタル生成ドキュメント（PDF）と、照明や角度の問題を伴う紙のドキュメントのスマートフォン写真など、17言語をカバーする最近のベンチマークであるMDPBenchで、オープンソースの新たな最良成績（state of the art）を樹立した。前回の最良成績だった30億パラメータのシステム「dots.mocr」を2.8ポイント上回り、かつビジョンエンコーダのサイズは約11分の1に抑えられた。

小さなモデルが大きなモデルを凌駕することは、それ自体で自動的に印象的というわけではない。狭いベンチマークでは多くの効率的なアーキテクチャがそれを達成している。この結果が真剣に受け止められるべき理由は、サイズ削減の源泉がどこにあるかだ。それは、より多くの作業を行う賢い言語モデルによるものではない。むしろ、ビジョンエンコーダが、より大きな下流モデルで自然画像エンコーダの盲点を補おうとするのではなく、最初から適切な種類のデータで学習されたため、より少ないパラメータで済むようになったのだ。これは「トランスフォーマーを小さくする」という教訓とは意味的に異なる。これは、分野全体が誤った問題に向けられたビジョン容量に対して過剰なコストを支払ってきたことを示している。

単なる解析のためだけではない

本論文では、凍結されたエンコーダを文書理解モデルのコンポーネントとして使用した場合の性能も評価しています。文書理解モデルは、文書を単に文字起こしするだけでなく、文書に関する質問に答えたり、要約したり、レイアウトに基づいて推論したりするシステムです。ここでは、CLIP、DINO、SAMをベースにしたエンコーダと比較しています。これらはマルチモーダルAIで最も広く使用されているビジョンバックボーンの3つであり、主に自然画像や一般的なセグメンテーションタスクで学習されており、文書に特化して学習されたものではありません。

同一の学習条件下で、MonkeyOCRv2のエンコーダは8つのベンチマークすべてにおいて、これら3つのエンコーダを凌駕しました。これは有用なコントロールです。ダウンストリームアーキテクチャも学習レシピも同じで、エンコーダだけが異なります。これにより、主張は本来隔離されるべき点に隔離されます。つまり、文書に特化した視覚的事前学習は、汎用的な事前学習よりも良い基盤を提供するものであり、システムの他の部分でのより良い学習パイプラインの副産物ではないということです。

論文が明かしていないこと

この研究成果がすでに確立されたものだとみなす前に、いくつか留意すべき点があります。

まず、トレーニングに必要な計算リソースやコストについて、アブストラクトにも、ここで入手できるサマリーにも記載されていません。1億1,300万枚の画像からなる事前学習コーパスを構築し、その規模でジョイントオブジェクティブを実行するのは決して安価ではなく、同様のリソースなしに小規模なラボや独立開発者が同等の結果を再現できるかどうかは不明です。推論時の効率性（0.7Bパラメータのモデル）は、トレーニング時の効率性についてほとんど示唆しません。

第二に、改ざん検出や重複テキストのセグメンテーションは有用な機能ですが、比較的ニッチなベンチマークであり、これらのスコアが高いからといって、モデルが最も複雑な実世界のドキュメント（しわくちゃのレシート、コントラストの低いファックススキャン、手書きと印刷の混在、悪条件下で斜めから撮影されたドキュメントなど）をどのように処理するかを必ずしも予測できるわけではありません。MDPBenchには撮影されたドキュメントが含まれており、これは良い兆候ですが、「ベンチマーク条件下で撮影された」と「倉庫で片手を使ってスマホのフラッシュで撮影された」は同じテストではありません。

第三に、ライセンス、重みの公開可否、あるいはMonkeyDoc v2自体のリリース予定について言及されていません。実際にOCR製品を構築する人々にとって、このような論文の実用的な価値の多くは、事前学習済みエンコーダがベンチマークの表だけでなく、実際に利用可能な形で公開されるかどうかにかかっています。

OCRの構築・購入を検討する全ての人にとって、なぜそれが重要なのか

OCRエンジンの評価や、実際の顧客ドキュメントと接触しても耐えうるパイプラインの構築を検討している場合、ここで得られる教訓は「MonkeyOCRv2を特に使うべきだ」というものではない。むしろ、OCRやドキュメント解析システムの基盤となるビジョンエンコーダは互換性のある汎用商品ではなく、その背後にある事前学習データは、その上に積み上げられた言語モデルと同じくらい重要であるということだ。汎用的な視覚バックボーンを基盤とするシステムは、出力後のクリーンアップにおいて言語モデルがどれほど優れていても、高密度なテキスト、小さな数式、改変や重なりのあるコンテンツに対して構造的な不利を抱えている。

実務的には、エンジン同士を比較する際に確認すべきいくつかのポイントがある。すなわち、清潔な印刷ページだけでなく、数式が多いまたはフォントが小さいドキュメントでのパフォーマンス、改変やスタンプが押されたドキュメントの処理方法、そして主張されている精度数値がデジタル生成のPDF、撮影されたドキュメントのどちらか、あるいは両方から導出されたものかどうかである。これらのカテゴリ間のギャップこそが、汎用的なビジョンエンコーダが陥りやすい弱点であり、この論文が距離を縮めようとしている箇所でもある。ただし、日本語の漢字や縦書きレイアウトはOCRおよびVLMモデルにとって最も困難なケースの一つであり、もし対象論文が英語のみを対象として縦書きテキストを無視している場合、それは日本語読者にとって漢字や縦書きレイアウトがカバーされていないことを意味する。

もしこれらの結果がこの論文のベンチマーク外でも維持されるのであれば、より広範な示唆として、ドキュメントAIは異なる用途のために構築されたものを借用するのではなく、独自の基盤モデルを成長させ始めていると言える。これは健全な方向性だ。請求書や契約書のために猫や車のビジョンエンコーダを再利用し続けてきた分野は、どこかで天井にぶつかる運命にあった。そしてこの論文は、私たちがその天井を見つけつつあることを示す妥当な論拠となっている。