その仕事のために訓練したことがないOCRの専門家

目から鱗が落ちた発見

研究者たちが17世紀の満州語手書き文書に対して最適なOCRモデルを選択するシステムを構築したところ、3回に2回の割合で、そのモデルは満州語の手書き文字を認識するように訓練されたことがなかったという結果が得られました。これは、全く異なる目的のために訓練された結果として副次的に能力が向上したものであり、検証するまで誰もその事実を知らなかったのです。

この結果は、論文（Zhan Chen、Jiqiao Ma、Chih-wen KuoによるarXiv 2607.14041）を読んで、これがOCRチームが常に直面する問題——ラベル付きデータの不足と、文書ごとの外観の多様性——に対処するための賢明な手法であることに気づくまで、バグ報告のように聞こえます。

なぜ満州語はOCRの悪夢なのか

満州語は清の宮廷で使用された言語で、モンゴル文字から派生した縦書きのアルファベットで上から下へ記述されます。もしあなたが満州語用のOCRシステムを構築しようとしているなら、同時に二つの問題を引き継ぐことになります。

第一に、リソースが乏しいことです。英語や中国語のように、ラベル付きの満州語テキストが大量に存在するわけではありません。訓練や評価に使用される文字レベルの転写は、実際に満州語を読むことができる限られた人々によって作成される必要がありました。

第二に、これがストレステストとして適している理由ですが、満州語の文書は、誰が何のために書いたかによって、手書きのスタイルが非常に異なります。この論文では、三つのスタイルを扱います。楷書（丁寧で格式ばった、印刷体に近いもの）、行書（より速く流れるような、文字が互いに混ざり合うもの）、そして宮廷の奏折（皇帝への報告書）で特に使用される半草書の「庁書」です。これらの一つを読み取るように訓練されたモデルは、他のスタイルでは機能しなくなる可能性があります。これは、きれいな印刷体の英語を読むことができる人が、医師の手書きの処方箋で苦労するのと同じです。

これらの二つの問題を組み合わせると、実際の課題が浮かび上がります。視覚的に異なる三つの書体を適切に処理できるシステムが必要ですが、単にデータを追加するだけで問題を解決できるほど、各スタイルのラベル付き例題が十分にあるわけではありません。

核心アイデア：1つのモデルの訓練を止め、適切なモデルへルーティングする

1つの大規模な汎用モデルを学習させるためのデータが不足している場合、標準的なアプローチはファインチューニングです。事前学習済みのモデルを取得し、ターゲットデータで継続的に更新し、その過程でチェックポイントを保存します。通常、中間のチェックポイントはすべて破棄され、最終的なもののみが保持されます。

この論文の洞察は、破棄されたこれらのチェックポイントがゴミではないという点にあります。反復的なファインチューニングの過程で、モデルは異なる段階を通過し、その過程のある時点で、それが訓練目標ではなかったとしても、データの特定の癖を処理することに異常に優れるようになります。著者らはこれらのチェックポイントのプールを維持し、それらをドメインの専門家として扱います。

その後、彼らは軽量なルーティング機構を構築します。これは小さな画像分類器で、ページを解析し、3つの書式のいずれか（通常体、行書、または章奏体）を予測し、そのページをプール内のその書式の既知の専門家にルーティングします。プールにドメインの適切な専門家がいない場合、彼らはそれを訓練し、追加します。

適切な比喩は病院のトリアージです。1人の医師がすべての患者を治療するのではなく、フロントの看護師が患者を一目見て、どの専門医に送るべきかを知ることを望みます。ここで特筆すべきは、これらの「専門家」のいくつかは、その専門分野で公式に訓練されたことがないという点です。彼らは他の何かのために訓練される過程で、そのスキルを副産物として習得し、システムは彼らが何に優れているべきかという質問ではなく、テストによってそれを発見しました。

何を測定し、なぜ CER が最も重要な指標なのか

ここで用いられる主要な指標は CER（文字誤り率）です。これは、人間が検証した転写結果と比較して、OCR システムが誤認識した文字の割合を示します。数値が低いほど性能が優れており、成熟した OCR パイプラインでは、優れたモデルと凡庸なモデルの差は CER で 1% 未満という僅かな差に収まることが多く、これは小さく選りすぐられたテストセットを用いて容易に偽装できるような数値です。本論文では、書体ごとに 1 つずつの計 3 つの固定テストセットを使用し、比較の一貫性を保っています。

ルーティングされたシステムの書体別結果は以下の通りです。

• 楷書：0.30% CER
• 奏折（館閣体）：1.57% CER
• 行書：4.83% CER

注目すべき点は 2 つあります。まず第一に、これらの数値は、各ページの正しいドメインを既に知り、手動で最適な専門モデルにルーティングした場合と同等のものです。つまり、自動ルーターは誤った推測によって精度を損なっていないということです。正解表を渡されたかのような性能を発揮しています。

第二に、行書は他の 2 つと比べて明らかに最も難しく、誤り率は楷書の 16 倍以上となっています。これは、OCR における一般的な傾向、すなわち最大の課題となるのが常に整った文字ではなく、最も緩やかで非公式な手書き文字であるという事実と一致しています。

ページをどのカテゴリに振り分けるかを決定する小さな分類器であるルーター自体は、正しい書体を特定するページレベルの精度で 99.3% を達成しました。これは、現代のほとんどの人々が読めないどころか一見して区別もできない 3 つの書体スタイルを視覚的に分類するという、真に困難なタスクにおいて、非常に強力な数値です。

偶然の専門家発見、そしてそれがなぜ真の注目すべき点なのか

冒頭で触れた詳細に戻ろう。論文によれば、ルーティングが最終的に依存した3つの専門モデルのうち、「実行スクリプト」の専門家は、当初から実行スクリプトを対象として訓練されたチェックポイントのみであった。残りの2つ、すなわち「通常スクリプト」と「宮廷奏折」を処理するモデルは、異なる目標を念頭に置いた反復的なファインチューニングプロセスの産物であるチェックポイントから選ばれたものである。

この事実は、一見するよりも重要である。これは、リソースが限られた環境において、モデルが特定のドメインで優れるようになるかどうかは、訓練の目的として設定した内容から完全に予測可能ではないことを示唆している。訓練ダイナミクスは副産物を作り出し、その中には意図して構築しようとは考えもしなかった有用な専門モデルが含まれることがある。実用的な意味では、過去のファインチューニング実行から得られた中間チェックポイントの山を扱っている場合、それらを使い捨てのものとして扱うことは、すでに作成コストを支払った専門モデルを破棄することになる可能性がある。

また、これは「ルーティング」が実際に何をしているのかという見方を再定義する。それは単なるトラフィック誘導ではない。軽量な分類器が、既存のアセットの中で、誰にも割り当てられていない仕事で秘密裡に優れているものを発見する一種の「盲 audition（オーディション）」を実行し、各チェックポイントが「何のため」のものであるかという仮定ではなく、その発見に基づいて行動するのである。

OCRの構築・購入を検討している場合に、なぜこれが重要なのか

実務的な規模で文書をOCR処理している場合、歴史的写本の文脈は別として、すでにこの問題の何らかのバージョンと向き合っている可能性が高い。スキャンされた契約書、手書きのフォーム、色あせたレシート、品質のばらつきのあるPDFなどは、すべて異なる視覚的ドメインであり、モデルの注意を競合している。これは、楷書、行書、チャンセリー体（chancery hand）がここで競合しているのと同じである。

ここで得られる教訓は、「満州語のスペシャリストを訓練しろ」というものではない。リーダーボードから選ぶような単一の「最良」のOCRモデルは、しばしば誤った枠組みである。異なる文書タイプを、それぞれそのタイプに強く調整されたり、単にその能力が発見されたりした異なるスペシャリストにルーティングする仕組みは、一律に使用される単一モデルよりも優れていることが多い。これは、1つのエンジンに賭けるよりも、文書ごとに複数のOCRエンジンを試して最良の結果を採用するサービスが、しばしば優れたパフォーマンスを発揮するのと同じ論理である。

また、これは古いモデルのチェックポイントを安易に削除しない理由でもある。モデルを数回にわたってファインチューニングし、最終バージョンのみを残してきた場合、この論文は中間のチェックポイントも保持し、計画していなかった何かで静かに優れた性能を示していないかを定期的にテストするよう示唆している。チェックポイントを保存するコストは安い。すでに持っていたが捨ててしまったスペシャリストを再訓練するコストは、そうではない。なお、日本語（漢字＋仮名）は縦書きで表記されることが多く、これは多くのOCR/VLMモデルにとって最も困難なケースの一つである。もし対象の論文が英語のみを対象としており、縦書きテキストを無視している場合、それは日本語の読者にとって、漢字と縦書きレイアウトがカバーされていないことを意味する。

このアプローチの正直な限界

これは小規模で範囲を慎重に限定した研究であり、汎用的なレシピではなく、論文もそれを過大評価していません。

3つのドメインは、ルーティングが区別できる管理可能な数です。10や20の視覚的に明確に異なるドキュメントタイプでこれがどのように機能するのかが不明です。そのような場合、軽量なページ分類器はルーティングのミスをより多く犯すようになり、誤ったルーティング決定のコストが高くなります。なぜなら、誤る可能性の多様性が増すからです。

システムには依然としてフォールバックが必要です。チェックポイントプールに特定のドメインに対応する妥当なスペシャリストが存在しない場合、誰かが新しいエキスパートを訓練する必要があります。つまり、誰かがそのドメインのラベル付きデータを作成する必要があります。このアプローチは、新しい訓練データが必要になる頻度を減らしますが、その必要性を完全に排除するものではありません。

ルーティングはページ単位で発生し、行ごとや単語ごとではありません。2つの書き方が混在する単一のページ（実際の歴史的な文書では、写経者がページ途中で筆を替えることが珍しくありません）は、1ページあたりの1つの分類を前提としたルーティングを混乱させる可能性があります。

そして、これは特に満州語です。スタイルのバリエーション間に明確な構造的差異がある文字体系です。互いに曖昧に混ざり合うドメイン（例えば、同じ一般的なペンmanshipの学校に属する複数の人々の筆記体）は、軽量な分類器が区別するのがはるかに難しくなり、自信を持ってルーティングするという前提そのものを損なう可能性があります。

これらの限界は、核心的な結果を消し去るものではありません。論文は、すでに持っているチェックポイントプールからより多くの価値を引き出すための真に巧妙な方法を示しており、「1つの非常に良いモデルを作る」ことが常に正しい問いではないことを思い出させます。時には正しい問いは「すでに構築したもののうち、どれが実はこれに最も適しているのか」であり、実際にそれを発見するためのシステムを構築することです。