3つのAIモデルが自らのOCRネットワークを一から設計した
元論文: LLM-Driven AutoML for Cross-Lingual Handwritten OCR: Closed-Loop Neural Architecture Search with GPT-5, GPT-4o, and Claude Sonnet 4 — Mobina Kashaniyan, Amirhossein Ghassemi, Nasser Mozayani
研究チームが手書き文字認識器を構築する一般的な方法を想像してみてください。誰かが20件の論文を読み、畳み込みバックボーンを選び、アテンション層を追加するかどうかについて研究室の仲間と議論し、一晩かけてハイパーパラメータの探索を実行し、そのループを数週間繰り返します。次に、それらをすべてスキップする状況を想像してください。GPT-5にアラビア語、ペルシャ語、英語の手書き文字サンプルの山とトレーニングスクリプトを渡し、ネットワークを自ら設計し、トレーニングし、スコアを確認し、再設計を繰り返させます。その過程でアーキテクチャに人間が一切関与することはありません。
イラン科学技術大学の研究者による新しい論文は、まさにこれを達成しました。思考実験としてではなく、GPT-5、GPT-4o、およびClaude Sonnet 4の3つのモデルを用いた270回の個別の実行としてです。それぞれが独立した「建築家」として振る舞い、ニューラルネットワークを提案し、トレーニングを観察し、結果を読み取り、次の試みに向けてコースを修正しました。レイヤー数を人間が選ぶことも、学習率を人間が調整することも、アラビア語の連結文字やペルシャ語の追加の点字記号に対する言語固有の前処理を人間が記述することもありませんでした。
彼らが作成した最良のモデルは98.1%の精度を達成しました。270回の全実行における平均は93%以上を維持しました。そして、生成されたネットワークは推論を41〜44ミリ秒で実行し、ベンチマーク表だけでなく、実際の製品でも使用できる速度でした。それが真に新しい機能なのか、それともAutoMLツールですでに行われていたことを華やかに実行する方法なのかは掘り下げる価値がありますが、その答えはそこから何を学ぶべきかを変更します。

なぜアラビア語、ペルシャ語、英語の手書き文字は同じルールに従わないのか
手書き文字認識は印刷されたテキストを読むよりもすでに難しく、複数言語にわたる手書き文字認識はその難易度をさらに高めます。英語の筆記体は書き手によって大きく異なりますが、少なくとも文字は独立しており、ほぼ直立した固定された形状をしています。一方、アラビア語とペルシャ語は、英語の手書き文字で訓練されたモデルが依存する多くの前提を破ります。
両方の文字体系は右から左へ書き、ほとんどの文字は単語の始まり、真ん中、終わりにあるかどうかに応じて形状が変化します。これは、隣接する文字と単一の流れるような筆跡としてつながるためであり、離散的なブロックではありません。文字の上下にある小さな点が、ある文字を別の文字と区別する唯一の要因であることが多く、わずかな汚れや急いで書いた筆跡によって、bがtに変わってしまうこともあります。ペルシャ語はアラビア語の基礎アルファベットの上に独自の追加文字と記号の規則を加えており、アラビア語用に調整されたモデルがそのまま適用されるわけではありません。
伝統的に、これほど異なる3つの文字体系を処理するには、3つの別々のパイプラインが必要です。異なる前処理、異なる分割ロジック、場合によっては全く異なるモデルファミリーです。これは維持すべきインフラストラクチャが多く、まさに「1つのモデル、3つの文字体系、手動調整なし」がこの論文で興味深い主張であり、単なる精度の数値ではない理由です。
AIに独自のニューラルネットワークを設計させる実際の仕組み
研究者たちが記述するセットアップはクローズドループ(閉じたループ)となっており、各ステップの出力が人間の介入なしに次のステップの入力に直接フィードバックされる仕組みです。その構造は以下の通りです。
- LLM(大規模言語モデル)にタスクの説明(対象言語の手書き文字を認識する)を与え、ニューラルネットワークのアーキテクチャをコードとして提案させる。
- そのアーキテクチャを手書き文字データセットで訓練する。
- 訓練結果(精度、損失、あるいはレイテンシなど)を同じLLMにフィードバックする。
- LLMがその結果を読み込み、問題点を修正したり精度をさらに高めたりするために改訂されたアーキテクチャを提案する。
- これを繰り返す。
これはニューラルアーキテクチャサーチ(NAS)として知られる手法で、通常はアルゴリズムがネットワークの数千もの小さな変異を機械的に試し、最もスコアの高いものを選択することで機能します。今回の異なる点は、提案を行う「アルゴリズム」が、目的特化型のサーチ手順ではなく、次に何を試すべきかについてより自然言語に近い形で推論を行う汎用言語モデルであることです。ランダムにアーキテクチャを変異させる遺伝的アルゴリズムと、直近の3つの実験結果を見て「追加したプーリング層で精度が落ちたね、代わりに畳み込みを広くしてみよう」と言う同僚の違いを想像してみてください。前者は大規模な盲目的な試行錯誤です。後者は推論、あるいは少なくとも推論のようなテキスト生成に近いものです。
3つの異なるモデルで270回もこれを回したことが、この論文を単なる逸話以上のものとしています。これは、一度だけ成功してその幸運な実行について論文を書くのではなく、ループがある程度一貫して機能することを示す証拠です。
しかし、重要なのは、この270回の実行が3つのモデルと3つの言語間でどのように分割されたのか、実際に発見されたアーキテクチャがどのようなものなのか、データセットの規模はどのくらいだったのか、あるいは同じタスクでGPT-5の提案がClaude Sonnet 4と直接比較するとどうなるのか、といった詳細が抄録には明記されていない点です。これらは、あるモデルが他のモデルよりも著しく優れた「建築家」かどうかを判断するための詳細ですが、現時点ではその比較は公開されていません。
数字で見る成果:平均93%、最高98.1%、そして44ミリ秒の即応性
プロセスを抜きにして、最終的に得られた結果に注目してみましょう。270回の独立した実験における平均テスト精度が93%を超えるという事実は、手選りされた最高値ではなく、堅実な下限を示しています。これは、クローズドループが時折金鉱を見つけるのではなく、確実に実用的な解に収束することを示唆しています。
最高値の98.1%という数字は引用されやすい数値であり、特に多言語の手書き文字という分野では真に強力な結果です。印刷文字のOCRシステム(すでに成熟しており、非常に高精度です)が競争にすら乗り出さないこの分野では、手書き文字は全く異なる問題だからです。文脈として、人間が不慣れな文字体系で汚い手書き文字を読む際にも、間違いは起こります。人間がアーキテクチャに一切関与することなく、完全に自動化されたパイプラインがこの範囲に到達することは、真の成果です。
レイテンシの数値は、この論文の抄録全体の中で最も実用的に重要な詳細かもしれません。98%のスコアを出すが画像ごとに2秒かかるモデルは、研究上の興味深い対象に過ぎません。一方、41〜44ミリ秒で実行されるモデルは、APIの背後に配置し、ユーザーが応答を待っている間にスキャンされたフォームを処理するのに十分な速さです。これは「印象的なデモ」と「実際にリリースできるもの」の違いです。
欠けているのは、言語別およびモデル別の内訳であり、これは確かに大きな欠陥です。平均が93%を超えるということは、3つの言語がその数値の周りに密に集まっていることを意味するかもしれませんし、英語が平均を押し上げ、アラビア語やペルシャ語が遅れていることを意味するかもしれません。その内訳がなければ、「多言語」という主張が均等に成り立っているのか、ある特定の文字体系が重い負担を担っているのかを判断できません。

OCRの構築や選択に関わる全ての人にとって、なぜこれが重要なのか
OCRエンジンの製品評価を行っている場合、ここで強調すべき見出しは「AIが手書き文字で98%の精度を達成できる」ことではありません。むしろ、新しい文字体系やドメイン向けの専用認識器を構築するプロセスの初期段階(ブートストラップ)のコストが低下しつつあるという点です。現在、良いツールがまだ開発されていない言語の手書き認識器が必要だとしたら、それは研究プロジェクトになります:データの収集、その文字体系に精通した人材の雇用、数ヶ月にわたるアーキテクチャの反復改善。このようなクローズドループは、汎用モデルが初期のアーキテクチャ探索を行い、その後人間が微調整を行うことで、最初の試作が数ヶ月ではなく数日で完了する未来を示唆しています。
ただし、「AIが独自のOCRモデルを設計する」という機能を製品として期待する前に、いくつかの点を客観視しておく価値があります:
- これはアーキテクチャ探索であり、出荷済み製品ではありません。 本論文は、LLM(大規模言語モデル)がネットワーク設計を提案し、改善できることを実証しています。しかし、これらのモデルがノイズの多い実際のスキャン、コーヒーのシミ、低解像度のスマートフォン写真、あるいはキュレーションされたベンチマークではなく実際のユーザーから見える手書き文字の質の多様性をどのように処理するかについては何も述べていません。
- LLMなしでも、クローズドループのAutoMLは長年存在していました。 ニューラルアーキテクチャ検索(NAS)は新しい概念ではありません。新しいのは、検索アルゴリズムを言語モデルに置き換えた点です。この置き換えが、既存のNAS手法よりも意味的に優れたアーキテクチャを生み出すのか、それとも人間が読み解き・推論しやすいアーキテクチャを単に生み出すだけなのかは、抄録からはどちらとも断定できません。
- 3言語は、本番システムが求める「多言語対応」ではありません。 実際のドキュメントパイプラインでは、数十の文字体系、多言語混在ページ、印刷テキストやスタンプと重なる手書き文字などが見られます。アラビア語、ペルシャ語、英語は意味があり、真に困難なテストセットですが、汎用OCR製品が処理しなければならない全範囲を代表するものではありません。
日本語(漢字+仮名)は縦書きで表記されることが多く、これは多くのOCR/VLMモデルにとって最も難しいケースの一つですが、本論文が英語のみを対象としており縦書きテキストを無視している場合、その省略は日本語読者にとって漢字と縦書きレイアウトがカバーされないことを意味します。
当社のプラットフォームは、OCRエンジンを頭対頭で比較することに焦点を当てているため、実用的な教訓は、明日の本番環境でこれを期待するのではなく、この分野を注視することです。クローズドループのLLM駆動アーキテクチャ検索が、この3言語やクリーンなベンチマークデータを越えて一般化すれば、サービスが不十分な文字体系において競争力のある精度に達するまでの時間を短縮できる可能性があります。それは研究抄録としてではなく、比較表の新しいオプションとして現れる種類の開発です。
論文がまだ教えてくれないこと
寛容に読めば、これは汎用LLMが手作業で構築されたNASアルゴリズムに代わり、人間のアーキテクトなしでそれなりの結果を得ることができるという、真に巧妙なデモンストレーションです。懐疑的に読めば、それは誰にでも主張を検証・再現させる詳細が欠如した、抽象的な内容です。
データセットのサイズや出所が不明ですが、これは手書き文字認識において極めて重要です。ベンチマークがクリーンな単一書き手のサンプルを使用するか、実際の製品が直面するようなmessyな複数書き手のセットを使用するかによって、精度の数値は大きく変動するためです。270回の実験が3つのモデルと3つの言語間でどのように分割されたかも不明なため、GPT-5がアーキテクチャ設計者としてClaude Sonnet 4を上回ったのか、あるいはある言語が平均を引き下げ、他の言語がそれを支えたのかを判断する方法はありません。既存のNAS手法や手作業で設計された手書き文字認識器との比較もないため、「これは以前のものより優れている」という主張は、自然な読み取り方ではあるものの、要約が実際に主張していることではありません。また、計算コストについても議論されていません。LLMの呼び出しに先立って270回の完全なトレーニングループを実行することは無料ではなく、このアプローチが商業的に意味のある効率性を持っているかどうかは、私たちに提示されていない数値に完全に依存します。
それらの欠如が、興味深い部分を消すわけではありません。各新しいタスクごとに特注の探索アルゴリズムを構築するのではなく、汎用LLMを反復的なアーキテクチャ設計者として使用することは、今後のNASのあり方における真の転換点です。ただし、強力な平均精度と高速な推論数値は、評価の始まりであり、終わりではないことを覚えておく価値があります。このアプローチを採用するよう本番チームを説得し得る論文は、データセットの詳細、言語別の内訳、そしてすでに使用されているNAS手法との一対一の比較を含むものです。そのバージョンが登場するまでは、これは確立された結果ではなく、有望な概念実証です。