ImageNetは14年間、欠陥のある模範解答でモデルを評価し続けてきた

5万問のスペリングテストを想像してみてほしい。採点に使われるのは、ある教師が2012年に大急ぎで一度だけ作成し、二度と見直されることのなかった模範解答だ。さらに、その模範解答はおよそ8問に1問の割合で誤字があり、全体の3分の1の問題では実際には2〜3通りの正しい綴りが存在するにもかかわらず、そのうちの1つしか正解と認められていない状況を思い浮かべてほしい。これこそが、10年以上にわたって画像分類研究の基盤となってきたベンチマーク「ImageNet-1k」の検証セット（validation set）の実態であり、新作論文「Doomed to Re-Annotate, Forever: The ImageNet Story」がテーマとしている問題である。

思わずスクロールする手を止めてしまうような調査結果がある。オリジナルのImageNet-1kのラベルの約12%が誤りであり、画像の33.3%には実際には複数の妥当なクラスが写っており、3.8%には1,000のカテゴリーに含まれる物体が何一つ写っていなかったのだ。このデータセットに対するTop-1精度に基づいて主張されてきた数々の「SOTA（State-of-the-Art）」は、部分的には欠陥のある模範解答によって採点されてきたことになる。そして研究チームがこれを修正したところ、教師あり学習モデルのTop-1精度は最大で1.2ポイント変動し、マルチモーダル大規模言語モデル（MLLM：画像を認識して自然言語で質問に回答できるモデル）に至っては5〜6ポイントも急上昇した。これは単なるノイズではない。これまで人々が「進歩」と呼んできたもののかなりの部分に匹敵する数字だ。

なぜ犬とフリスビーの写真は「単一正解」ベンチマークを破綻させるのか

ImageNet-1kは、モデルに対して各画像につき1,000のカテゴリーリストから厳密に1つのラベルを選択することを求める。コンピュータがそもそも物体を認識できるかどうかを測定するためのシンプルで比較可能な方法を必要としていた2012年当時、この制約には合理性があった。しかし、現実の写真が単一ラベルのルールに従うことなどないため、それ以来ずっと人知れず誤った状態が続いてきた。

たとえば「ラブラドール・レトリバー」とタグ付けされた写真を考えてみよう。もしその犬がテニスボールをくわえていたり、木の枝をかじっていたり、ソファで人の隣に座っていたりした場合、どれが「正解」なのだろうか？ 初期のImageNetのアノテーターは、各画像を基本的に一度しか見ないクラウドワーカーを使い、100万枚もの画像に対して大規模に1つのラベルを選んで次の画像へと進めていった。わずかな曖昧さが100万枚の画像で掛け合わされた結果、生まれたのは「筋は通っているが誤りでもある回答」に満ちたベンチマークだった。論文の目玉である「画像の3分の1が実質的にマルチラベルである」という数値は、現実世界がいかに無理な単一選択に収まりきらないかを率直に物語るカウントに過ぎない。

さらに、より厄介な第2の問題がある。それは、カテゴリー自体に一貫性がないことだ。ImageNetの1,000クラスはコンピュータビジョン向けに入念に設計された分類体系ではなく、言語データベースであるWordNetに由来している。一部のクラスは重複しており（「laptop」と「notebook computer」など）、異常に限定的なものもあれば、後から定まった定義に照らすと何千枚もの画像が「誤った」方法ですでにラベル付けされた後に初めてアノテーターにとって定義が明確になったケースもある。これこそが、本論文が提起するより深い議論である。このようなタスクにおいて、ラベル付けを始める前に完璧なルールブックを作成することは不可能だ。なぜなら、ルールブックの改良を迫るエッジケースは、ラベル付けの作業に深く入り込んで初めて現れるからだ。エラーや定義のギャップは、事前に計画することではなく、実際に作業を進める中で発見されるのである。

なぜチームは「一度の修正で済む」と思い込まずにReImageNetを構築したのか

ImageNetのラベルをクリーンアップする過去の試みの多くは、一度きりの修正（one-shot correction）として扱われていた。エラーを見つけ、修正し、パッチを当てたCSVを公開するというやり方だ。しかし本研究チームは、ImageNet規模のデータセットを1回の作業で正しくアノテーションすることは現実的に不可能であると考え、繰り返し改良とエラーチェックを行うプロセスを中心にパイプラインを構築した。すなわち、アノテーションを行い、ガイドラインが破綻する箇所を見つけ、ガイドラインを改訂し、新しいガイドラインに照らして過去の作業を再チェックし、それを繰り返すというサイクルである。

こうして誕生した「ReImageNet」は、単なる誤ラベルの修正をはるかに超えた成果物となっている。検証セットの各画像に対して、チームは以下の情報を追加した。

• マルチラベルの修正 — 単一ではなく、画像内に存在する妥当なクラスをすべてリストアップ
• 物体のローカリゼーション — ラベル付けされた各物体が画像のどこに位置しているかを特定
• クラス定義の改訂 — 曖昧または重複していたオリジナルのWordNet由来のカテゴリーを厳密に再定義
• セマンティック属性 — 画像にテキストが含まれているか、写真かイラスト/レンダリングか、鏡やガラスの反射越しに写っているか、群衆の中に埋もれているか、1つの物体がフレーム内で明確に支配的か、といったフラグ

このテキスト認識属性には、特に注目する価値がある。ImageNetの写真の一定割合には、瓶のラベル、背景の看板、Tシャツにプリントされた単語など、目に見えるテキストが含まれている。形状を認識するのではなく、実際にそのテキストを「読んでいる」モデルは、画像によって有利に働くこともあればペナルティを受けることもある。しかし、これまで誰もその変数を追跡していなかった。このフラグ付けは、小さな追加でありながら極めて大きな価値を持つ。「なぜモデルはこの画像を間違えたのか」という疑問を、単なる謎から検証可能な仮説へと変えてくれるからだ。

もう1つ際立っているのは、誰がラベル付けを行っているかという点だ。本論文は、適切なツールと組み合わせた人間とLLMの協調作業こそが、この規模のアノテーションにおける現在の品質の上限（クオリティシーリング）を示していると報告している。実際には、LLMが候補ラベルを提案し、不整合を指摘し、属性を事前入力する一方で、人間がレビューを行い、意見の不一致を裁定し、モデルが自信満々に間違えているケースを拾い上げるという役割分担がなされていると考えられる。どちらか一方だけで完結するものではない。これは、現在大規模なアノテーションプロジェクトの人員配置を検討している誰にとっても有用な知見だ。2012年の純粋なクラウドソーシングは多くの見落としを生んだが、今日の純粋な自動化もまた、異なる形で同様に多くの見落としを生む可能性が高いからだ。

注目すべき重要データと、「12%の誤り」が見かけ以上に深刻な理由

その集計結果を分かりやすく整理すると、以下のようになる。

• オリジナルのラベルの約12%が誤り：ボーダーラインや「議論の余地がある誤り」ではなく、表示されている画像に対して完全に間違っている。
• 画像の33.3%がマルチラベル：検証セットの3分の1には明確に複数のImageNetクラスが写っており、従来の単一ラベル形式は正解の回答を不当に減点し続けていた。
• 3.8%には1,000クラスの物体が1つも含まれていない：テスト問題の100問中約4問には、選択肢リストの中に正解が存在しなかったことになる。
• 教師あり学習モデルのTop-1精度は最大1.2ポイント向上：元のラベルではなく、修正後のラベルで採点した場合の上昇幅。
• MLLMは5〜6ポイント向上：これは極めて大きな数字であり、その理由について多くのことを物語っている。

最後の2つの数値のギャップこそが、この問題の本質である。ImageNet上でEnd-to-Endで訓練された現代の教師あり分類器は、ある意味で真の視覚的概念だけでなく、データセット固有の癖まで予測することを学習してしまっている。訓練を通じてオリジナルのラベリングの慣例を吸収しているため、同じ慣例に基づいて採点されると、その不整合はおおむね相殺される。一方、MLLMはImageNet特有のラベリングの癖を模倣するようには訓練されていない。画像を見て、実際に何が写っているかを推論し、従来の単一ラベルの正解データ（Ground Truth）では許容されなかった純粋に正しい答えを返すことが多いのだ。言い換えれば、「MLLMは特化型モデルよりも分類性能が劣る」という言説の少なからぬ部分は、視覚的な理解力ではなく、2012年当時の風変わりなルールブックへの順応度を測っていたに過ぎない可能性がある。

そして、その悪影響はオリジナルのベンチマーク内だけにとどまらない。論文が示すように、ImageNet-1kの問題は、元データをリサンプリングしたり摂動（パータベーション）を加えたりして作られた様々な後続の派生テストセットにも波及している。土台となるラベルが狂っていれば、下流のすべてがそのエラーを受け継ぐことになる。これこそが、本論文がこれを単一データセットのバグではなく「構造的な問題」と呼ぶ根拠である。この分野は、誰も十分に監査していなかった基盤の上に、ベンチマークファミリー全体を築き上げてしまったのだ。

OCRの構築や選定においてなぜこれが重要なのか

OpenOCRの読者はImageNetの分類器を訓練しているわけではないので、なぜこの論文が本ブログで取り上げられるのか疑問に思うのももっともだ。理由は2つあり、どちらも実用的なものだ。

第1に、その方法論がそのまま適用できるという点だ。文書AIやOCRベンチマークには、ImageNetと全く同じ、往々にしてそれ以上に深刻な失敗モードが存在する。スキャンされた請求書には合計行に重なる印影があったり、印刷された項目の横に手書きの修正が入っていたり、2通りの妥当な読み取り方ができてしまう表のセルがあったりする。さらに日本の読者にとっては、英語圏中心の研究であるがゆえに、多くのOCR/VLMモデルにとって最大の難関である縦書きレイアウトや膨大な漢字の処理が評価対象から抜け落ちている点にも留意する必要がある。OCRデータセットの「正解データ（Ground Truth）」は通常、2012年のImageNetと同じ方法で作られている。つまり、1回のパス、1人のアノテーターまたは小規模なチーム、そして誰もエッジケースを見つけていない段階で凍結された定義、という構成だ。本論文は、文書ベンチマークを構築または監査するなら、後からの後始末ではなく最初から反復的な再アノテーションのための予算を確保しておくべきだという強い論拠を示している。大規模な単一パスのラベル付けは、データの少なからぬ割合で確実に間違いを含む。それ以上でもそれ以下でもない。

第2に、そしてOCRエンジンの選定により直接関係する点として、ベンチマークの精度スコアは正解データの信頼性以上にはなり得ないということだ。リーダーボードに基づいてエンジンを選定しているなら、その正解データが実際には何であるか、どのように構築されたか、複数回レビューされたか、そして複数の妥当な読み取り方が存在するケース（3とも8とも取れるかすれた数字や、2通りの区切り方が可能な氏名欄など）が考慮されているかを問う必要がある。2つのエンジン間における1〜2ポイントの精度差は、本論文が教師ありImageNetモデルで示したのと全く同様に、真の能力差ではなくラベルのノイズだけで完全に説明できてしまうことがある。また、単なるテキスト抽出ではなく文書理解モデルを評価している場合、本論文で示された最大の数値には注目すべきだ。すなわち、公正に採点された途端にMLLMの精度が5〜6ポイント跳ね上がったという事実である。単一正解かつ1回きりの作業で作られた正解データに対してマルチモーダルモデルを採点するOCR評価は、ImageNetがそうであったのと全く同じ理由で、モデルの実力を過小評価している可能性が高い。

セマンティック属性の付与も、規模は小さいながらも模倣する価値のある極めて有用なアイデアだ。画像にテキストが含まれているか、写真かレンダリングか、反射越しに写っているかなどをタグ付けすることで、「モデルがこの画像で失敗した」という事象を、謎のまま終わらせずデバッグ可能な分類項目へと変換できる。文書ベンチマークも同様のタグ付けから恩恵を受けるはずだ。例えば、その画像がページを撮影した写真なのかフラットベッドスキャナによるものか、テキストは手書きか印刷か、コンテンツに重なる透かしや印影があるか、といった点である。現在、大半のOCRベンチマークは1つの合算された精度スコアしか報告しておらず、エンジンが実際にどこで苦戦しているのかを特定するための差異を覆い隠してしまっている。

それでもなお残る課題と限界

論文では自らの限界についても率直に語られており、ReImageNetを「解決済みの問題」として扱うのではなく、その限界を真摯に受け止める価値がある。それはタイトル「Doomed to Re-Annotate, Forever（永遠に再アノテーションし続ける運命）」にも端的に表れている。著者ら自身の位置づけとしても、この規模のアノテーションにおいて最終的なエラーフリーの状態に到達することなどあり得ない。ReImageNetはより優れた模範解答ではあるが、完璧なものではなく、著者らの主張通り、定義上の新たなエッジケースが浮上するたびにさらなる修正作業が必要になるだろう。

また、OCRに関心を持つ読者に向けて特に指摘しておくべき適用範囲の限界もある。これはあくまで自然画像の分類ベンチマークであるという点だ。ReImageNetによる修正は、テキスト認識の精度やレイアウト理解、表抽出といった、OCRベンチマークが実際に測定すべき対象には一切触れていない。ここでの関連性はあくまでその方法論と、視覚タスク全般においてMLLMがどのように評価されているかについての示唆に尽きるのであり、OCR特有のデータセットに対する直接的な改善ではない。

さらに、単に新しいラベルに差し替えればよいと考えている人への実践的な注意点もある。ReImageNetでモデルを再評価すると、リーダーボードの順位が変動するということだ。僅差で「最高」とランク付けされていたモデルも、修正されたマルチラベル対応の正解データを用いることで順位が入れ替わる可能性がある。今後、論文やブログ記事、モデルカードでImageNetの精度数値を引用する場合は、その数値がどのラベルセットに基づいているかを明示する価値がある。本論文の公開を境に、「ImageNetでのTop-1」という言葉は暗黙のうちに2つの異なる意味を持つようになり、その差異は無視できるほど小さくはない。

データ、クラス定義、アノテーションガイドライン、分析コードはすべて公開されており（論文内にリンクあり）、これこそが単に引用して楽しむ統計にとどまらず、本作を真に有用なものにしている部分である。次世代のビジョンや文書ベンチマークを構築する人は誰でも、人間とLLMによる適切に反復的なアノテーションパイプラインがどのようなものか、その欠点も含めた具体的な実例を手に入れたことになる。