AIはデータを歪めずに美しいチャートを描けるのか？

「世界のランドマークの高さを棒グラフで描いて、各棒を実際のランドマークのイラストにする」といったプロンプトを想像してみてください。モデルはこれに応えます。ピサの斜塔、東京タワー、ビッグ・ベン、自由の女神、天壇が並んで、それぞれが単なる長方形ではなく小さなイラストとして描かれます。スライドにはとてもよく映ります。

ではデータをチェックしてみましょう。ピサの斜塔は56、東京タワーは133、ビッグ・ベンは96、自由の女神は93、天壇は58です。この画像は実際にこれらの数値をエンコードしているのでしょうか、それともモデルはバランスが良さそうな高さに、ランドマークらしい形の塔を5つ描いただけでしょうか。現在のほとんどの画像生成モデルに対する正直な答えは後者です。アリババグループ傘下のアントグループのチームが発表した新しい論文「ArtChart」は、まさにこの失敗モードを修正することを目指しています。これは主にOCRに関する論文ではありませんが、その扱う問題は、OCRエンジンが毎日直面する問題の鏡像です。つまり、ページ上のピクセルが、主張する意味を本当に持っていると言えるかどうか、という問題です。

「見栄えのいいチャート」が実は2つの難問を紐でつないだものである理由

スライド資料、年次報告書、マーケティングページに載せるチャートは、同時に2つの役割を果たさなければなりません。まず、それは正当なチャートである必要があります。棒グラフの高さは値に比例し、円グラフの扇形は正しい角度で、カテゴリの数は正確で、ラベルは正しいマークに添えられていること。そして、デザインされた外観である必要があります。カラーパレット、テーマ、あるいはメタファー（棒グラフを摩天楼に、円グラフを料理の皿に見立てるなど）が含まれます。人間のデザイナーにこれを依頼すれば、両方を正しく実現できます。なぜなら、彼らは描画を開始する前に数値を理解しているからです。

テキストから画像を生成するモデルに依頼すると、片方しか達成できず、両方を満たすことは稀です。ArtChartの著者たちはパイロット実験を行い、失敗ケースを4つのカテゴリに分類しました。

• 数学的ロジックの歪み: 棒グラフの高さが間違っている、円グラフの角度が間違っている、棒や扇形の数が完全に間違っている。
• テキスト内容のエラー: ラベルやタイトルに文字が欠落している、重複している、意味不明になっている、あるいは完全に間違っている。
• テキストレイアウトの不一致: 値やカテゴリラベルが間違ったマークの隣に配置されている、あるいは棒グラフからずれている。
• ビジュアルスタイルの失敗: スタイル化が強すぎてマークが読み取れなくなる、あるいは弱すぎてチャートが全く「芸術的」に見えない。

彼らの定義は明確です。棒グラフの高さが間違っている、円グラフのセクターの角度が間違っている、数字が幻覚されている、正しい値が間違ったカテゴリの上に配置されている場合、残りの画像がどれほど美しくても、そのチャートは無効です。

芸術家が書き直すことを許されない設計図

ArtChartの解決策は、モデルが数値を独創的に生成することを完全に拒否することから始まります。芸術的な生成が行われる前に、システムは決定論的なチャートコードを使用して、凡庸でテキストのないグレースケールのチャートをレンダリングします。これは、プロットライブラリから得られるような、ピクセル単位で正確な棒グラフの高さや円グラフの角度と同じものです。タイトルもラベルも色もありません。ただの幾何学図形です。

このグレースケールの骨格は、その後、実際の生成を条件付けます。これには、チャート専用のControlNet（構造的な入力画像で拡散モデルを制御するための確立された手法）が使用され、これはQwen-Image-2512という凍結されたテキストから画像へのバックボーンの上に訓練されています。このアイデアは構造的なものです。芸術家にワイヤーフレームを渡し、窓や外装を追加するように指示しますが、間取りはそのままにしておきます。

この仕組みを可能にする詳細は、一般的なControlNet（エッジマップや深度マップ付きの写真で訓練されたもの）は、この特定のグレースケール画像において、長方形の高さが数値であることを理解していないという点にあります。チャートを単なるスタイル化される画像として扱うだけです。チャートレイアウトに特化してControlNetを訓練することで、モデルは幾何学が装飾ではなくデータであることを理解できるようになります。

互いに意見が一致しない3人の審査員によるモデルの指導

幾何学的構造を固定しても、テキストの問題は解決しません。骨格が安定した後、チームは残る主なエラーがラベルの乱れや不一致であることを発見しました。そこで、ControlNetとベースモデルを凍結し、モデルの拡散トランスフォーマーに小さな学習可能なアダプターを接続し、GRPO（Group Relative Policy Optimization）に基づく手法を用いた強化学習を行いました。

この段階では2つの報酬が駆動要因となりました。1つ目は、生成された画像に対してOCRを実行し、検出されたテキストを編集距離を用いて意図されたラベルと照合し、レンダリングされたテキストが正解にどれほど近いかをスコアリングします。2つ目は、ビジョン・ランゲージモデルに、各ラベルが正しいマーク上に、正しい位置に配置されているかどうか（単に文字列の綴りが正しいかどうかだけでなく）をチェックさせるものです。

さらに、人間の好みデータで学習されたモデルであるPickScoreに基づいた美観のための3つ目の報酬を追加しましたが、予測可能な問題に直面しました。OCRの精度を強く追求すると、モデルは安全策を採ります：地味なフォント、硬直した配置、退屈な構成です。一方、美観を追求すると、テキストが再びずれたり乱れたりし始めます。3つの報酬をすべて平均して1つの学習信号にすると、すべての面で平凡な妥協点が生じ、これは彼らの実験で直接確認されました：単純にブレンドされたモデルは、テキストで9.49、レイアウトで7.51、美観で7.61というスコアを記録し、いずれも単一の報酬のみで学習したモデルが単独で達成できる値を下回っていました。

彼らの解決策は、OPDと呼ぶ蒸留スキームです。OCR精度のみを追うモデル、レイアウトの正確性のみのモデル、美観のみのモデルという3つの専門モデルをそれぞれ訓練し、各々が頭打ちになるまで推し進めます。その後、ルーティングによってオンザフライで選択された、特定の訓練例に最も適した専門モデルを模倣するように、単一の最終モデルを訓練します。これは「3つの意見を平均する」のではなく、「この特定のケースに実際に精通している専門家から学ぶ」というアプローチです。

その成果は、彼らの数値に明確に現れています。OCR専門モデルはテキストで9.55を達成します。レイアウト専門モデルはレイアウトで7.71を達成します。美観専門モデルは美観で7.69を達成します。最終的な蒸留モデルは、テキストで9.54、レイアウトで7.67、美観で7.61というスコアを記録し、単純なブレンドが生み出した中間地点に甘んじるのではなく、すべての3つの軸において、各専門モデルの天井値にほぼ迫る性能を発揮しました。

採点者が解答用紙を読めないようにして数学を採点する

これらを検証するために、チームは ArtChart-Bench を構築しました。これは2,000のプロンプトで構成され、英語と中国語で均等に分割されています。4つのチャートタイプ（縦棒、横棒、円、面積）と、ミニマルから装飾的なものまでを含む15のスタイルファミリーをカバーしています。プロンプトは意図的にストレステストされています。カテゴリ数は2から10まで、値のシーケンスは主に無秩序ですが、時には意図的に増加、減少、またはすべて等しいもの、そして値の大きさは簡単な大きなギャップから、うっかりしたレンダラーを混乱させるために設計されたほぼ同一またはゼロに近い数字まで範囲を広げています。

採点は6つの軸で行われ、それぞれ10点満点で評価されます。数学的論理、テキストの正確性、テキストのレイアウト、美学、指示の遵守、そして読みやすさです。

最も巧妙な部分は、数学的論理をどのように採点するかです。ビジョン言語モデルに「このチャートは正しいように見えますか？」と聞くことは、モデルが印刷されたラベルを読み、画像がそれらに一致していると仮定するだけで簡単にゲーム化できるためです。そのため、まずOCRを実行し、検出されたすべての文字の上に白いボックスを描き、その後、テキストのない画像をジャッジに渡して、マークのみから幾何学的な比率を推定させます。棒が「42」とラベル付けされていても、描画されるべき高さの半分しかない場合、この方法はそれをキャッチします。なぜなら、ジャッジはラベルを見ないからです。テキストの正確性は、一致したテキストユニット上のF1測定値として別々に採点され、レイアウトは正しいマークと位置に正しくバインドされたラベルの割合として、読みやすさは過度に装飾された illegibility と装飾不足の単調さの両方をチェックするものとして評価されます。

数値が実際に示した内容

チャート特有の支援なしで通常のテキストから画像への変換モデルを実行すると、数学的論理スコアは10点中2.87点になります。汎用的な市販のControlNetを追加するだけで、モデルに構造の枠組みを提供するだけでスコアは7.48に跳ね上がります。グレースケールのチャートレイアウトで学習したチャート特有のControlNetに切り替えると、スコアは9.06まで上昇します。これはパイプライン全体で最大の改善であり、その要因は条件付けモジュールに「灰色の長方形が数値をエンコードしている」ことを教えたことに完全に起因します。

テキストとレイアウトも同様の傾向を示しています。レンダリングされたチャートと指示をモデルに提供する編集ベースラインでは、幾何学的構造は多少改善されますが、テキストの品質にはほとんど影響がありません。完全なArtChartパイプラインは、数学的論理9.05、テキスト精度9.54、レイアウト7.67、美しさ7.61、指示遵守9.25、読みやすさ7.54を達成し、テストされたすべてのベースラインをすべての軸で上回りました。

チャートタイプ別の内訳を見ると、より正直な結果がわかります。棒グラフと横棒グラフは簡単なケースで、読みやすさスコアはそれぞれ9.27と8.21です。面積グラフは数学とテキストのスコアを高く維持しますが、読みやすさは6.64に低下し、塗りつぶされた領域をイラスト的な形状に変換すると、基礎データが正確であっても読み取りにくくなるようです。円グラフはすべてのカテゴリで最も難しく、数学的論理は8.65、読みやすさはわずか6.05で、グリッド上の棒よりも円の周囲に配置されたセクターの角度とラベルは単純に許容範囲が狭いのです。

OCRの構築・選定においてなぜ重要なのか

本論文は画像を生成するものであり、読み取るものではないため、一般的なOpenOCRのベンチマークとして直接的な競合とは見なされない。しかし、根本的な課題は逆方向に実行された同じ問題である。OCRエンジンが画素の列が主張する意味を本当に意味しているかを検証するのと同様に、ArtChartはそれらの画素が存在する以前に、その整合性を保証しなければならない。両者の成否は同じ問いにかかっている：この画像内のテキストを信頼できるか。

ここで、文書やチャートの画像を扱う上で直接的に有用な点が2つある。第一に、4つの失敗分類（誤った幾何学構造、誤ったテキスト、誤ったラベル結合、読み取り不可能なスタイル）は、年次報告書やマーケティング資料から抽出されたスタイリッシュなインフォグラフィックに遭遇した瞬間、OCRやドキュメントAIパイプラインに対して実行するチェックリストとして真に価値がある。第二に、「幾何学構造を評価する前にテキストをマスクする」という手法は、評価作業全般で採用する価値がある：チャートからシステムが正しい値を抽出したかを確認する際、ラベル自体が誤っている可能性があるため、評価者がそれらを見ないようにする必要がある。

さらに長期的な視点もある。既知かつ正確な基礎データと検証済みのラベルテキストを持つチャートを生成できるパイプラインは、チャート理解やチャートOCRモデルのためのラベル付き学習・評価データを、低コストで大規模に生成できる。これは、芸術的なインフォグラフィック生成自体がニッチな用途にとどまっても、実質的な副産物となる。日本語のOCRやVLMモデルにとって最も困難なケースの一つである、縦書きの日本語（漢字＋仮名）を本論文がカバーしていない点は、日本語読者にとって重要な制限事項であり、実際の日本語文書処理では追加の対応が必要となる可能性がある。

正直なところ

著者たちは、この手法がまだ到達していない領域について率直に述べている。ArtChart は依然として明示的なグレースケルトンのスケルトンに依存しており、この論文では、プレーンなテキストから画像への変換モデルが、テキストプロンプトのみから正しいチャートの幾何学構造を推論できることを示していない。ベンチマークは、4種類のチャートタイプにおける1次元のカテゴリカルデータのみを対象としており、グループ化、積み上げ、マルチシリーズ、散布図、レーダーチャート、およびダッシュボードレイアウトなど、実際のビジネスレポートで頻繁に登場するものは将来の課題として残されている。また、評価がOCRおよびビジョン・ランゲージモデルを審査員として頼っているため、これらの審査員が独自のバイアスをスコアに持ち込む可能性がある。

補足すべき点として、抄録では「クローズドソースのAPIモデル」との比較を約束しているが、論文の結果表では、ArtChart はオープンな Qwen および FLUX ファミリーのベースラインとのみ対比されている。GPT-Image と Nano というモデルはパイプラインの早い段階で登場し、トレーニングターゲットの生成には使用されているが、最終的なリーダーボードの行としては登場しない。さらに、バイリンガルベンチマークは英語と中国語のみを対象としており、他の文字体系においてこれがどのように機能するかについてはまだ何も述べていない。これらの点は、論文が実際に示していること、すなわちチャート固有の構造的制約と競合する報酬を調整するための蒸留スキームが、ナイーブなテキストから画像への変換および一般的な ControlNet アプローチを大幅に上回るという事実を損なうものではない。単に「芸術的なチャート生成、解決済み」という宣言は、いくつかのベンチマーク拡張を待っているだけであることを意味している。