画像モデルの整列がスペル能力を低下させる場合

画像生成モデルに「OPENと書かれた手書き看板があるパン屋の店舗」と依頼すると、多くのモデルは暖かい照明、ショーウィンドウの菓子、風化したレンガ壁といった描写は見事に再現します。しかし看板を見ると、「OPEEN」となっていたり、文字がどのアルファベットにも似つかない形に崩れていたりすることがあります。

これはランダムな失敗ではありません。今週発表された論文「Manifold Drift in Flow Preference Optimization」は、これが人間の好みに合わせてモデルをファインチューニングする際に生じる特定かつ修正可能なミスの予測可能な結果であると主張しています。同論文が提案するThermoDPOという手法は、あるベンチマークモデルにおいて生成画像のOCR精度を47.5%向上させました。機械がテキストを読み取る能力によって成り立つこのサイトにとって、これは詳しく掘り下げる価値があります。

KINCAID'S HAMBURGERS: City Says Sign Needs To Go Or Popular Burger Joint Faces Daily Fines — by Robert W. Howington via flickr, BY-SA 2.0.

フローマッチングが実際に何をするのか

数学的な詳細は一旦脇に置き、学習プロセスを次のように考えてみましょう。フローマッチングモデルは、純粋なノイズから完成した画像（または音声クリップ、動画のフレーム）へと、滑らかな経路を段階的にたどることで、ランダムなノイズをリアルな画像に変換する方法を学習します。「フローマッチング」は、こうした経路追従型生成器を訓練するための現在の最先端手法であり、Stable Diffusion 3などのモデルの基盤となるエンジンです。

重要な点は、フローモデルが適切に訓練されると、すべての経路の終端が、研究者たちが「データ多様体（data manifold）」と呼ぶ空間内に正確に収まることです。これは、実際の写真、文書、看板、あらゆる現実のものが存在する空間を指します。ランダムなノイズを入力すると、数学的にそのように構築されているため、訓練データに似た出力を確実に生成します。本論文の最初の真の貢献は、これを明確に証明した点にあります。最適なフローマッチングは、真のデータ分布を復元します。ドリフトも、予期せぬ結果もありません。

好意思調が約束を破綻させる場所

ここで人々がつまずくのがこの部分です。動作する画像生成モデルを手に入れた後、現代の多くのパイプラインにおける次のステップはアライメント（調整）です。モデルに出力のペアを示し、「人間はこの方が好きだった」と伝え、重みを好まれる選択肢へとなでるような調整を行います。これは、数年前に言語モデルのファインチューニングを席巻したDPO（Direct Preference Optimization）の背後にある考え方と同じものです。テキストではうまく機能します。しかし、フローマッチングに移植するところで、状況は複雑になります。

問題は、フローモデルの輸送パス（ノイズから画像への経路）に、報酬信号で引っ張りはじめた時点でデータ多様体上に留めておくための内蔵された制限がないことです。論文ではこれを「多様体ドリフト」として形式化しています。好意思更新が、彼らが「ゼロでない法線成分」と呼ぶもの、つまり多様体に沿うのではなく多様体に垂直な方向への成分を持つプッシュを含む場合、モデルの出力は現実的な画像空間から遠ざかります。

多様体を池の表面、モデルの出力をその表面のボートと想像してください。良い更新は、ボートを池のより良い場所に漕ぎ出します。ドリフトする更新は、ボートを水面から引き上げてしまい、もはや池上のボートではなくなります。技術的には報酬関数が望んだ場所には近づいているかもしれませんが、それはもはや池上のボートではありません。報酬モデルが気づかなかった方法で、ただ単に間違っているのです。

最後の節こそが真の核心です。これが報酬ハッキングです。モデルは、「人間はこの方が好きだった」を表すべき指標で高得点を得る方法を見つけますが、実際に人間が好むものを生成しているわけではありません。文字化けした看板のテキストは、この失敗の目に見えやすく、発見しやすい例です。目に見えにくいバージョン、微妙なテクスチャのアーティファクト、解剖学的に奇妙な手、ほぼ正しいが少し違う色などは、発見が難しく、おそらく現在プロダクションモデルで発生しています。

ThermoDPO: 船を水面に留める

著者が提案する解決策は、単純な直感から始まります。危険が既知の良質な実データから逸脱していくことであるなら、最適化を直接それらのサンプルに固定すればよいというものです。ThermoDPOは温度制御された目的関数であり、2つの選択肢間の報酬差のみに基づいて更新が自由に漂うのではなく、各比較ペアにおける好ましい（勝者の）サンプルにペアごとの好意度更新を固定します。

「温度制御」の部分が必要な理由は、この手法に調整ノブを提供するためです。ある設定では、この目的関数は拒否サンプリング微調整（RFT）と同様に振る舞います。つまり、多数の候補を生成し、スコアの高いものを選び、それらで学習を行います。RFTは構築上、データマニフォールドにほぼ留まるため安全ですが、好意度ペア内の多くの信号を破棄してしまいます（低品質な出力を高品質な出力と直接比較せず、単にフィルタリングするだけです）。別の温度設定では、この目的関数はより積極的な好意度最適化手法であるFlowDPOに収束します。FlowDPOは完全な比較を利用しますが、逸脱しやすくなります。ThermoDPOはこの2つの間で連続的に存在し、安全性と信号のトレードオフをどの程度行うかを選択できます。

著者はまた、これがより技術的だが真に有用な部分ですが、彼らの目的関数がマニフォールド距離の点ごとの再構成に基づく代替指標を制御することを示しています。平易に言えば、彼らは生成されたサンプルがデータマニフォールドからどれほど逸脱しているかを追跡するプロキシ測定値を見つけ、その数値を通常の学習の副産物として、後から追加された別のペナルティではなく、チェックしています。

1つの注意点として、低温（安全でRFTに近い領域）では、主にモデルに「このサンプルは問題ない」と伝えるだけで、改善への有用な勾配を与えないため、学習信号が弱くなります。彼らの答えはThermoDPO-weightedです。これは、温度が慎重な側へ下げられた場合でも信号を強く保つために目的関数を再重み化する変種です。これが彼らのベンチマークの大半で勝つバージョンとなっています。

数値と、それらが見た目以上に重要な理由

論文の主なトイベンチマーク（完全な本番モデルのノイズからこの特定の失敗モードを分離するために設計された制御環境）では、評価指標として「StrictScore」と呼ばれるものが使用されており、これは単なる好みにの一致を報酬とするのではなく、真のデータマニフォールドからのあらゆる逸脱をペナルティとするようです。単純なFlowDPOのスコアは0.629でした。FlowDPOに拒否サンプリングを追加したFlowDPO+RFTは0.857に達し、ThermoDPO重み付け版は0.899を記録しました。「好みに適合している」ことと「基盤モデルを壊さずに好みに適合している」ことの間に大きな開きがあることが示されており、これはドリフトが理論的な懸念ではなく、現実的で測定可能なコストであることを示す論文で最も明確な実証です。

この読者層にとってより重要になる結果は、本番規模のStable Diffusion 3.5モデルであるSD3.5-Mでのテストから得られたものです。ここでは、モデルがテキストプロンプトをどの厳密さで従うかを制御する標準的なパラメータである、classifier-free guidance (CFG) を4.5に設定しました。ThermoDPOは、生成された画像のOCR精度を47.5%向上させ、4つの評価指標の平均値を16.0%向上させました。

このOCRの数値をよく読んでください。なぜなら、そこには興味深い意味が含まれているからです。研究者たちは、OCRベンチマークをそのために実行しているわけではありません。彼らは、OCR精度を「モデルが実際に読み取り可能で整ったテキストを生成したのか、それとも幻覚的なぐちゃぐちゃな線を描いただけなのか」の代用指標として使用しています。これは、人間の評価者が一見では見落としやすい（サムネイルでは看板は正常に見える）が、OCRエンジンが容易に検出できる種類の失敗です。なぜなら、OCRエンジンは実際の単語を読み取るか、読み取らないかの二者択一だからです。

OCRパイプラインの構築・評価に携わる人々にとってなぜ重要なのか

ドキュメントAI、合成データ生成、あるいは生成モデルによってテキストが埋め込まれた画像が作成または変換されるパイプラインのいずれかに携わっている場合、本論文は直接的にドキュメント処理について言及していないにもかかわらず、関連性があります。いくつかの具体的な示唆を以下に示します。

• テキストの判読性は、より広範な問題に対する感度が高く、低コストなチェック手段です。 画像生成モデルの評価やファインチューニングを行い、リワードハッキングやマニフォールドドリフトの早期警告信号を得たい場合は、生成された出力をOCRエンジンに通して精度を確認してください。これは、定量化が困難な視覚的品質スコアに問題が表れる前に、より微妙な失敗を捉える「カナリア」の役割を果たします。
• OCRシステム用の合成学習データは、それを生成するモデルの質に依存します。 多くのドキュメントAIチームは、学習セットを拡張するために合成のレシート、フォーム、看板などを生成しています。もしその生成モデルがThermoDPOのようなドリフト感知メソッドを用いて好みを調整（preference-tuning）されていない場合、画像内の合成テキストは見た目よりも微妙に不自然であり、下流のOCR学習を静かに汚染する可能性があります。
• 実際の運用モデル（おもちゃのベンチマークではない）で47.5%のOCR改善が達成されたことは、これがニッチな学術的な修正ではないことを示唆しています。 ThermoDPOや類似の手法が主要な画像モデルプロバイダによって採用されれば、次世代の生成ドキュメント、看板、UIモックアップにおいて、テキストのレンダリング品質が顕著に向上すると期待できます。
• リワードハッキングはLLMだけの問題ではありません。 生成モデル（画像、テキスト、その他）の評価パイプラインを構築するすべての人は、「リワード指標は上昇したか」と「品質は実際に向上したか」を、2つの独立したチェックが必要な別個の問題として扱うべきです。

日本語（漢字と仮名）は縦書きで表記されることが多く、これは多くのOCR/VLMモデルにとって最も困難なケースの一つです。もし対象の論文が英語のみを対象としており、縦書きテキストを無視している場合、それは日本語の読者にとって漢字と縦書きレイアウトがカバーされていないことを意味します。

未解決の課題

注目すべき数値は、この特定の効果を分離するために構築された簡易ベンチマークと、1つの生成モデル（SD3.5-M）における1つのガイダンス設定から得られたものです。これは堅牢な概念実証ではあるものの、実際に展開されているモデルファミリーや設定全体を網羅したものではありません。ThermoDPOが異なるCFG値、より大規模なモデル、あるいはフローマッチングが標準的に採用されつつあり、ドリフトがフレーム間で累積する可能性がある動画生成においてどのように動作するかを問う価値はあります。

温度パラメータも調整が必要なノブであり、論文自体の結果が示すように、これを誤って設定しすぎ（低すぎる）ると学習信号が不足し、それがまさに重み付きバリアントが存在する理由です。これは妥当なエンジニアリング上のトレードオフですが、ThermoDPOが既存の好意思別チューニングパイプラインへのパラメータ不要なドロップイン置き換えではないことを意味します。これを採用するチームは、自らのモデルとデータに適した領域を見つけるために独自の探索を行う必要があります。

それでも、好意思別更新が非ゼロの法線成分を持つときにのみ事前学習済みマニフォールドから逸脱するという核心的な理論的貢献は、連続時間生成モデルにおいてアライメントがなぜ時に逆効果になるのかを考えるための、はるかに明確な枠組みを分野に提供します。これはThermoDPOを特に採用する予定のないチームにとっても有用なメンタルモデルです。フローベースのジェネレーターを好意思別でファインチューニングする際には、更新がマニフォールドに沿って行われているのか、それともそこから外れているのかを問いかけてみてください。この論文は、失敗に名前を与え、初めてそれを測定する方法に近いものを提供しています。