ハルシネーションの連鎖を断つ：TOLAはいかにして拡散モデルによるテキスト超解像を1ステップに短縮したか
元論文： TOLA: Text-aware One-Step Latent Adaptation for Diffusion-based Text Image Super-Resolution — Yike Xu, Yue Shi, Yong Guo, Jiezhang Cao
ぼやけたテキストの復元は、画像復元技術において特有の難しさをもたらします。劣化によって切り出された画像（crop）では、復元画像がどれほど鮮明に見えたとしても、かすれたり融合してしまったりした画数が1本あるだけで、読者が認識する文字そのものが変わってしまうことがあります。そのため、テキスト画像の超解像（Text Image Super-Resolution: TSR）では、文字としての同一性（アイデンティティ）を維持しながら視覚的なディテールを復元しなければなりません。
一般的な画像超解像手法は、この2つ目の要件（文字同一性の維持）を想定して設計されていません。見た目のクオリティを向上させることはできても、正しくテキストとして読み取れる状態に確実に復元できるとは限らないのです。この差が最も顕著に現れるのが激しい劣化が生じているケースであり、入力画像側にかすれた細い線や曖昧な文字の手がかりがほとんど残っていない状況です。
拡散モデル（Diffusion models）は、もっともらしい高周波成分のディテールを生成する手段を提供します。しかしテキストにおいて、「もっともらしいディテール」だけでは不十分です。誤った文字がくっきりと鮮明に再構成されたとしても、それは依然として「誤り」に他なりません。
2026年9月24日に公開された論文において、Yike Xu、Yue Shi、Yong Guo、Jiezhang Caoの各氏は、TOLA（Text-aware One-step Latent Adaptation）を発表しました。TOLAは、著者らが拡散モデルベースのテキスト画像超解像において指摘した2つの限界、すなわち「反復的な予測に伴うレイテンシ」と「誤ったテキスト事前分布が画像復元に繰り返し影響を与え続けてしまうリスク」を解決する手法です。論文の実測環境において、TOLAはDiffTSRの1画像あたり平均9.9548秒だった推論時間を0.1319秒へと短縮しつつ、画質評価と認識精度の指標の双方を向上させました。
本稿では、TOLAの論文がこの失敗モード（ハルシネーションのメカニズム）をどのように説明しているのか、その1ステップ処理がどのように機能するのか、そして実験によって何が実証されたのかを解説します。
反復型テキスト拡散モデルにおけるハルシネーションの罠
DiffTSRは、Modulated Multimodal（MoM）モジュールを介して画像拡散モデル（Image Diffusion Model: IDM）とテキスト拡散モデル（Text Diffusion Model: TDM）を連携させています。同論文で報告されている推論プロセスでは、1つの低解像度テキスト画像を復元するために、IDMとTDMをそれぞれ200回評価しています。
この反復には無視できないコストが伴います。NVIDIA RTX PRO 6000 GPU 1基を用いた測定において、同論文はDiffTSRが128 × 512の画像1枚あたり9.9548秒を要し、復元の全軌跡で59,213.970 G MACsを消費すると報告しています。これらの数値は、固定された100枚のテスト画像に対してバッチサイズ1で同期測定された結果であり、ドキュメント処理システム全体をエンドツーエンドで測定したものではありません。
著者らは、レイテンシ以外にもう1つのリスクを指摘しています。劣化画像から推定されたテキスト事前分布（text prior）は誤っている可能性があるという点です。もしその事前分布がデノイジングの過程で繰り返し誘導を行い続けると、徐々に更新される画像予測とテキスト予測が初期の誤りを相互に補強し合い、結果として「鮮明だが誤った文字」を生み出してしまう恐れがあります。論文では、特定の誤った文字がデノイジングの各ステップでどう遷移したかを個別に追跡するのではなく、画像とテキストを反復的に相互洗練させる構造そのものを撤廃するための動機としてこの問題を提示しています。
認識性能の診断評価は、CTR-TSR-Test ×4においてこの問題がどれほどの規模であるかを示しています。論文における正規化TransOCR評価のもとで、全8,089枚の画像に対し、DiffTSRは14,657件の置換を含む計18,469件の文字レベルの編集（誤り）を生じさせました。予測されたテキスト事前分布が誤っていた画像群において、DiffTSRの**画像レベルでの完全一致文字認識精度（exact-match transcription accuracy）**は10.43%にとどまりました。これらの測定値は、不確実な事前分布と低い認識精度の間に関連性があることを示していますが、生じたすべての編集誤りが2つのモデル間のフィードバックループに起因することまでを証明しているわけではありません。
近接する比較対象としてPRISMが挙げられます。PRISMは画像再構成自体を1ステップで行いますが、テキスト事前分布の復元には依然として16回のオイラー（Euler）ステップを要します。これに対しTOLAのアプローチは、テキスト条件の構築を1回のみ行い、推論時にはTDMを完全に省きます。
セマンティクスとデノイジング軌跡の分離
TOLAの中核となるアイデアは、画像予測の前にテキストガイダンスを決定し、残る視覚的エラーは後からクリーンな潜在空間（clean latent space）内で補正できるという考え方です。これら2つの処理は、共有の反復的な軌跡をたどる必要はありません。
その推論パスは次の2つのパートで構成されます。
- テキストガイダンスを1回だけ構築する: 重みを固定した認識器（frozen recognizer）がトークンと各トークンの信頼度スコアを予測します。TOLAはMoMが画像モデルで使用する条件を構築する前に、それらのスコアによってトークン埋め込みに重み付けを行います。
- 画像潜在変数の予測と補正: 適応（adaptation）を施したIDMが1回のノイズ予測を行います。その後、コンパクトな潜在残差補正（Latent Residual Correction: LRC）モジュールが、デコード前にクリーン潜在変数の推定値を調整します。
各入力に対し、TOLAはTransOCR、VAEエンコーダ、MoM、IDM U-Net、LRC、およびVAEデコーダをそれぞれ1回ずつ実行します。TDMは実行されません。
不確実なテキストに対する信頼度重み付け
TOLAは、128 × 512キャンバス上の劣化した低解像度画像 $x_{LR}$ から処理を開始します。重みを固定したTransOCRインスタンスがテキストトークンと各トークンの信頼度スコア $\alpha$ を予測します。文字の正規化と語彙マッピングを行った後、TOLAは埋め込みに対して次のように重み付けを行います。
$$\alpha \odot \text{Emb}(\tilde{c})$$
この要素ごとの積（乗算）により、予測された各トークンの埋め込みが、対応する信頼度スコアによってスケーリングされます。論文では、キャリブレーションや閾値処理を行わない生の信頼度による重み付けが指定されています。したがって、信頼度の低いトークンはMoMへの寄与（埋め込みベクトルの大きさ）が小さくなり、MoMはセマンティックな条件 $C_{cond}$ を1度だけ構築します。
これにより不確実なOCR予測の影響は低減されますが、誤った予測が確実に無視されることが保証されるわけではありません。また、論文でも信頼度スコアがあらゆる誤りを確実に特定できると主張しているわけではありません。視覚的な潜在変数もMoMの条件付け計算に入力され、IDMはノイズが付加された潜在変数とともに低解像度の潜在変数を受け取ります。
アブレーションスタディ（要因分析実験）は、この重み付けの貢献度を具体的な数値で示しています。均一な信頼度値を用いた場合と比較して、完全な信頼度重み付けモデルはTransOCRの完全一致精度を0.5258から0.5401へと1.43ポイント向上させています。PSNRは24.6159 dBから24.8095 dBに上昇し、FIDは16.9615から12.6849へと低下（改善）しました。これらは検証されたモデルとベンチマークにおける結果であり、キャリブレーションされていない信頼度が他のパイプラインでも同様に誤りを防止できることを一般的に保証するものではありません。
ノイズを含む潜在変数からの1ステップ再構成
VAEエンコーダは、劣化画像をスケーリング前の3チャンネル潜在変数 $z_{LR}$ にマッピングします。TOLAはガウスノイズのサンプル $\epsilon$ を1回抽出し、DiffTSRの1,000ステップの線形スケジューリングにおける固定タイムステップ $t = 999$（0始まりのインデックス）でノイズを含む潜在変数を構築します。そのスケジュールの端点は $\beta_0 = 0.0015$ および $\beta_{999} = 0.0205$ です。
$$z_t = \sqrt{\bar{\alpha}t}z{LR} + \sqrt{1-\bar{\alpha}_t}\epsilon$$
これは $z_{LR}$ にノイズを加えたものであり、入力を純粋なノイズで置き換えたものではありません。TOLAは逆デノイジングの過程を辿る代わりに、選択されたタイムステップで $z_t$ を直接構築します。
IDM U-Netは、チャンネル方向に結合された $[z_t,z_{LR}]$ とMoMのテキスト条件 $C_{cond}$ を受け取ります。著者らは公式のCTR学習済みDiffTSRチェックポイントから開始し、その基本重みを固定して、対象となるIDMおよびVAEエンコーダの層でランク4のLoRAアダプタを学習させました。LoRAのスケーリングパラメータは $\alpha=4$ です（ここでの記号はLoRAの設定を表し、前述のトークン信頼度スコアとは異なります）。
適応後のIDMはノイズ $\hat{\epsilon}_{\theta}$ を1回予測します。継承したDiffTSRモデルがノイズを予測する設計であるため、TOLAはクリーンな潜在変数の初期推定値を直接計算します。
$$\hat{z}_0=\frac{z_t-\sqrt{1-\bar{\alpha}t}\hat{\epsilon}{\theta}}{\sqrt{\bar{\alpha}_t}}$$
この計算の後に逆方向の更新ステップは続きません。この推定値はそのまま直接LRCへと渡されます。
潜在残差補正（LRC）による構造的歪みの修正
1回だけのノイズ予測では、特に細い線や輪郭、曖昧な局所的パターンの周辺において、クリーン潜在変数の推定値に構造的なエラーが残ってしまうことがあります。TOLAは、別の反復的な洗練プロセスを重ねる代わりに、軽量な補正モジュールを用いてこれらのエラーに対処します。
LRCはまず、低解像度の潜在変数と初期のクリーン推定値との間の残差を定義します。
$$r=z_{LR}-\hat{z}_0$$
LRCは6チャンネルの結合 $[z_{LR},r]$ を入力とし、補正量 $\Delta r$ を予測します。このモジュールは、6チャンネルから32チャンネルへの $1\times1$ 射影、3つの残差高密度ブロック（Residual Dense Block）を含む1つのResidual-in-Residual高密度ブロック、そして3チャンネルへと戻す $1\times1$ 射影で構成されています。各高密度ブロックは、成長率（growth width）16の高密度結合された5つの $3\times3$ 畳み込みを使用し、残差スケーリングは0.2です。
出力射影層はゼロで初期化されています。そのため学習の開始時点では、LRCは $\hat{z}_0$ を変更せずにそのまま出力します。学習が進むにつれて、予測された補正量によって残差が更新されます。
$$r_{\text{corr}}=r+\Delta r$$ $$\hat{z}{0,\text{corr}}=z{LR}-r_{\text{corr}}$$
補正された潜在変数は、継承されたスケール値 $s=0.18215$ で除算され、固定されたVAEデコーダを通過して $x_{SR}$ を生成します。
LRCのパラメータ数は180,323個です。これにIDMのLoRAパラメータ2,027,520個、VAEエンコーダのLoRAパラメータ250,548個を合わせ、TOLAが最適化して保存する適応パラメータは2,458,391個となります。なお、この数値はパラメータ数であり、ファイルサイズを示したものではありません。推論時には引き続き事前学習済みのバックボーンを使用します。
Degraded image (x_LR)
├──> TransOCR ──> tokens + confidences ──> weighted embeddings ──┐
│ │
└──> VAE encoder ──> z_LR ──> q-sampling at t=999 ──> z_t │
│ │ │
└──────────> MoM <─────────┘ <───────────┘
│
C_cond
│
[z_t, z_LR] ──> IDM U-Net
│ one noise prediction
v
Clean latent estimate
│
LRC residual correction
│
VAE decoder
│
v
Restored image (x_SR)
ベンチマーク結果：速度、忠実度、および独立した検証
著者らは、8,089組の画像ペアからなるベンチマーク「CTR-TSR-Test ×4」および「RealCE-200」の実画像クロップ200組においてTOLAを評価しています。また、50件の実テキスト入力からなる「RT50」を用いた定性的な結果も提示しています。
CTR-TSR-Test（4倍アップスケーリング）
論文で統一された評価プロトコルのもとで、TOLAは報告されたCTR-TSR-Testの全9つの指標においてDiffTSRを上回りました。
- 推論レイテンシ: バッチサイズ1の実測セットアップにおいて、DiffTSRの1画像あたり9.9548秒に対し、TOLAは0.1319秒と、75.5倍の高速化を達成。
- 復元MACs: DiffTSRの軌跡全体における59,213.970 Gに対し、297.497 G。なお、この計算量にはVAEおよび補助テキストモジュールは含まれません。
- PSNR: 20.5958 dBに対し24.8095 dBと、4.2137 dBの向上。
- 画質指標: SSIMは0.6261から0.7235に向上し、FIDは24.9120から12.6849へと大幅に改善。
- TransOCR認識精度: 画像レベルの完全一致精度は0.4645から0.5401に上昇し、正規化編集距離類似度は0.6519から0.7370へと向上。
同表には公開されているPRISMの数値も掲載されていますが、PRISMはBTL-test ×4およびPP-OCRv5という異なるプロトコルを採用していました。報告されている数値は**異なるプロトコル間での参考値（cross-protocol reference）**であり、同一のCTR-TSR-Test評価でTOLAがPRISMを上回ったと単純に数値比較して主張することは誤解を招く可能性があります。
独立したOCRによるクロスチェック
TOLAの研究において、TransOCRは複数の役割を担っています。重みを固定した独立したインスタンスが条件付けと認識損失の教師シグナルを提供し、さらにTransOCR自体が主要な評価指標も兼ねています。そこで著者らは、独立した認識精度の検証としてPaddleOCRを追加しました。PaddleOCRは条件付け、学習、検証、チェックポイントの選定のいずれにも使用されていません。
この検証でも同様の傾向が確認されました。PaddleOCRの完全一致精度は、DiffTSRの0.3970からTOLAでは0.4626へと上昇し、6.56ポイント向上しました。PaddleOCRの正規化編集距離類似度は0.5873から0.6585に向上しています。独立した認識器を用いた検証によって認識性能の向上が裏付けられましたが、これによりデータセットやプロトコルに起因するあらゆるバイアスが完全に排除されたわけではありません。
実画像による評価：RealCE-200とRT50
RealCE-200について、著者らはRealCE検証スプリットから200組のペアクロップを作成しました。低解像度画像と参照画像は、同一のテキストアノテーション座標を用いて、対応する公式の焦点距離13 mmおよび52 mmの画像から取得されています。このデータセットは学習、検証、チェックポイントの選定から除外されています。
TOLAはRealCE-200の全6つの指標において、比較対象の手法をリードしています。DiffTSRの17.6287 dBおよび0.5970に対し、TOLAはPSNR 19.2240 dB、SSIM 0.6199を達成しました。PaddleOCRの完全一致精度はDiffTSRの0.4300に対し、TOLAは0.5100となっています。
RT50は別の目的で用いられています。ここには多様な撮影条件を網羅するように選ばれた50件の実入力（中国語17件、英語17件、数字16件）が含まれています。論文ではこのデータセットに対して定性的な比較を提示しており、ペア参照スコアや実運用環境でのフィールドテストは報告されていません。
アブレーション実験が実際に示していること
論文で実施された対照実験（バリアント比較）により、適応（adaptation）、残差補正、そしてテキスト条件付けの各要素がもたらす寄与を個別に把握することができます。
第一に、1ステップ適応の大部分はLoRAが担っており、LRCは再構成精度の向上に寄与している点です。 重みを固定したままの1ステップパスではPSNR 20.0416 dB、FID 119.4517にとどまります。一方、LoRAのみを適用したバリアントでは24.4220 dB、FID 12.7420に達します。ここにLRCを追加することで、PSNRがさらに0.3847 dB向上、SSIMが0.0127向上し、LPIPSが0.0121低下（改善）します。
LRC単独による認識精度の変化はそれほど明確ではありません。論文の対応のあるデータ分析では完全一致精度にわずかな変化が見られるものの、マクネマー検定（McNemar test）では統計的有意差が認められませんでした（$p=0.584$）。得られたエビデンスからは、LRCが個別の認識精度向上というよりも、画像再構成そのものの改善に貢献していることが強く示唆されます。
第二に、パラメータ数を同等にしたプレーンな補正手法は、検証されたLRC設計よりも性能が劣る点です。 LRCを論文中のベースラインである単純な残差補正に置き換えると、PSNRは24.8095 dBから23.9846 dBに低下し、FIDは12.6849から16.9340へと悪化します。この比較は、性能向上が単にパラメータ数によるものではないことを示しています。ただし、高密度ブロック（Dense Block）設計のどの個別機能がこの差異を生み出しているのかまでは特定されていません。
第三に、選択されたタイムステップが報告指標のバランスを最適化している点です。 固定チェックポイントを用いた推論制御実験において、$t=949$ は $t=999$ よりもわずかに高いPSNR（24.9307 dB対24.8067 dB）を示したものの、LPIPS、DISTS、FIDは悪化しました。また、$\epsilon=0$ に設定した場合もデフォルト設定と比較してPSNRが低下しFIDが悪化しました。著者らは検証した設定の中で総合的に最も優れた結果を示した $t=999$ を採用しています。
ドキュメント処理パイプラインにとっての意義
TOLAは限定的でありながらも有用な前進をもたらしています。すなわち、拡散モデルに基づくテキスト超解像において、論文中の検証で復元精度と認識精度の双方を向上させつつ、画像とテキストの反復処理ループを回避できることを実証しました。ただし、本研究は主に水平方向の英数字や中国語を前提としており、多くのOCRやVLMにとって最大の難関となる日本語特有の縦書きレイアウトや複雑な漢字・かな混じり文への適用性がカバーされていない点には留意が必要です。実験結果からは、以下の3つの設計上の示唆が得られます。
1. 1ステップ復元がレイテンシの計算を一変させる
クロップ1枚あたり約10秒から0.1319秒への測定上の短縮は極めて大きな意味を持ちます。これにより、比較対象となった200ステップのDiffTSRアプローチと比べ、TOLAは実用的なターゲット復元ステージとしての現実味を帯びてきます。もっとも、エンドツーエンドのスループットはクロップ検出、バッチ処理、ハードウェア、データ転送、その他OCRシステム全体の構成に依然として左右されます。論文で測定されているのは固定画像に対するモデル推論時間であり、実際に稼働するドキュメント処理パイプライン全体のものではない点には留意が必要です。
2. 不確実なテキストガイダンスの影響力は抑制すべきである
報告されたアブレーション実験において、TOLAの信頼度重み付け条件は均一な重み付けよりも優れた性能を示しました。これは、テキスト再構成を誘導するにあたり、不確実なOCRトークンの影響を抑えることの妥当性を裏付けています。一方で、劣化画像と認識器の双方が提供できなかった情報を重み付けだけで復元することはできないという、重要な限界も浮き彫りにしています。
3. 軽量な適応状態でも大規模な事前学習モデルを変化させられる
著者らはDiffTSRのバックボーンを再学習させるのではなく、ランク4のLoRAアダプタとLRCの学習を行いました。246万個という適応パラメータの規模は、維持される事前学習済みモデル全体と比較して小さく、4基のNVIDIA RTX PRO 6000 GPUを用いて約55時間で学習されたと報告されています。このアプローチが他チームにとってコスト効率が良いかどうかは、事前学習済みチェックポイントへのアクセス、適切なデータセット、そして各自の学習・推論環境のコストに依存します。
エビデンスが示す限界
TOLAの診断評価は、結果を解釈する上で無視できない限界も示しています。
- 誤ったテキスト事前分布への対処は依然として困難: 予測されたTransOCRの事前分布が正解（ground truth）と一致している場合、TOLAの画像レベルの完全一致認識精度は0.9683に達します。しかし事前分布が誤っている場合、精度は0.2217まで低下します（同条件下のDiffTSRの0.1043よりは高い）。また、オラクル（正解）条件として正解テキストを与えた場合、TOLAの全体的な精度は0.5401から0.6253へと向上します。このギャップは、セマンティックガイダンスの改善余地が大きいことを示していますが、具体的に将来どの認識器やモデルによってその差を埋められるかまでは明らかにしていません。
- 報告されたテストは固定キャンバスと特定のデータセットに依存: 学習および統一ペア評価では128 × 512の画像が使用されています。本論文では任意のドキュメントレイアウトに対する評価は行われておらず、上流のクロップ検出器の精度が結果にどう影響するかについても検証されていません。
- レイテンシ測定結果は特定のハードウェアに依存: 0.1319秒という数値は、RTX PRO 6000 GPU 1基、バッチサイズ1という環境での測定に基づいています。同論文の所要時間比較表には、より高速なフィードフォワード手法も存在しており（たとえばNAFNetは0.0324秒、TSRNは0.0148秒）、復元スコアや認識スコアの違いはあるものの選択肢となり得ます。また、本論文ではCPUやサーバーレス環境での推論コストは報告されていません。
TOLAの研究成果が最も強みを発揮するのは、同研究が直接検証した問い、すなわち「テキスト認識を考慮した拡散復元において、高品質を達成するために画像とテキストの反復予測が本当に必要なのか」という点です。著者らのベンチマークにおいて、信頼度で重み付けされたガイダンスを1度構築し、1回のIDM予測を行い、その潜在残差を補正するという手法は、比較対象となったDiffTSRのアプローチよりも優れた実測結果を、わずか数分の一の推論時間で達成できることを示しました。