打破幻觉循环：TOLA 如何将扩散文本超分辨率压缩至单步
参考论文： TOLA: Text-aware One-Step Latent Adaptation for Diffusion-based Text Image Super-Resolution — Yike Xu, Yue Shi, Yong Guo, Jiezhang Cao
模糊文本对图像复原技术提出了尤为独特的挑战。在退化的图像切片中，即便重建后的图像看起来十分锐利，单个笔画的缺失或粘连也足以彻底改变读者看到的字符。因此，文本图像超分辨率（Text Image Super-Resolution）不仅要恢复视觉细节，更必须确保字符身份的准确性。
通用的图像超分辨率方法并非针对后一项要求设计。它们虽能改善图像的视觉观感，却无法可靠地复原文字的转录内容。这种差异在严重退化场景下尤为致命——此时输入图像几乎无法为纤细的笔画或模棱两可的字符提供足够的判别依据。
扩散模型为生成合理的高频细节提供了一条可行路径。然而对于文本而言，仅仅“看似合理”的高频细节是远远不够的：将一个错误的字符重建得极其清晰，本质上依然是一个识别错误。
在一篇于 2026 年 9 月 24 日发表的论文中，作者 Yike Xu、Yue Shi、Yong Guo 与 Jiezhang Cao 提出了 TOLA（Text-aware One-step Latent Adaptation）。该方法旨在解决作者指出的扩散文本图像超分辨率领域的两大瓶颈：多步迭代预测的高延迟，以及错误文本先验在图像复原过程中反复产生负面引导的风险。在论文的实测配置下，TOLA 将每张图像的平均推理时间从 DiffTSR 的 9.9548 秒大幅缩短至 0.1319 秒，同时在图像质量与识别指标上均实现了提升。
下文将深入解析 TOLA 论文 所揭示的失效机理、其单步方案的运行逻辑，以及各项评测所确立的关键结论。
迭代式文本扩散中的“幻觉陷阱”
DiffTSR 通过调制多模态（Modulated Multimodal, MoM）模块，将图像扩散模型（Image Diffusion Model, IDM）与文本扩散模型（Text Diffusion Model, TDM）耦合在一起。根据其报告的推理路径，为了复原单个低分辨率文本切片，IDM 和 TDM 各自需要执行 200 次推理评估。
这种多次迭代带来了显著的计算开销。在单张 NVIDIA RTX PRO 6000 GPU 上，论文报告 DiffTSR 处理每张 128 × 512 图像需耗时 9.9548 秒，其完整复原轨迹的计算量高达 59,213.970 G MACs。这些数据来自对 100 张固定测试图像在 batch size 为 1 下的同步测定结果；需要指出的是，该指标仅测算模型本身，并非完整文档处理系统的端到端吞吐量。
除延迟之外，作者还指出了另一重核心风险：从退化图像中推断出的初始文本先验可能本身就是错误的。若该先验在去噪过程中反复引导生成，不断演化的图像与文本预测便可能不断强化早期的错误，最终生成一个锐利却彻底错误的字符。论文将这一机制作为摒弃图文迭代交替精炼的核心动机，而非在具体的逐步去噪过程中去追踪某个特定错字的演变轨迹。
在 CTR-TSR-Test ×4 基准上的识别诊断实验揭示了这一问题的严重程度。在 8,089 张图像中，根据论文基于归一化 TransOCR 的评测，DiffTSR 产生了 18,469 处字符级编辑，其中包括 14,657 处字符替换。而在预测文本先验发生错误的图像子集中，DiffTSR 的**图像级完全匹配转录准确率（image-level exact-match transcription accuracy）**仅为 10.43%。这些测量数据证明了不可靠先验与较差识别率之间的强相关性；但需要说明的是，这并不等同于证明了每一处编辑错误均由两模型之间的反馈循环所直接导致。
PRISM 提供了一个相近的参照对比。PRISM 虽然采用了单步图像重建，但其文本先验的恢复仍需经历 16 个欧拉采样步。相比之下，TOLA 的方案仅构建一次文本条件，并在推理阶段彻底移除了 TDM。
将语义解耦于去噪轨迹之外
TOLA 的核心思想在于：文本引导可以在图像预测之前单次生成，而残留的视觉瑕疵则可在随后的纯净隐空间中完成修正。这两项任务完全不必共用一条漫长的迭代去噪轨迹。
其推理路径分为两大部分：
- 单次构建文本引导。 采用冻结参数的识别器预测文本 token 及其对应的逐 token 置信度分数。在 MoM 模块构建图像模型所需的条件特征之前，TOLA 利用这些置信度分数对 token 嵌入进行加权。
- 预测并修正图像隐变量。 适配后的 IDM 仅执行一次噪声预测。随后，轻量级的隐空间残差修正（Latent Residual Correction, LRC）模块对初步估算出的纯净隐变量进行调整，最后送入解码器。
对于每个输入样本，TOLA 仅需分别运行一次 TransOCR、VAE 编码器、MoM、IDM U-Net、LRC 和 VAE 解码器，整个推理过程中完全无需运行 TDM。
针对不确定文本的置信度加权
TOLA 的处理起点是位于 128 × 512 画布上的低分辨率退化图像 $x_{LR}$。冻结参数的 TransOCR 实例负责预测文本 token 以及每个 token 的置信度分数 $\alpha$。在经过字符归一化与词表映射后，TOLA 对嵌入向量进行加权：
$$\alpha \odot \text{Emb}(\tilde{c})$$
该乘法操作利用对齐的置信度分数对每个预测 token 的嵌入进行缩放。论文明确采用未经校准且未设阈值的原始置信度加权。因此，置信度较低的 token 向 MoM 贡献的嵌入模长更小，MoM 据此一次性构建出语义条件 $C_{cond}$。
这种做法减轻了不确定 OCR 预测带来的负面影响，但并不保证错误的预测会被完全忽略；论文也并未声称置信度分数能够万无一失地识别所有错误。此外，视觉隐变量同样参与了 MoM 条件特征的计算，且 IDM 在接收噪声隐变量的同时也会接收低分辨率隐变量作为输入。
消融实验定量展示了该加权机制的贡献。与统一置信度（即均匀加权）相比，完整的置信度加权模型将 TransOCR 完全匹配准确率从 0.5258 提升至 0.5401，增长了 1.43 个百分点；PSNR 从 24.6159 dB 提升至 24.8095 dB，FID 则从 16.9615 降至 12.6849。需要明确的是，这些是在特定测试模型和基准下的表现，并不代表未经校准的置信度在其他流水线中也能普遍避免错误。
基于噪声隐变量的单步重建
VAE 编码器将退化图像映射为未缩放的三通道隐变量 $z_{LR}$。TOLA 采样一个高斯噪声样本 $\epsilon$，并依据 DiffTSR 的 1,000 步线性加噪预设（从 0 开始索引），在固定的时间步 $t = 999$ 处构建加噪隐变量。该预设的端点参数为 $\beta_0 = 0.0015$ 与 $\beta_{999} = 0.0205$：
$$z_t = \sqrt{\bar{\alpha}t}z{LR} + \sqrt{1-\bar{\alpha}_t}\epsilon$$
需要注意，这是 $z_{LR}$ 的加噪版本，而非直接用纯高斯噪声替换输入。TOLA 在所选时间步直接计算出 $z_t$，从而无需逐步经历漫长的反向去噪链条。
IDM U-Net 接收通道拼接特征 $[z_t,z_{LR}]$ 以及来自 MoM 的文本条件 $C_{cond}$。作者以官方发布的 CTR 预训练 DiffTSR 权重为基础，冻结其骨干权重，并在 IDM 与 VAE 编码器的适选层中训练 rank-4 的 LoRA 适配层。LoRA 的缩放超参数设为 $\alpha=4$；注意此处的符号指代 LoRA 设置，与前述 token 置信度分数无关。
适配后的 IDM 仅执行一次噪声预测 $\hat{\epsilon}_{\theta}$。由于沿用了 DiffTSR 的噪声预测设定，TOLA 可直接解析推导出初步的纯净隐变量估计值：
$$\hat{z}_0=\frac{z_t-\sqrt{1-\bar{\alpha}t}\hat{\epsilon}{\theta}}{\sqrt{\bar{\alpha}_t}}$$
计算出该估计值后不再进行任何后续的反向去噪步进，而是直接输入 LRC 模块。
利用隐空间残差修正解决结构性畸变
仅进行一次噪声预测容易在纯净隐变量估计中残留结构性误差，尤其是在纤细笔画、边界轮廓以及局部模糊纹理区域。TOLA 通过引入一个轻量级的修正模块来处理这些误差，从而避免了引入另一套迭代精炼机制。
LRC 首先定义低分辨率隐变量与初始纯净估计值之间的残差：
$$r=z_{LR}-\hat{z}_0$$
随后接收六通道拼接特征 $[z_{LR},r]$ 并预测残差修正量 $\Delta r$。该模块由一个将 6 通道投影至 32 通道的 $1\times1$ 卷积、一个包含三个残差密集块（Residual Dense Block）的 residual-in-residual 密集块，以及一个将通道数重新映射回 3 通道的 $1\times1$ 卷积投影层构成。每个密集块均包含 5 个密集连接的 $3\times3$ 卷积层，增长率（growth width）为 16，残差缩放因子（residual scaling）设为 0.2。
输出投影层初始化为零。因此在训练初期，LRC 会保持 $\hat{z}_0$ 不变。随着训练推进，其预测的修正量将更新该残差：
$$r_{\text{corr}}=r+\Delta r$$ $$\hat{z}{0,\text{corr}}=z{LR}-r_{\text{corr}}$$
修正后的隐变量除以继承的缩放因子 $s=0.18215$，再通过冻结参数的 VAE 解码器，最终生成超分辨率重建图像 $x_{SR}$。
LRC 拥有 180,323 个参数。加上 2,027,520 个 IDM LoRA 参数以及 250,548 个 VAE 编码器 LoRA 参数，TOLA 实际优化并保存的适配参数量仅为 2,458,391 个。需注意该数值代表参数规模，而非磁盘文件大小；推理过程仍需加载预训练主干模型。
Degraded image (x_LR)
├──> TransOCR ──> tokens + confidences ──> weighted embeddings ──┐
│ │
└──> VAE encoder ──> z_LR ──> q-sampling at t=999 ──> z_t │
│ │ │
└──────────> MoM <─────────┘ <───────────┘
│
C_cond
│
[z_t, z_LR] ──> IDM U-Net
│ one noise prediction
v
Clean latent estimate
│
LRC residual correction
│
VAE decoder
│
v
Restored image (x_SR)
基准评测结果：速度、保真度与独立验证
作者在包含 8,089 对样本的 CTR-TSR-Test ×4 基准以及 RealCE-200 的 200 对真实图像切片上对 TOLA 进行了评测。此外，他们还在包含 50 个真实文本输入的 RT50 数据集上展示了定性对比结果。
CTR-TSR-Test（4倍超分）
在论文设定的统一评测协议下，TOLA 在 CTR-TSR-Test 报告的全部 9 项指标上均超越了 DiffTSR：
- 推理延迟： 在 batch size 为 1 的实测环境下，TOLA 单张图像耗时 0.1319 秒，相比 DiffTSR 的 9.9548 秒实现了 75.5 倍的加速。
- 复原计算量（MACs）： TOLA 为 297.497 G，而 DiffTSR 完整轨迹为 59,213.970 G（该统计不包含 VAE 及辅助文本模块）。
- 峰值信噪比（PSNR）： 达到 24.8095 dB，相比 DiffTSR 的 20.5958 dB 提升了 4.2137 dB。
- 图像质量指标： SSIM 从 0.6261 提高至 0.7235，FID 从 24.9120 显著降至 12.6849。
- TransOCR 识别率： 图像级完全匹配准确率从 0.4645 提高至 0.5401；归一化编辑距离相似度从 0.6519 提升至 0.7370。
评测表格中同样列出了已发表的 PRISM 数据，但需注意 PRISM 采用的是基于 BTL-test ×4 与 PP-OCRv5 的不同协议。其报告数值仅作为跨协议参考，若直接断言 TOLA 在同等 CTR-TSR-Test 评测中击败了 PRISM 则有失偏颇。
独立的 OCR 交叉验证
在 TOLA 的研究中，TransOCR 扮演了多重角色：不同的冻结实例既用于提供条件输入，也用于提供识别损失监督，同时 TransOCR 自身还作为核心评测指标。因此，作者引入了 PaddleOCR 进行独立的识别交叉检验。PaddleOCR 完全未参与条件构建、训练、验证或检查点挑选。
这项独立检验得出了高度一致的结论：PaddleOCR 的完全匹配准确率从 DiffTSR 的 0.3970 跃升至 TOLA 的 0.4626，提升了 6.56 个百分点；PaddleOCR 归一化编辑距离相似度从 0.5873 提升至 0.6585。独立识别器的引入进一步巩固了其识别性能的结论，尽管这依然无法完全排除潜在的数据集或评测协议特异性影响。
真实图像评测：RealCE-200 与 RT50
针对 RealCE-200，作者从 RealCE 验证集中构建了 200 对匹配切片。低分辨率图像与参考高分辨率图像分别取自官方配对的 13 mm 与 52 mm 焦距镜头成像，并采用相同的文本标注坐标。该数据集被完全排除在训练、验证和检查点挑选之外。
TOLA 在 RealCE-200 的全部 6 项指标上均优于对比方法。其达到了 19.2240 dB 的 PSNR 与 0.6199 的 SSIM（DiffTSR 分别为 17.6287 dB 与 0.5970）。PaddleOCR 的完全匹配准确率方面，TOLA 达到 0.5100，而 DiffTSR 为 0.4300。
RT50 则承担了不同的评估目标。它包含 50 个真实输入样本（17 个中文样本、17 个英文样本和 16 个数字样本），旨在覆盖多样化的拍摄采集条件。论文在该数据集上展示了定性视觉对比，并未报告配对参考客观评分或工业化场景下的落地测试指标。
消融实验的实质结论
论文设置的对照变体实验有助于剥离并剖析模型适配、残差修正与文本条件各自带来的实际贡献。
首先，LoRA 承担了单步适配的大部分能力，而 LRC 则进一步优化了重建质量。 若采用完全冻结权重的单步路径，模型仅取得 20.0416 dB PSNR 与 119.4517 FID；仅引入 LoRA 的变体即可达到 24.4220 dB 与 12.7420 FID；在此基础上加入 LRC，PSNR 进一步提高 0.3847 dB，SSIM 提高 0.0127，LPIPS 降低 0.0121。
单独由 LRC 带来的识别率变化则相对不甚明确。论文的配对分析显示其完全匹配准确率的微弱变动在 McNemar 检验中并不具备统计学显著性（$p=0.584$）。实验证据表明，LRC 的优势更多体现在图像重建质量上，而非直接带来独立的文本识别增益。
其次，参数量相当的朴素修正网络性能明显弱于测试所用的 LRC 设计。 若将 LRC 替换为论文中的朴素残差修正基线，PSNR 会从 24.8095 dB 跌至 23.9846 dB，FID 从 12.6849 升至 16.9340。该对比证明性能增益并非单纯源自参数量的增加，但该实验并未具体解耦密集块设计中的哪项特定结构特征起到了决定性作用。
第三，所选时间步在各项报告指标之间取得了良好权衡。 在固定检查点的推理对照中，$t=949$ 取得了略高于 $t=999$ 的 PSNR（24.9307 dB 对比 24.8067 dB），但其 LPIPS、DISTS 与 FID 表现均更差；若将噪声设为 $\epsilon=0$，相比默认设置同样会导致 PSNR 下降且 FID 恶化。作者综合各项测试设定，最终选定 $t=999$ 以获得最佳的整体综合表现。
对文档处理流程的启示
TOLA 取得了一项聚焦但实用的进展：它证明了基于扩散模型的文本超分辨率可以摆脱文本与图像反复迭代的机制，同时提升论文测试中的重建与识别指标。从其实验中可以总结出三点设计启示。
1. 单步重建重塑了延迟计算逻辑
每张切片的耗时从近 10 秒骤降至 0.1319 秒，这一幅度是巨大的。相比需要 200 步的 DiffTSR 路线，这种速度使得 TOLA 在实际场景中作为定向复原阶段变得切实可行。当然，端到端的整体吞吐量依然取决于切片检测、批处理策略、硬件配置、数据传输以及 OCR 系统的其余组件；论文所衡量的仅是固定图像上的模型推理开销，而非生产环境中部署的完整流水线。
2. 不确定的文本引导应被赋予更小权重
在报告的消融实验中，TOLA 基于置信度加权的条件表现优于均匀加权。这证实了在引导图像重建时削弱不确定 OCR token 影响的合理性。但这也划分出了一个明确的边界：如果退化图像与识别器本身均无法提供有效信息，加权机制并不能凭空恢复缺失的内容；特别是对于字符集庞大、字形结构复杂且极易因笔画粘连导致混淆的汉字等表意文字，该方法在避免迭代幻觉的同时，其实际效果依然高度依赖前端识别器对不确定先验的判别上限。
3. 极小的适配参数即可撬动大型预训练模型
作者选择训练 rank-4 的 LoRA 适配层与 LRC，而非重新训练整个 DiffTSR 骨干。相比保留下来的预训练大模型，其 246 万的适配参数量非常轻量，且作者报告在 4 张 NVIDIA RTX PRO 6000 GPU 上的训练时间约为 55 小时。对于其他研发团队而言该方案是否更加经济，则取决于能否获取预训练检查点、相适配的数据集以及各自训练和推理设施的成本预算。
当前研究证据的边界与局限
TOLA 的诊断实验同样揭示了在解读其结论时必须注意的若干局限性：
-
错误的文本先验依然棘手。 当预测的 TransOCR 先验与真实标签（ground truth）一致时，TOLA 的图像级完全匹配转录准确率高达 0.9683；而当先验预测错误时，准确率便降至 0.2217（DiffTSR 在同等错误先验组中为 0.1043）。若直接提供真实标签文本作为理想（oracle）条件输入，TOLA 的总体准确率将从 0.5401 跃升至 0.6253。这一差距表明更优质的语义引导仍有巨大提升空间，但论文并未指明未来何种识别器或模型架构能够填补这一鸿沟。
-
报告的测试基于固定画布与特定数据集。 模型的训练与统一配对评测均限定在 128 × 512 尺寸的图像上。论文并未在任意复杂的文档版面排版上进行评测，也未评估上游文本切片检测器的误差会对最终结果产生何种影响。
-
延迟测试结果高度依赖特定硬件环境。 0.1319 秒的耗时数据基于单张 RTX PRO 6000 GPU 且 batch size 为 1 的测试条件。在同一测试耗时表中，前馈型网络的速度更快——例如 NAFNet 耗时 0.0324 秒，TSRN 耗时 0.0148 秒——尽管它们的复原与识别得分与扩散模型存在差异。此外，论文并未报告 CPU 或无服务器（serverless）架构下的推理成本。
TOLA 最有力的结论在于其直接测试的核心命题：基于文本感知的扩散复原是否必须依赖图像与文本的反复预测才能实现高保真度。在作者构建的基准测试中，仅需构建一次置信度加权引导、执行单次 IDM 预测并通过隐空间残差修正，便能以仅相当于对比 DiffTSR 路线几分之一的推理耗时，取得实测更为优异的复原与识别表现。