当对齐图像模型使其拼写能力变差时

图像生成中的文字难题

让图像生成器生成“一家带有手绘‘OPEN’招牌的烘焙店门面”，许多模型都能完美呈现温暖的灯光、橱窗里的糕点以及斑驳的砖墙。然而，当你仔细看招牌时，上面写的却是“OPEEN”。或者字母逐渐模糊，变成某种不属于任何已知字母表的东西。

这并非偶然的失败。本周发表的一篇论文《流偏好优化中的流形漂移》（Manifold Drift in Flow Preference Optimization）指出，这是模型在微调以匹配人类偏好时，一种特定且可修复的错误所导致的可预测结果。他们提出的修复方案名为 ThermoDPO，在某个基准模型上，将生成图像的 OCR 准确率提高了 47.5%。对于一个依赖机器读取文本能力而生存的网站来说，这值得深入探讨。

KINCAID'S HAMBURGERS: 城市称招牌必须拆除，否则这家受欢迎的汉堡店将面临每日罚款 —— 由 Robert W. Howington 通过 flickr 提供，BY-SA 2.0。

流匹配到底在做什么

暂时抛开数学公式，我们可以这样理解训练过程：流匹配模型通过学习一条平滑的路径，逐步将随机噪声转化为逼真的图像（或音频片段、视频帧），从纯粹的静态噪声一步步演变为成品图像。“流匹配”是目前训练这类路径跟随生成器的领先方案，也是 Stable Diffusion 3 等模型背后的核心引擎。

关键在于，当流模型训练得当时，所有这些路径的终点都会精准落在研究人员所称的“数据流形”（data manifold）内：即那些看起来像真实照片、真实文档、真实标牌或任何真实事物的图像空间。输入随机噪声，它就能可靠地生成与训练数据相似的内容，因为从数学构建上它就是为此设计的。该论文的第一个实质性贡献就是清晰地证明了这一点：最优流匹配能够恢复真实的数据分布。没有漂移，没有意外。

偏好微调如何打破平衡

这里就是容易让人困惑的地方。一旦你有了一个可用的图像生成器，现代流水线中的下一步通常是“对齐”：向模型展示成对的输出，告诉它“人类更喜欢这一个”，并推动其权重向首选选项靠拢。这与 DPO（直接偏好优化）背后的理念相同，该技术在前几年主导了语言模型的微调。它在文本领域效果良好。但将其移植到流匹配（flow matching）时，情况就变得复杂了。

问题在于，流模型的传输路径（从噪声到图像的路线）没有内置的约束机制，一旦你开始用奖励信号拉扯它们，这些路径就会脱离数据流形。论文将这一现象形式化为“流形漂移”（manifold drift）：每当偏好更新具有所谓的非零法向分量时——即推力中有一部分垂直于流形而非沿其切线方向——模型的输出就会偏离真实的图像空间。

想象流形是一个池塘的表面，模型的输出是池塘上的小船。一个好的更新会将小船划到池塘上更好的位置。而一个漂移的更新则会将小船猛地拉出水面，虽然它现在在技术上更接近奖励函数希望它去的地方，但它已经不再是池塘上的船了。它以奖励模型未能察觉的方式变得完全错误。

最后一句才是关键。这就是奖励黑客（reward hacking）：模型找到了一种在旨在代表“人类更喜欢这个”的指标上得分很高的方法，但实际上并没有产生人类真正喜欢的内容。混乱的招牌文字是这种失败可见且易于捕捉的版本。而那些不太明显的版本，如微妙的纹理伪影、解剖结构怪异的手部、颜色几乎正确但又不完全对劲的情况，则更难被发现，并且可能正在生产环境中的模型里发生。

ThermoDPO：让船留在水面上

作者提出的修复方案始于一个简单的直觉：如果危险在于偏离真实、已知良好的样本，那就直接将优化锚定在这些样本上。ThermoDPO 是一种温度控制的目标函数，它将成对偏好更新固定在每个比较对中的优选（获胜）样本上，而不是让更新仅基于两个选项之间的奖励差距自由浮动。

“温度控制”这一部分之所以重要，是因为它给该方法提供了一个调节旋钮。在一个设置下，该目标函数的行为类似于拒绝采样微调（RFT）：你生成一堆候选样本，保留得分较高的那些，并在这些样本上进行训练。RFT 是安全的，并且几乎由构造决定地保持在数据流形附近，但它丢弃了偏好对中的大量信号（它从不直接将低质量输出与高质量输出进行比较，只是进行过滤）。在另一个温度设置下，该目标函数收敛于 FlowDPO，这是一种更激进的偏好优化方法，它使用完整的比较，但更容易发生漂移。ThermoDPO 位于两者之间的连续谱上，让你可以选择在多大程度上用安全性换取信号强度。

作者还展示了这一点，这也是更技术化但真正有用的部分：他们的目标函数控制了一个基于逐点重构的流形距离代理。通俗地说：他们找到了一种代理测量方法，用于跟踪生成样本偏离数据流形的程度，并且他们的训练目标作为正常训练的副作用，而不是作为事后附加的单独惩罚，来保持这个数字在可控范围内。

一个需要注意的地方：在低温下（即最接近安全的、类似 RFT 的状态时），训练信号会变弱，因为你主要在告诉模型“这个样本没问题”，而不是提供有用的梯度来改进。他们的解决方案是 ThermoDPO-weighted，这是一种对目标函数进行重新加权的变体，即使在温度调低至谨慎端时，也能保持信号强度。这是最终在大多数基准测试中获胜的版本。

数据表现，以及为何其实际意义远超表面数字

在该论文的主要玩具基准测试（一个旨在将这种特定故障模式与完整生产模型噪声隔离开来的受控实验环境）中，评分指标被称为 StrictScore，该指标似乎会对任何偏离真实数据流形的行为进行惩罚，而不仅仅是奖励偏好对齐。基础的 FlowDPO 得分为 0.629。在 FlowDPO 之上添加拒绝采样（FlowDPO+RFT）后，得分提升至 0.857。而经过 ThermoDPO 加权后，得分达到 0.899。“仅对齐偏好”与“在对齐偏好的同时不破坏底层模型”之间存在巨大差距，这也是该论文最清晰地证明漂移是一个真实、可衡量的成本，而非仅仅是理论担忧的演示。

对本文读者而言，更具意义的结果来自对 SD3.5-M 的测试，这是一个真实生产规模的 Stable Diffusion 3.5 模型，在无分类器引导（CFG）设置为 4.5 的条件下进行测试，这是一个控制模型遵循文本提示严格程度的标准参数。ThermoDPO 将生成图像的 OCR 准确率提高了 47.5%，并将四项评估指标的平均值提高了 16.0%。

请仔细审视这个 OCR 数据，因为它揭示了一个有趣的现象。研究人员运行 OCR 基准测试并非为了测试而测试。他们使用 OCR 准确率作为“模型是否生成了清晰、格式正确的文本，而非幻觉出的乱码”的代理指标。这正是那种人类评估者在乍看之下容易忽略（缩略图看起来没问题），但 OCR 引擎能轻易捕捉到的故障类型，因为 OCR 引擎要么能读出真实的单词，要么就不能。

为什么这对构建或评估 OCR 流水线的人很重要

如果你的工作涉及文档 AI、合成数据生成，或者任何通过生成式模型创建或转换带有嵌入文本图像的流水线，那么这篇论文与你息息相关，尽管它从未直接提及文档处理。以下是几个具体的启示：

• 文本可读性是一个敏感且低成本的检查点，用于揭示更广泛的问题。 如果你在评估或微调任何图像生成器，并希望获得奖励黑客攻击（reward hacking）或流形漂移（manifold drift）的早期预警信号，可以将生成的输出通过 OCR 引擎并检查其准确率。它就像一只金丝雀，能在更难量化的视觉质量分数出现问题之前，捕捉到更细微的故障。
• 用于 OCR 系统的合成训练数据的质量，完全取决于生成它的那个生成器。 许多文档 AI 团队会生成合成收据、表单和标牌来增强训练集。如果该生成器在进行偏好微调时未使用像 ThermoDPO 这样感知漂移的方法，那么这些图像中的合成文本可能看起来逼真，但实际上微妙地缺乏真实感，这可能会悄无声息地污染下游的 OCR 训练。
• 在真实生产模型上实现的 47.5% OCR 提升（而不仅仅是在玩具基准测试上）表明，这并非一个狭窄的学术修补方案。 如果主要图像模型提供商采用 ThermoDPO 或类似技术，预计下一代生成的文档、标牌和 UI 原型中的文本渲染将显著改善。
• 奖励黑客攻击不仅仅是大语言模型的问题。 任何围绕生成式模型（无论是图像还是文本）构建评估流水线的人，都应将“奖励指标是否上升”和“质量是否真正提高”视为两个需要分别检查的独立问题。鉴于中文等表意文字系统具有字符数量庞大、布局密集的特点，若该论文仅针对英文/拉丁文本，其结论在直接应用于中文字符识别时需谨慎考量。

尚未解决的问题

上述引人注目的数据来自一个旨在隔离这一特定效应的玩具基准测试，以及一个生产环境模型（SD3.5-M）在单一引导设置下的表现。这构成了一个扎实的概念验证，而非针对人们实际部署的模型系列和设置进行的全面扫描。值得探讨的是，ThermoDPO 在不同的 CFG 值、更大的模型或视频生成任务中的表现如何，因为在视频生成中，流匹配（flow matching）也正逐渐成为标准方法，且漂移问题可能会在帧间累积。

温度参数也是一个需要调整的旋钮，论文自身的结果表明，如果设置不当（过低），会削弱训练信号，这正是加权变体作为补丁存在的原因。这是一个合理的工程权衡，但这确实意味着 ThermoDPO 并非现有偏好微调流水线的无参数即插即用替代品。采用它的团队需要进行自己的超参数搜索，以找到适合其模型和数据的正确范围。

尽管如此，其核心理论贡献——即偏好更新仅在具有非零法向分量时才会偏离预训练流形——为领域提供了一个更清晰的方式来思考为什么对齐在连续时间生成模型中有时会适得其反。即使对于不打算专门采用 ThermoDPO 的团队来说，这也是一个有用的思维模型：当你在偏好上微调基于流的生成器时，问问你的更新是沿着流形推动还是将其推离。该论文为这种失败模式命名，并且首次提供了一种接近于衡量它的方法。