视频场景文本编辑为何频频失效：ViTeX-Bench 如何揭示多重权衡
参考论文： ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing — Xinghao Chen, Xiangbo Gao, Jiongze Yu, Yuheng Wu, Zhengzhong Tu
想象一段 5 秒钟的视频：一个人正抱着一个纸箱穿过走廊。现在，尝试将纸箱上印刷的标签从“FRAGILE”（易碎品）替换为“STORAGE”（储物）。
这听起来像是一个很小的需求。如今的视频生成技术已愈发逼真且可控。然而，要在运动的表面上替换这 7 个英文字母，同时保持视频其余部分完好无损，却交织了当前各类视频编辑器仍难以同时解决的多重难题。
有的编辑器生成的画面精美，字符却全错了；有的编辑器虽然能在单帧中把目标文字拼写正确，但在视频播放时字形却剧烈抖动；还有的编辑器能够完美保持场景及其运动，原文字却纹丝不动。
视频场景文本编辑中的这种种失效，正是 ViTeX-Bench 的研究核心。这是由来自德克萨斯 A&M 大学（Texas A&M University）的 Xinghao Chen、Xiangbo Gao、Jiongze Yu、Yuheng Wu 和 Zhengzhong Tu 于 2026 年 9 月 30 日发布在 arXiv 上的论文。作者构建了一个包含 387 个视频的基准数据集，设计了一套以光学字符识别（OCR）为核心的 13 项指标评估协议，评估了 8 个基线系统，并推出了一款名为 ViTeX-Edit-14B 的开源参考编辑器。
对于从事文档智能（Document AI）、视频理解或视觉编辑的研究与从业人员而言，这篇论文发人深省地揭示了“生成逼真视频”与“进行精准局部修改”之间的巨大鸿沟。
三难困境：为何视频文本替换看似简单实则极难
要理解这项任务，首先需要审视每次视频文本编辑必须同时满足的三个要求：
- 字符级正确性（Character-level correctness）： 模型必须精准渲染出指定的目标字符序列。漏字、错字或是看似合理实则混乱的乱码线条，都会导致编辑失败。
- 时序一致性（Temporal consistency）： 文本必须牢牢附着在底层载体表面上。当镜头平移或物体倾斜时，替换后的文本必须贴合场景的运动与透视变化，同时保持连贯的外观。
- 编辑局部性（Edit locality）： 周围的视频内容应当保持不变。背景几何结构、光照条件以及运动主体在文本替换过程中都应完好无损地保留下来。
在静态图像编辑中，FLUX-Text 等系统已经能够在单帧中渲染出准确的字符。但视频引入了时间维度。逐帧独立编辑缺乏显式的时序耦合，而传播首帧编辑结果又可能引入渐隐衰退或内容漂移。原生视频编辑器虽然建模了运动，却无法保证对精准字符序列的有效控制。
现有的研究资源只解决了该问题的部分环节。通用的视频编辑基准主要衡量指令遵循、视觉质量、时序一致性和内容保留度。早期的视频文本替换工作（包括 STRIVE 等）也已有探索。ViTeX-Bench 的核心贡献在于，它将成对训练数据与冻结的评估协议深度结合，在考察时序质量与场景保真度的同时，跨时间维度对目标文本的正确性进行联合检验。
失败案例大观：当今编辑器如何频频“翻车”
作者在一个包含 157 个真实场景 720p 视频片段（每个片段含 120 帧，帧率为 24 fps）的冻结测试集上，对归属于四类编辑范式的 8 个基线系统进行了评估。其实验结果与典型案例揭示了四种反复出现的失效模式。
1. 稳定但毫无变化（Wan2.1-VACE-14B）
Wan2.1-VACE-14B 是一款基于掩码条件引导的视频编辑器。在论文展示的“将 NEW 替换为 OLD”示例中，它输出的文本区域基本上保持了原视频的样貌。
在整个评估中，该模型取得了 0.000 的序列准确率（SeqAcc）和 0.298 的字符准确率（CharAcc）。然而，其文本时序稳定性（TTS）却高达 0.689。作为参照，未编辑的原始视频在与目标替换文本比对时，CharAcc 也有 0.317，这表明即便编辑完全未生效，也可能存在部分字符重合。
论文并未深究模型保留原文本的底层机制，而是指出了这一现实层面的失效：解码文本的稳定性和较低的时序误差，并不能证明目标文本替换真正发生了。
2. 逐帧正确却时序混乱（FLUX-Text）
如果直接采用像 FLUX-Text 这样的图像场景文本编辑器，并将其独立应用于每一帧，会发生什么？
文本正确性相比若干基于视频的基线有了大幅提升。FLUX-Text 在所有评估的原始编辑器中平均文本正确性名列前茅，取得了 0.528 的 SeqAcc 和 0.737 的 CharAcc。然而，其逐帧独立生成的画面却表现出极其严重的频闪与时序不稳定性。
在利用原视频光流衡量运动补偿像素误差的文本裁剪区域 Warp 指标（Warp_c）上，FLUX-Text 的得分高达 13.01，而未经修改的原始视频仅为 1.27。其文本裁剪区域的闪烁得分（Flicker_c）更是达到了 14.81，约为原始视频（3.68）的四倍。
论文选取的案例生动展现了这一痛点：单帧中的文字清晰可读，但在相邻帧之间其外观却毫无规律地跳变。
3. 画面精美却字符错误（Kling Video 3.0 Omni）
Kling Video 3.0 Omni 代表了指令引导的 Video-to-Video 模型家族。作者通过其公开 Web 界面，使用原视频并配合固定的编辑指令模板进行了测试。
Kling 在所有参评编辑器中获得了最高的平均 MUSIQ 得分，其全帧得分达到 72.23，甚至高于原始视频的 70.33。然而，文本指标却呈现出截然不同的图景：其 SeqAcc 为 0.000，CharAcc 为 0.208。在论文选取的“将 SOC 替换为 COC”示例中，生成结果看似逼真，却并未正确渲染出目标字符序列。
这些结果仅对应于所测试的具体配置与评测子集。但在该范围内，结论十分明确：高感知质量评分并不等同于成功的文本替换。
4. 漂移渐变变形（TextCtrl + AnyV2V）
另一种思路是“首帧编辑后时序传播”：先用 TextCtrl 编辑第 1 帧，再利用以 I2VGen-XL 为骨干网络的 AnyV2V 将编辑效果沿时间轴向后传播。
论文中的精选示例显示，虽然首帧编辑准确无误，但随着视频播放，渲染的文字及周边场景均发生了漂移失真。在整个评估中，该组合仅取得了 0.057 的 SeqAcc 和 0.308 的 CharAcc。
其局部峰值信噪比（PSNR-loc）为 21.08 dB，而局部 LPIPS 达到了 0.225，是所有参评原始编辑器中最高（即表现最差）的平均 LPIPS 距离。这表明，仅仅依靠时序传播，既无法保证持续的文本正确性，也无法有效保留周围背景场景。
ViTeX-Bench 评估协议：三大维度的 13 项指标
为了将上述失效模式转化为可量化的对比，ViTeX-Bench 将 13 项指标划分为互补的三大维度。每个维度均设立了一项主指标（Primary Metric），作者通过帕累托前沿集（Pareto set）而非加权总分来综合对比各项权衡。
+------------------------------------------------------------------------+
| ViTeX-Bench Evaluation |
+------------------------------------------------------------------------+
| Axis 1: Text Correctness Primary: SeqAcc (Exact Substring Match) |
| Does the text read correctly? Diagnostics: CharAcc, TTS |
+------------------------------------------------------------------------+
| Axis 2: Visual & Temporal Primary: Warp_c (Motion-Compensated MAE) |
| Is the video natural/stable? Diagnostics: Warp_f, Flicker_f/c, |
| MUSIQ_f/c |
+------------------------------------------------------------------------+
| Axis 3: Edit Locality Primary: DreamSim-loc (Perceptual Dist.) |
| Does the surrounding scene Diagnostics: PSNR, SSIM, LPIPS |
| stay unchanged? |
+------------------------------------------------------------------------+
维度 1：文本正确性（OCR 维度）
该基准在文本裁剪区域上运行 PaddleOCR 的 PP-OCRv5。根据原文本的 Unicode 区块，每个视频被分流至拉丁文、中文、日文或西里尔文识别器。置信度低于 0.30 的识别文本框会被丢弃，提取出的字符串会经过 Unicode 归一化、大小写折叠以及去除空格和标点符号等处理。
为了减少原文本被遮挡或模糊时的干扰混淆，正确性仅在**原视频可检测帧（source-detectable frames）**上进行打分：即原视频 OCR 识别结果与标注的原文本相似度至少达到 0.5 的帧。在 157 个评估片段中，有 152 个包含此类有效帧。有 5 个片段在此 OCR 准则下未能检出有效帧，因而未计入 SeqAcc 和 CharAcc 的平均值计算；但这并不代表人类肉眼无法辨识其中的文字。
作者使用**子串编辑距离（substring edit distance，记为 $d_{\text{sub}}$）**来比对字符串。与标准的莱文斯坦距离（Levenshtein distance）不同，候选 OCR 字符串中未匹配的前缀和后缀是不计惩罚的。例如，若目标为“BIG”，而 OCR 返回“ABIGA”，由于目标子串完整出现在候选串中，其编辑距离即为 0。
- SeqAcc（主指标，$\uparrow$）： 归一化后的输出 OCR 文本包含目标子串精确匹配的原视频可检测帧的比例。
- CharAcc（$\uparrow$）： 1 减去（子串编辑距离除以目标长度），为近似匹配提供部分得分。
- TTS（文本时序稳定性，$\uparrow$）： 解码输出字符串完全相同的相邻原视频可检测帧对所占的比例。没有符合条件的帧对的视频将被剔除。
所汇报的平均值均在视频级别计算。至关重要的一点是，TTS 衡量的是解码字符串的稳定性而非正确性：未编辑的原视频尽管完全没有执行请求的编辑，其 TTS 得分仍达到 0.760。该得分低于 1 也表明 OCR 自身在跨帧识别时也存在一定的不稳定性。
维度 2：视觉与时序质量（运动维度）
评估时序质量需要将原始的帧间变化与消除原视频运动影响后的残差差异区分开来。
对于 Warp 指标，该基准在原始视频上计算 RAFT 光流，利用该光流将编辑后视频在 $t+1$ 时刻的帧向第 $t$ 帧进行反向变换（backward-warp），然后在有效光流像素上测量平均绝对误差（MAE）。
- Warp_c（主指标，$\downarrow$）： 在包含整个文本掩码轨迹且外扩 16 像素边缘的静态外接矩形框内计算 Warp。在作者的人工评测中，相比全帧 Warp（$\rho = -0.20$），该指标与人类的时序质量评分具有更强的斯皮尔曼相关性（$\rho = -0.40$），证明了其作为时序主指标的合理性。
- Flicker_f / Flicker_c（$\downarrow$）： 未经运动补偿的原始相邻帧间差异。
- MUSIQ_f / MUSIQ_c（$\uparrow$）： 无参考图像感知质量评估指标，分别在全帧或文本裁剪区域上进行测量。
全帧 MUSIQ 计算所有帧；裁剪区域 MUSIQ 则在原视频可检测帧上计算。画面过度平滑或几乎静止的输出也会使 Flicker 和 Warp 指标降低，因此这些低数值必须结合文本正确性和感知质量进行综合解读。
维度 3：编辑局部性（保真维度）
为了衡量可编辑区域之外的改动，该基准构建了一个“仅限局部性”的比对帧：掩码之外保留模型预测生成的像素，而掩码内部则用原视频像素替换预测值。将该重构帧与原视频进行比对。
- DreamSim-loc（主指标，$\downarrow$）： 基于学习的感知距离，用于评估由周围场景引起的差异。
- PSNR-loc 与 SSIM-loc（$\uparrow$）： 基于像素的传统相似度度量。
- LPIPS-loc（$\downarrow$）： 与像素级度量互补的学习型感知距离。
这些指标从不同角度评估了背景保真度。单凭其中任何一项都无法证明文本编辑是否成功。
作者如何构建 230 对成对训练视频
视频场景文本编辑的核心障碍之一在于真实视频中成对数据的极其匮乏。要在同一个表面上获取两段除了文本不同之外其余完全一致的实拍录像极为困难。
作者设计了一套结合模型辅助与人工介入（Human-in-the-loop）的数据处理管线，从 Panda-70M 和 InternVid 视频素材中构建了 230 对成对训练视频。
- 掩码生成（Mask Generation）： 标注人员通过定制的 SAM 3 网页界面标记正负关键点。SAM 3 将掩码在整个视频中时序传播；标注人员进行审查并视需要追加修正。随后使用一个 $25 \times 25$ 像素的椭圆核对掩码进行 3 次膨胀操作。
- 目标文本提示（Target Prompting）： Qwen3-VL-32B-Instruct 读取首帧裁剪图，并提出一个长度大致相当且符合场景上下文的替换目标字符串。其提示词要求规避冒犯性、政治敏感及商标内容，所有候选文本均经过人工审核。
- 背景擦除（Background Erasing）： 采用与 PISCO 一同发布的微调版 Wan2.1-VACE-1.3B 模型 Removal-1.3B，通过抹除文字及其伴随的阴影、高光等特效，生成干净的背景视频。
- 首帧合成（First-Frame Synthesis）： 由谷歌的 Gemini 3 Pro Image（代号“Nano Banana Pro”）重新绘制首帧。编辑失败的样本会进行重试并接受人工复核。随后进行第二次 SAM 3 分割，提取出新的文本图块（$p_1^{\text{new}}$）。
随后，作者通过两条路径将该图块植入擦除后的背景视频中：
- 策略 A（Alpha 混合合成）： 适用于整个片段中文本区域保持静止的场景。该策略最终贡献了 56 对训练数据。
- 策略 B（基于 PISCO 的插入）： 使用微调后的 PISCO-14B 插入模型，以首帧图块为参考，并引入 Depth Anything 3 估算的深度图作为几何先验。该策略贡献了 174 对训练数据。
这些统计数量反映的是数据构建时的方案选择，而非静态与动态视频的严格分类。动态视频全部采用策略 B；静态视频则同时采用两种策略处理，并保留质量更高的一版。
最终产出的成果是 ViTeX-Dataset：包含 387 个原始视频片段，其中 230 个配有成对训练样本，157 个为不含编辑真值的冻结评测输入。在全部 387 个视频中，字体排版形式大约为 23% 印刷体、44% 手写体和 33% 艺术字。原始文本长度在 1–41 个字符之间，目标文本长度在 1–36 个字符之间。
需要指出的是，这些成对编辑样本是经过审查的训练参考数据，并非唯一的真值渲染标准：编辑指令本身并不能唯一确定字体、字重、颜色或光影交互效果。
ViTeX-Edit-14B：利用字形视频锚定动态字符
利用构建的 230 对训练视频，作者基于 Wan2.1-VACE-14B 改造并开源了一个基准参考编辑器：ViTeX-Edit-14B。
除了目标文本嵌入和原视频条件引导外，该模型还引入了一个跟随原视频文字运动轨迹的显式视觉引导。
Source Video (V) + Dilated Mask (M) ---> Video Condition Unit (VCU)
|
Target String (stgt) ---> uMT5-XXL ----------------------+
|
Source Text Region ---> Font Selection + EasyOCR |
---> CoTracker3 Tracking |
| |
Target String ---> Render + Tracked Homography Warp |
---> Glyph Video (Gvid) |
---> Wan VAE Latents |
---> 64 Pooled Glyph Tokens --------+
|
Wan2.1-VACE-14B
|
Edited Video
字形视频管线
- 字体匹配（Font Matching）： Qwen3-VL 检查首帧中的原文本区域，并从精选的拉丁文字体库中挑选一款字形。非拉丁文字符则使用特定文字的默认字体。
- 轨迹跟踪（Trajectory Tracking）： EasyOCR 检测第 1 帧中的原文本四边形，CoTracker3 随后在剩余的 119 帧中对其进行持续跟踪。
- 合成渲染（Synthetic Rendering）： 目标字符串以检测到的边界框两倍分辨率进行黑底白字渲染。根据跟踪到的四边形计算逐帧单应性矩阵（Homography）并对文字进行仿射变换，从而提供与源视频对齐的位置、尺寸和透视信息。
- 条件注入（Conditioning Injection）： 冻结的 Wan VAE 对生成的字形视频（$G_{\text{vid}}$）进行编码。通过 Patch Embedding 以及带有 64 个可学习查询向量（queries）的交叉注意力池化，生成固定长度的字形 Token 组（$E_G$）。
- 网络架构挂钩（Architectural Hook）： 新增的条件交叉注意力层将这些 Token 注入到主干网络第 0、5、10、15、20、25、30 和 35 层的 8 个 VACE 模块中。零初始化的残差输出投影确保了骨干网络在初始化时的输出不受干扰。
训练过程中冻结了主要的 DiT 主干、文本编码器和 VAE，仅更新 VACE 分支及新增的条件模块。基于 Flow-Matching 的监督微调分为两个阶段：先在 $720\text{p} \times 49$ 帧规格下训练 5 个 epoch，随后在 $720\text{p} \times 121$ 帧规格下训练 2 个 epoch。论文报告的算力消耗为在 8 块 H100 80GB GPU 上运行 576 个 GPU 时。
基准评测结果
在所有参评的原生视频编辑器中，ViTeX-Edit-14B 兼具最高的平均 CharAcc 以及原始编辑器输出中最低的可比文本裁剪 Warp 得分：
- CharAcc： 达到 0.688，相比之下 VideoPainter 为 0.619，Wan2.1-VACE-14B 为 0.298，Kling 为 0.208。
- SeqAcc： 为 0.341，在原生视频编辑器中低于 VideoPainter 的 0.364，同时也低于若干逐帧图像编辑器。
- Warp_c： 为 1.53，相比之下 FLUX-Text 为 13.01，Kling 为 2.90，未编辑的原始视频为 1.27。
ViTeX-Edit-14B 与 VideoPainter 的正确性置信区间存在重叠；这仅体现了观测平均值的差异，并不构成严格的两两统计显著性。此外，VideoPainter 的时序指标被排除在排名之外，因其从 8 fps 到 24 fps 的适配采用了线性混合插值（linear frame blending），这改变了测得的残差。
因此，该参考编辑器提供的是一个具有实用价值的均衡基准点，而非在各项指标上全面碾压。
Composite 对照实验：切勿在背景像素上“重复造轮子”
一个颇具实践价值的见解来自于 Composite，这是一种应用于所有编辑器的确定性、免训练后处理包装方案。
部分方法会重建整幅视频帧，而基于局部边界框的编辑器则已经直接从原视频中复制了绝大部分外部像素。Composite 通过以下三步帮助将文本合成与背景复原解耦：
- 使用 $41 \times 41$ 结构元膨胀掩码并减去原始掩码，构建一个环绕带。
- 在 CIELAB 色彩空间中，利用该环绕带内的原图与预测图统计量进行 Reinhard 均值-方差颜色迁移。
- 利用基于距离变换生成的 4 像素羽化边界，将校正后的预测区域平滑融合回原始画面中。
论文报告称，使用 8 个 CPU 线程处理全部 157 个评估视频仅需约 5 分钟。对于 ViTeX-Edit-14B，Composite 使其 PSNR-loc 从 29.08 dB 跃升至 42.95 dB，并将 DreamSim-loc 从 0.024 降至 0.002；SeqAcc 略有变化，从 0.341 微调至 0.345。
在全部 8 个基线上，Composite 均将局部 PSNR 提升至约 43 dB。这一收益的大部分来自于直接还原原始像素，并不代表各底层编辑器本身学会了更好的背景保真能力。
| Method | Family | SeqAcc ($\uparrow$) | CharAcc ($\uparrow$) | TTS ($\uparrow$) | Warp_c ($\downarrow$) | MUSIQ_f ($\uparrow$) | PSNR-loc ($\uparrow$) | DreamSim-loc ($\downarrow$) |
|---|---|---|---|---|---|---|---|---|
| Source Video | — | 0.000 | 0.317 | 0.760 | 1.27 | 70.33 | $\infty$ | 0.000 |
| FLUX-Text | Image | 0.528 | 0.737 | 0.326 | 13.01 | 70.26 | 31.49 | 0.012 |
| TextCtrl | Image | 0.475 | 0.734 | 0.511 | 2.09 | 70.32 | 41.14 | 0.004 |
| RS-STE | Image | 0.354 | 0.626 | 0.534 | 1.81 | 69.57 | 37.00 | 0.007 |
| AnyText2 | Image | 0.280 | 0.633 | 0.382 | 3.95 | 66.68 | 25.56 | 0.043 |
| TextCtrl + AnyV2V | Prop. | 0.057 | 0.308 | 0.257 | 3.97 | 69.41 | 21.08 | 0.073 |
| Wan2.1-VACE-14B | Video | 0.000 | 0.298 | 0.689 | 1.56 | 70.54 | 35.21 | 0.007 |
| VideoPainter | Video | 0.364 | 0.619 | 0.606 | 3.35† | 67.16 | 28.56 | 0.024 |
| Kling Video 3.0 Omni | Video | 0.000 | 0.208 | 0.641 | 2.90 | 72.23 | 21.18 | 0.061 |
| ViTeX-Edit-14B | Video | 0.341 | 0.688 | 0.648 | 1.53 | 69.64 | 29.08 | 0.024 |
| ViTeX-Edit-14B (Composite) | Post | 0.345 | 0.689 | 0.666 | 1.56 | 70.27 | 42.95 | 0.002 |
Source 为未参与排名的参考基准，Composite 为单独报告的后处理对照实验。† VideoPainter 的时序指标未参与排名，因其从 8 fps 到 24 fps 的适配采用了线性混合插值。基线模型的 Composite 正确性仅进行了抽样检查；仅有 ViTeX-Edit-14B 的 Composite 配对数据进行了完整重算。
为何至关重要：对文档智能与 OCR 的现实启示
对于致力于精准视觉文本编辑的研究团队而言，ViTeX-Bench 提供了四点切实经验，但这些结论的推论范围仍需紧扣该基准实际测试的内容；值得注意的是，鉴于该研究目前主要覆盖拉丁字符，面对汉字这种字符量庞大、排版紧凑且笔画繁复的表意文字时，视频文字编辑与 OCR 识别的泛化难度显然会进一步攀升。
1. 在生成式管线中，OCR 可作为评判生成效果的有效工具
ViTeX-Bench 将 OCR 作为生成文本的评估器。Kling 极高的 MUSIQ 分数与为零的 SeqAcc 并存，深刻说明了宽泛的视觉质量绝不能替代对指定字符的准确性检验。
然而，OCR 并非绝对可靠的裁判。在原视频可检测帧上，识别器针对现有原文本取得了 0.851 的精确匹配准确率和 0.966 的 CharAcc。一项对测试方法匿名的盲审人工转录研究显示，人类评分与 OCR 在方法层面的 CharAcc 排名高度吻合（斯皮尔曼 $\rho = 0.95$），但两者的绝对分值存在差距。
实践层面的启示在于：应将字符检验与基准校准、人工抽检相结合。该论文倡导的是以 OCR 为核心锚点的评估体系，而非完全取代其他评测手段。
2. 多指标综合评估至关重要
Wan2.1-VACE-14B 与 FLUX-Text、TextCtrl、RS-STE 和 ViTeX-Edit-14B 一同进入了该基准原始输出的帕累托前沿集——即便其 SeqAcc 为 0。
之所以会出现这种情况，是因为参评的模型中没有一个能在其三大主指标平均分上全面持平或超越的同时，在至少一项指标上实现严格胜出。处于帕累托前沿仅描述了一种权衡状态，并不能证明编辑取得了成功。
如果一项评估仅侧重内容保留度与稳定性而忽略了对目标文本的核验，那么毫无改动的输出反而可能显得极具竞争力。正确性、时序质量与局部保真度必须放在一起综合考量。
3. 将文本合成与背景还原清晰解耦
Composite 对照实验表明，在生成区域周围还原原视频像素能带来巨大的局部保真收益。它为开发者提供了一个具体的对照基准，用以区分单纯的文本合成质量与整帧重建所带来的副效应。
这并不意味着端到端训练效率低下，也不代表图层复合方法普遍更优。颜色迁移、羽化及重编码均可能影响文字的可读性，且论文并未针对每一个基线汇报 Composite 处理后完整的文本及裁剪区域时序得分。
对于局部编辑而言，这项实验给出的结论更为聚焦且极具参考价值：在将保真度的提升归功于模型能力之前，应先厘清原视频像素还原所带来的实际增益。
4. 文本编辑必须置于时序维度中进行评估
一张单帧截图的正确绝不代表视频编辑的成功。FLUX-Text 的结果表明，极高的单帧文本准确率完全可能与巨大的时序残差并存；而时序传播基线则揭示了原本正确的首帧编辑如何在后续时间轴上逐步漂移失真。
这使得全视频维度的评估在当前任务中不可或缺。这也为相关的 OCR 工作流带来了思考，但需要明确的是，ViTeX-Bench 是一项编辑基准，而非针对落地部署中的文档抽取、移动端扫描或识别系统的直接测试。
它所提供的证据，核心聚焦于指定的文本替换能否在保留原始场景的同时，持续保持字符正确与视觉连贯。
坦率审视局限性：仍待攻克的难题
尽管 ViTeX-Bench 建立了一套可复现的评测框架，但作者亦坦诚指出了其局限所在：
- 严重的拉丁字母偏置（Heavy Latin-Script Bias）： 在 157 个评估片段中，有 150 个使用拉丁文字。其余 7 个片段包括 4 个中文、1 个日文和 2 个西里尔文片段。AnyText2 在这一极小规模的混合子集上以 0.295 的 CharAcc 领先；其余 8 个原始编辑器（包括 ViTeX-Edit-14B）得分均低于 0.19。这仅仅是一项有限的诊断性测试，不足以推导出针对各类语种的普遍结论。
- 高难度几何与复杂运动覆盖不足（Difficult Geometry and Motion）： 密集排版、曲面文字、严重遮挡以及剧烈运动等复杂场景在数据集中覆盖较少。在抽样片段内的排名稳定性，并不能证明模型在超出该分布范围时的表现。
- 管线合成训练数据的瑕疵（Pipeline-Generated Training Data）： 生成的 230 对参考数据可能残留渲染缺陷。其 OCR CharAcc 为 0.790，而人类在校准裁剪图上的转录准确率达到 0.917。这些指标既反映了 OCR 本身的局限性，也表明渲染质量仍存不确定性。此外，初始目标文本的重采样以及首帧重试的次数并未被记录。
- 独立验证范围有限（Limited Independent Validation）： 针对测试方法的盲审转录研究仅由一名作者独立完成。三位非作者评审员评估了 70 个输出样本，他们在局部保真度上的一致性（序数 $\alpha = 0.37$）远低于文本正确性或时序质量。独立的掩码重新标注仅覆盖了 12 个片段，且采用了相同的模型辅助管线。
- 训练成本高昂且组件贡献待厘清（Training Cost and Unresolved Components）： 微调需要 576 个 GPU 时，推理过程采用 50 步迭代。论文未汇报推理延迟，亦未证明其在实时场景中的适用性。严格控制变量的组件消融实验以及训练规模扩展研究仍有待未来探索。
ViTeX-Bench 的确立与意义
ViTeX-Bench 为视频场景文本编辑任务提供了专属的数据集和具体的量化评估协议。在所有参评系统中，准确的字符、稳定的时序运动以及对原始场景的保真度，三者依然难以兼得。精美的视频画面可能包含完全错误的文本，而单帧字形准确的画面拼在一起却可能组成一段剧烈抖动的片段。
基于运动对齐的字形条件引导赋予了 ViTeX-Edit-14B 良好的平衡性：在参评的原生视频编辑器中取得了最高的平均 CharAcc，并在原始输出中获得了最低的可比文本裁剪 Warp 得分。但它并没有消除这些核心权衡，也未能明确具体是哪个架构组件促成了各项指标的提升。
论文表示已在 Hugging Face 和 GitHub 上开源了数据集、评估代码以及参考模型权重。代码与模型权重遵循 Apache-2.0 协议；数据集在非商业研究用途下遵循 CC-BY-NC 4.0 协议，其中重新分发的衍生自 InternVid 的部分还须遵循上游的相同方式共享（ShareAlike）约束。整体而言，这些开源资源为探索真实视频中的精准文本替换提供了一个可复现的基石。