動画シーンテキスト編集はなぜ依然として破綻するのか：ViTeX-Benchが明らかにするトレードオフ
元論文： ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing — Xinghao Chen, Xiangbo Gao, Jiongze Yu, Yuheng Wu, Zhengzhong Tu
廊下で誰かが段ボール箱を運んでいる5秒間の動画を思い浮かべてほしい。ここで、箱に印刷された「FRAGILE」（取扱注意）というラベルを「STORAGE」（保管用）に変更することを試みてみよう。
一見すると単純な要求に思えるかもしれない。動画生成技術は日増しにリアルになり、制御性も向上している。しかし、動画の他の部分を一切損なうことなく、動く表面上の7文字だけを置き換えるというタスクには、既存の動画エディタが同時に解決するのに苦慮している複数の難題が凝縮されている。
あるエディタは見栄えの良い洗練された動画を生成するものの、指定とは異なる文字を描画してしまう。別のエディタは各フレーム単体では正しく文字を綴れていても、動画を再生するとグリフが小刻みに揺れ動いてしまう（ジッター）。さらに別のモデルは、元のシーンとその動きを綺麗に保つ一方で、元のテキストをそのまま残してしまう。
動画シーンテキスト編集におけるこうした破綻に焦点を当てたのが、テキサスA&M大学（Texas A&M University）のXinghao Chen、Xiangbo Gao、Jiongze Yu、Yuheng Wu、Zhengzhong Tuによる2026年9月30日にarXivに投稿された論文、ViTeX-Benchである。著者らは387本の動画からなるベンチマークデータセットを構築し、光学文字認識（OCR）を軸とした13種類の評価指標からなるプロトコルを策定、8つのベースラインシステムを評価した上で、オープンソースのリファレンスエディタViTeX-Edit-14Bを提案した。
Document AI、動画理解、あるいはビジュアル編集に携わる者にとって、本論文は「説得力のある動画を生成すること」と「精緻で局所的な編集を行うこと」の間に横たわるギャップを突きつける、冷静かつ示唆に富んだ研究である。
トリレンマ：動画テキストの置換が想像以上に困難な理由
このタスクの本質を理解するには、あらゆる動画テキスト編集が同時に満たさなければならない3つの要件に目を向ける必要がある。
- 文字レベルの正確性（Character-level correctness）： モデルは指定されたターゲット文字列を正確にレンダリングしなければならない。文字の脱落、置換、あるいはそれらしく見える波線のような崩れは、いずれも編集の失敗を意味する。
- 時間的一貫性（Temporal consistency）： テキストは下地の表面に張り付き続けなければならない。カメラがパンしたり被写体が傾いたりした場合でも、置換されたテキストは一貫した外観を保ちながら、シーンの動きと遠近法（パースペクティブ）に追従する必要がある。
- 編集の局所性（Edit locality）： 周囲の動画部分は変更されてはならない。背景の幾何構造、照明条件、動く被写体などは、テキストの置換後もそのまま維持されるべきである。
静止画の編集においては、FLUX-Textのようなシステムが単一フレーム内で正確な文字を描画できる。しかし動画には「時間」が加わる。フレームごとに独立して編集を行うアプローチには時間的な結合が存在せず、初段フレームの編集結果を時間方向に伝播させる手法は、フェードやドリフト（位置ずれ・変形）を引き起こす可能性がある。一方、動画ネイティブなエディタは動きをモデル化できるものの、それによって正確な文字列の制御が保証されるわけではない。
既存の取り組みも、この問題の一端には対処してきた。一般的な動画編集ベンチマークは、指示への追従性、視覚的品質、時間的一貫性、および元の状態の保持を測定している。また、STRIVEをはじめとする動画テキスト置換の先行研究も存在する。ViTeX-Benchの貢献は、ペアとなる学習データセットと、時間的品質およびシーン保持と並行して指定テキストの時間変化を検証する固定評価プロトコルを専用に組み合わせた点にある。
破綻の類型：現代のエディタはどのように崩壊するか
著者らは、実世界の720p動画（各120フレーム、24 fps）157本からなる固定テストスプリットを用い、4つの編集系統に分類される8つのベースラインシステムを評価した。その実験結果と代表例から、繰り返し発生する4つの典型的な失敗パターンが明らかになった。
1. 安定しているが変化しない（Wan2.1-VACE-14B）
Wan2.1-VACE-14Bはマスク条件付きの動画エディタである。論文中の「NEWをOLDに変更する」という例において、同モデルが出力したテキスト領域は、元の動画と事実上同一のままであった。
評価全体を通じて、同モデルのシーケンス精度（SeqAcc）は0.000、文字精度（CharAcc）は0.298にとどまった。それにもかかわらず、時間的テキスト安定性（TTS）は0.689を記録した。なお参考として、未編集の元動画を指定置換文字列と比較した際のCharAccは0.317であり、編集が全く成功していなくても部分的な文字の一致が生じ得ることがわかる。
論文では、モデルがなぜ元のテキストを保持し続けるのかの原因究明までは踏み込んでいない。しかし実践的な教訓として、デコードされたテキストが安定しており時間的誤差が小さいからといって、要求されたテキスト置換が実行されたことの証明にはならないという事実を明確に示している。
2. 各フレームでは正確だが、時間的に混沌（FLUX-Text）
FLUX-Textのような静止画シーンテキストエディタを各フレームに独立して適用すると、何が起こるだろうか。
テキストの正確性は、複数の動画ベースラインを大幅に上回る。FLUX-Textは評価対象となった生のエディタの中で平均テキスト正確性のトップに立ち、SeqAcc 0.528、CharAcc 0.737を記録した。しかし、各フレームを独立して生成しているため、著しい時間的不安定性が露呈する。
元動画のオプティカルフローを用いて動き補償後のピクセル誤差を測定するテキストクロップWarp指標（Warp_c）において、FLUX-Textのスコアは13.01となり、無編集の元動画の1.27と比べて大幅に悪化した。また、テキストクロップのフリッカースコア（Flicker_c）は14.81に達し、元動画の値である3.68の約4倍となった。
論文で紹介された事例はこの問題を如実に表している。個々のフレームでは文字が明瞭に読めるものの、隣接フレーム間で文字の見え方が不規則に変化してしまうのである。
3. 見栄えは洗練されているが不正確（Kling Video 3.0 Omni）
Kling Video 3.0 Omniは、指示追従型の動画対動画（Video-to-Video）系統を代表するモデルである。著者らは、元動画と固定の編集指示テンプレートを用いて、その公開Webインターフェースにリクエストを送信して評価した。
Klingは評価対象のエディタの中で最も高い平均MUSIQスコアを達成し、フルフレームのスコアは元動画の70.33を上回る72.23に達した。しかし、テキストの測定値は全く異なる結果を示した。SeqAccは0.000、CharAccは0.208だったのである。「SOC」から「COC」への置換例において、出力結果は一見それらしく見えるものの、指定された文字列は正しく描画されていなかった。
これらの結果は、検証された特定の設定および評価スプリットにおけるものである。その範囲内において結果は明確な事実を示している。すなわち、知覚的品質スコアが高いからといって、テキスト置換が成功したことにはならないということだ。
4. ドリフトしながら変形する（TextCtrl + AnyV2V）
もうひとつのアプローチは、第1フレームを編集した後にそれを伝播させる手法である。具体的には、第1フレームをTextCtrlで編集し、I2VGen-XLバックボーンを備えたAnyV2Vを用いてその編集を時間軸に沿って伝播させる。
論文で提示された事例では、最初のフレームこそ正確に編集されているものの、クリップが進むにつれて描画されたテキストと周囲のシーンが徐々にドリフト（位置ずれ・変形）していく。評価全体において、この組み合わせのスコアはSeqAcc 0.057、CharAcc 0.308であった。
局所領域のピーク信号対雑音比（PSNR-loc）は21.08 dBにとどまり、局所LPIPSは評価対象の生エディタの中で最も高い（つまり最も悪い）平均LPIPS距離となる0.225を記録した。編集結果を単に伝播させるだけでは、テキストの正確性を維持することも、周囲のシーンを保持することも保証されない。
ViTeX-Benchの評価プロトコル：3軸にわたる13の指標
これらの破綻を定量的に比較可能にするため、ViTeX-Benchは13の指標を相互補完的な3つの軸に分散配置している。各軸には1つの主要指標（Primary metric）が設定されており、著者らは重み付けによる総合スコアではなく、パレート集合（Pareto set）を用いてトレードオフを比較している。
+------------------------------------------------------------------------+
| ViTeX-Bench 評価フレームワーク |
+------------------------------------------------------------------------+
| 軸1: テキストの正確性 主要指標: SeqAcc (部分文字列完全一致) |
| （文字は正しく読めるか？） 診断指標: CharAcc, TTS |
+------------------------------------------------------------------------+
| 軸2: 視覚・時間的品質 主要指標: Warp_c (動き補償MAE) |
| （動画は自然で安定的か？） 診断指標: Warp_f, Flicker_f/c, |
| MUSIQ_f/c |
+------------------------------------------------------------------------+
| 軸3: 編集の局所性 主要指標: DreamSim-loc (知覚距離) |
| （周囲のシーンは維持されて 診断指標: PSNR, SSIM, LPIPS |
| いるか？） |
+------------------------------------------------------------------------+
軸1：テキストの正確性（OCR軸）
ベンチマークでは、テキスト領域のクロップに対してPaddleOCRのPP-OCRv5を実行する。各動画は、ソーステキストのUnicodeブロックに応じてラテン文字、中国語、日本語、またはキリル文字の認識器へと振り分けられる。信頼度スコアが0.30未満の認識バウンディングボックスは除外され、文字列にはUnicode正規化、大文字小文字の統一（case folding）、空白および句読点の除去が適用される。
元のテキストが遮られたり不鮮明であったりすることによる交絡（ノイズ）を減らすため、正確性の評価は**ソース検出可能フレーム（source-detectable frames）**上で行われる。これは、ソースOCRがアノテーションされたソース文字列と0.5以上の類似度で一致するフレームを指す。評価用157クリップのうち152クリップに該当フレームが存在した。このOCR基準を満たすフレームが存在しなかった5クリップはSeqAccおよびCharAccの平均計算から除外されたが、これは人間にとってもテキストが読めなかったことを意味するわけではない。
著者らは部分文字列編集距離（$d_{\text{sub}}$）を用いて文字列を比較する。標準的なレーベンシュタイン距離とは異なり、OCR候補文字列の不一致なプレフィックス（接頭辞）やサフィックス（接尾辞）に対するペナルティは課されない。例えば、ターゲットが「BIG」でOCR出力が「ABIGA」の場合、候補文字列の内部にターゲットが完全に含まれているため、編集距離は0となる。
- SeqAcc（主要指標、$\uparrow$）： 正規化された出力OCR結果に、ターゲットの部分文字列完全一致が含まれているソース検出可能フレームの割合。
- CharAcc（$\uparrow$）： 1から「部分文字列編集距離をターゲット長で割った値」を引いたもの。ニアミスに対して部分点を与える。
- TTS（Temporal Text Stability、時間的テキスト安定性、$\uparrow$）： デコードされた出力文字列が同一である隣接するソース検出可能フレームペアの割合。対象となるペアが存在しない動画は除外される。
報告されている平均値は動画レベルで算出されたものである。極めて重要な点として、TTSは「正確性」ではなく「デコードされた文字列の安定性」を測る指標である。未編集の元動画は、要求された編集を一度も行っていないにもかかわらず0.760 TTSを記録している。また、このスコアが1未満であることは、フレーム間においてOCR自体が不安定になり得ることも示している。
軸2：視覚および時間的品質（モーション軸）
時間的品質を評価するには、生のフレーム間差分と、ソース動画の動きを考慮した後の残差を区別する必要がある。
Warp指標の算出にあたり、ベンチマークはソース動画に対してRAFTオプティカルフローを計算する。このフローを用いて、編集後のフレーム$t+1$を編集後フレーム$t$に向けて逆方向ワープ（backward-warp）し、有効なフローピクセル上で平均絶対誤差（MAE）を測定する。
- Warp_c（主要指標、$\downarrow$）： テキストマスクの軌跡全体を包含する静的なバウンディングボックス（16ピクセルのマージンを追加）内部におけるWarp値。著者らが実施した主観評価実験において、この指標はフルフレームWarp（$\rho = -0.20$）よりも時間的評価とのスピアマン相関が強く（$\rho = -0.40$）、時間軸の主要指標としての妥当性を裏付けている。
- Flicker_f / Flicker_c（$\downarrow$）： 動き補償を行わない、隣接フレーム間の生のピクセル差分。
- MUSIQ_f / MUSIQ_c（$\uparrow$）： フルフレームまたはテキストクロップにおいて測定される、画像知覚品質の非参照型（No-reference）推定値。
フルフレームMUSIQは全フレームを使用し、クロップMUSIQはソース検出可能フレームを使用する。FlickerやWarpは、画像が過度に平滑化されたり、ほぼ静止したような出力になったりした場合にも値が低下するため、低い値であってもテキストの正確性や知覚的品質と併せて解釈しなければならない。
軸3：編集の局所性（保存軸）
編集対象領域の外側における変化を測定するため、ベンチマークは局所性専用の比較フレームを構築する。すなわち、マスクの外側には予測ピクセルを残し、マスクの内側のみ予測ピクセルをソースピクセルに置き換えたフレームを作成し、これをソース動画と比較する。
- DreamSim-loc（主要指標、$\downarrow$）： 周囲のシーンに起因する差異を評価するために使用される、学習ベースの知覚距離。
- PSNR-loc および SSIM-loc（$\uparrow$）： ピクセルベースの類似度指標。
- LPIPS-loc（$\downarrow$）： ピクセルベースの指標を補完する、学習ベースの知覚距離。
これらの指標は異なる観点からシーンの保存性を評価する。いずれか単独の指標をもってテキスト編集の成功を証明できるものではない。
著者らはいかにして230組の学習用ペア動画を構築したか
動画シーンテキスト編集における最大の障壁は、ペアとなる実動画データの不足である。同一の表面上に異なるテキストが描かれている以外は完全に同じである2本の動画を撮影・収集することは極めて難しい。
著者らは、モデル支援型かつHuman-in-the-Loopのパイプラインを構築し、Panda-70MおよびInternVidの映像から230組の学習用ペア動画を生成することでこの問題に対処した。
- マスク生成： アノテーターがカスタムSAM 3 Webインターフェースを用いてポジティブおよびネガティブなキーポイントを配置する。SAM 3が動画全体にマスクを伝播させ、アノテーターがこれを目視確認して必要に応じて修正を加える。その後、$25 \times 25$ピクセルの楕円カーネルを用いてマスクを3回膨張（dilation）させた。
- ターゲットのプロンプト生成： Qwen3-VL-32B-Instructが第1フレームのクロップを読み取り、概ね同じ文字数でシーンの文脈に適した別のターゲット文字列を提案する。プロンプトでは不快な表現、政治的表現、商標を含むコンテンツの回避が指示され、アノテーターが候補を精査した。
- 背景の消去： PISCOとともに公開されたファインチューニング済みWan2.1-VACE-1.3BモデルであるRemoval-1.3Bが、テキストおよび影やハイライトなどの関連エフェクトを除去し、クリーンな背景動画を生成した。
- 第1フレームの合成： GoogleのGemini 3 Pro Image（「Nano Banana Pro」）が第1フレームのテキストを描き直した。編集に失敗した場合はリトライを行い、目視でチェックされた。その後、2回目のSAM 3処理によって新しいテキストパッチ（$p_1^{\text{new}}$）が抽出された。
著者らは次に、クリーン化された背景動画にそのパッチを配置するため、2つの手法を使い分けた。
- 戦略A（アルファ合成）： クリップ全体を通じてテキスト領域が静止している場合に適用可能。この戦略により、最終的な学習ペアのうち56組が作成された。
- 戦略B（PISCOベースの挿入）： ファインチューニングされたPISCO-14Bインサーターが第1フレームのパッチを参照として利用し、Depth Anything 3による深度情報が幾何学的事前分布を提供した。これにより174組の学習ペアが作成された。
なお、これらの内訳は構築プロセス上の選択によるものであり、動画全体の静止／動的の内訳そのものを表しているわけではない。動的な動画には戦略Bのみが適用されたが、静止した動画には両方の戦略が適用され、より品質の高い結果が採用された。
その結果として完成したのがViTeX-Datasetである。387本のソースクリップから構成され、230組の学習用ペアデータと、正解となる編集後リファレンスを持たない157本の固定評価用入力が含まれている。全387本の動画を通じて、タイポグラフィの内訳はおよそ23%が印刷文字、44%が手書き文字、33%がデザイン文字（アーティスティック）となっている。ソース文字列の長さは1〜41文字、ターゲット文字列の長さは1〜36文字に及ぶ。
なお、これらペア動画の編集結果は人手でレビューされた学習用リファレンスであり、唯一無二の正解（Ground Truth）レンダリングではない。フォント、太さ、色、あるいは照明との相互作用などは、編集指示のみから一意に定まるものではないからである。
ViTeX-Edit-14B：グリフ動画による動く文字のアンカリング
著者らは、230組の学習用ペア動画を用いてWan2.1-VACE-14Bを改変し、オープンソースのリファレンスエディタViTeX-Edit-14Bを開発した。
本モデルは、ターゲットテキストの埋め込みとソース動画の条件付けに加え、ソーステキストの動きに追従する明示的な視覚的ガイドを受け取る。
Source Video (V) + Dilated Mask (M) ---> Video Condition Unit (VCU)
|
Target String (stgt) ---> uMT5-XXL ----------------------+
|
Source Text Region ---> Font Selection + EasyOCR |
---> CoTracker3 Tracking |
| |
Target String ---> Render + Tracked Homography Warp |
---> Glyph Video (Gvid) |
---> Wan VAE Latents |
---> 64 Pooled Glyph Tokens --------+
|
Wan2.1-VACE-14B
|
Edited Video
グリフ動画パイプライン
- フォントマッチング： Qwen3-VLが第1フレームのソーステキスト領域を検査し、厳選されたラテンフォントライブラリから書体を選択する。ラテン文字以外の言語体系では言語ごとのデフォルトフォントが使用される。
- 軌跡トラッキング： EasyOCRが第1フレームでソーステキストの四角形領域を検出し、CoTracker3が残りの119フレームにわたってその軌跡をトラッキングする。
- 合成レンダリング： ターゲット文字列を、検出されたバウンディングボックスの2倍の解像度で黒背景に白文字でレンダリングする。追跡された四角形に基づきフレームごとのホモグラフィ変換を適用してワープさせることで、ソースに一致した位置、スケール、遠近感を提供する。
- 条件付けの注入： 凍結されたWan VAEがグリフ動画（$G_{\text{vid}}$）をエンコードする。パッチ埋め込みと64個の学習可能クエリを用いたクロスアテンションプーリングにより、固定長のグリフトークン群（$E_G$）が生成される。
- アーキテクチャの接続部： 新設された条件付けクロスアテンション層が、これらのトークンをトランク層の0、5、10、15、20、25、30、35番目にある8つのVACEブロックに注入する。ゼロ初期化された残差出力射影により、初期化時点ではバックボーンの出力がそのまま保持される。
学習時には、メインのDiTトランク、テキストエンコーダ、VAEを凍結し、VACEブランチと新しい条件付けモジュールのみを更新する。Flow-Matchingによる教師ありファインチューニングは2段階で実行される。まず$720\text{p} \times 49$フレームで5エポック、続いて$720\text{p} \times 121$フレームで2エポックの学習を行う。報告された計算コストは、8基のH100 80GB GPUで576 GPU時間である。
ベンチマーク結果
ViTeX-Edit-14Bは、評価された動画ネイティブエディタの中で最も高い平均CharAccと、生のエディタ出力の中で最も低い同等のテキストクロップWarp値を両立させている。
- CharAcc： 0.688を記録し、VideoPainterの0.619、Wan2.1-VACE-14Bの0.298、Klingの0.208を上回った。
- SeqAcc： 0.341であり、動画ネイティブエディタの中ではVideoPainterの0.364を下回った。また、フレーム単位で処理する静止画エディタの複数もこれより高いスコアを記録している。
- Warp_c： 1.53を記録し、FLUX-Textの13.01やKlingの2.90と比較して大幅に良好で、未編集の元動画の1.27に迫る数値となった。
なお、ViTeX-Edit-14BとVideoPainterの正確性に関する信頼区間は重複しており、これらは観測された平均値の差異であって、厳密なペアごとの統計的有意性が確立されたわけではない。また、VideoPainterの時間的スコアは、その適用手法が線形フレーム補間（blend）を使用しており測定残差が変化してしまうため、ランキングからは除外されている。
したがって、このリファレンスエディタはベンチマーク全体を完全に制覇したというよりは、実用上有用な動作点（operating point）を提供するものであるといえる。
コンポジットによるコントロール：背景ピクセルを再発明しない
実践的な知見のひとつとして、すべてのエディタに適用可能な決定論的かつ学習不要の後処理ラッパーであるComposite（合成処理）が挙げられる。
手法によってはフレーム全体を再構成するものもあれば、バウンディングボックス限定のエディタのように外側のピクセルの大部分を元動画から直接コピーするものもある。Compositeは、以下の3つのステップを通じてテキスト合成と背景復元を切り分けるのに役立つ。
- マスクを**$41 \times 41$の構造要素**で膨張させ、元のマスクを差し引くことで周辺バンド領域を構築する。
- そのバンド領域内における元画像と予測画像の統計量を用いて、CIELAB空間におけるReinhardの平均・分散色転送を適用する。
- 距離変換から導出された4ピクセルのフェザリング境界を用いて、色補正された予測画像を元動画にブレンドする。
論文によると、8つのCPUワーカーを使用して157本の評価動画を処理するのに要した時間は約5分であった。ViTeX-Edit-14Bに対してCompositeを適用したところ、PSNR-locは29.08から42.95 dBへと向上し、DreamSim-locは0.024から0.002へと減少した。SeqAccは0.341から0.345へとわずかに変化した。
8つのベースラインすべてにおいて、Compositeを適用することで局所PSNRは約43 dB前後に達した。このゲインの大部分は元動画のピクセルを復元したことに起因しており、基礎となる各エディタが背景をより適切に保持するよう学習した証拠ではない。
| 手法 | 系統 | SeqAcc ($\uparrow$) | CharAcc ($\uparrow$) | TTS ($\uparrow$) | Warp_c ($\downarrow$) | MUSIQ_f ($\uparrow$) | PSNR-loc ($\uparrow$) | DreamSim-loc ($\downarrow$) |
|---|---|---|---|---|---|---|---|---|
| Source Video | — | 0.000 | 0.317 | 0.760 | 1.27 | 70.33 | $\infty$ | 0.000 |
| FLUX-Text | 静止画 | 0.528 | 0.737 | 0.326 | 13.01 | 70.26 | 31.49 | 0.012 |
| TextCtrl | 静止画 | 0.475 | 0.734 | 0.511 | 2.09 | 70.32 | 41.14 | 0.004 |
| RS-STE | 静止画 | 0.354 | 0.626 | 0.534 | 1.81 | 69.57 | 37.00 | 0.007 |
| AnyText2 | 静止画 | 0.280 | 0.633 | 0.382 | 3.95 | 66.68 | 25.56 | 0.043 |
| TextCtrl + AnyV2V | 伝播 | 0.057 | 0.308 | 0.257 | 3.97 | 69.41 | 21.08 | 0.073 |
| Wan2.1-VACE-14B | 動画 | 0.000 | 0.298 | 0.689 | 1.56 | 70.54 | 35.21 | 0.007 |
| VideoPainter | 動画 | 0.364 | 0.619 | 0.606 | 3.35† | 67.16 | 28.56 | 0.024 |
| Kling Video 3.0 Omni | 動画 | 0.000 | 0.208 | 0.641 | 2.90 | 72.23 | 21.18 | 0.061 |
| ViTeX-Edit-14B | 動画 | 0.341 | 0.688 | 0.648 | 1.53 | 69.64 | 29.08 | 0.024 |
| ViTeX-Edit-14B (Composite) | 後処理 | 0.345 | 0.689 | 0.666 | 1.56 | 70.27 | 42.95 | 0.002 |
元動画はランキング対象外のリファレンスであり、Compositeは別途報告された後処理コントロールである。† VideoPainterの時間的スコアは、8 fpsから24 fpsへの適応に線形ブレンド補間が使用されており、測定される残差が変化するためランキングから除外されている。ベースラインに対するComposite適用後の正確性はサンプルでのみ確認されており、ViTeX-Edit-14BとCompositeのペアのみが完全に再スコアリングされた。
なぜ重要なのか：Document AIとOCRへの実践的示唆
精緻なビジュアルテキスト編集に関心を持つチームに対して、ViTeX-Benchは4つの実践的な教訓を提示している。ただし、その知見の適用範囲はベンチマークが実際に検証している対象に限定して捉えるべきである。
1. 生成パイプラインにおいて、OCRは結果の判定に役立つ
ViTeX-Benchは、生成されたテキストの評価器としてOCRを活用している。Klingの高いMUSIQスコアとSeqAcc 0という結果の併存は、一般的な視覚的品質の高さが、指定された文字が正確に描画されているかどうかの検証の代用にはならない理由を如実に物語っている。
しかしながら、OCRも決して万能の判定器ではない。ソース検出可能フレームにおいて、認識器は既存のソーステキストに対して0.851の完全一致精度と0.966のCharAccを達成した。手法名を伏せて実施された人間の転記評価実験は、手法レベルのCharAccランキングにおいてOCRと極めて高い相関を示したものの（スピアマンの $\rho = 0.95$）、絶対的なスコアには乖離が見られた。
実務上の教訓は、文字の検証をキャリブレーションや人間による目視確認と組み合わせることである。本論文が支持しているのは「OCRを軸とした評価」であり、他のあらゆる評価手法をOCRで完全に置き換えることではない。
2. 多角的な複合指標による評価の重要性
Wan2.1-VACE-14Bは、SeqAccが0であるにもかかわらず、FLUX-Text、TextCtrl、RS-STE、ViTeX-Edit-14Bと並んでベンチマークの生出力パレート集合に含まれている。
これが成立するのは、評価対象となった競合手法の中に、同モデルの3つの主要平均スコアすべてにおいて同等以上を達成しつつ、少なくとも1つで明確に上回るものが存在しなかったからである。パレート集合への帰属はトレードオフの関係を示しているにすぎず、編集の成功を証明するものではない。
もし評価系がターゲットテキストの成否を検証することなくシーンの保持や安定性のみを高く評価してしまえば、何も変更されていない出力が見かけ上は競争力があるように見えてしまう。正確性、時間的品質、局所性は、必ず一体として解釈されなければならない。
3. テキスト合成と背景復元を切り離す
Compositeの実験は、生成領域の周辺にあるソースピクセルを復元することによって局所性のスコアが大幅に向上することを示している。これにより開発者は、純粋な合成品質と、フレーム全体を再構成することに伴う弊害とを切り分けて評価するための具体的なコントロール手法を得ることができる。
ただし、これはEnd-to-Endの学習が非効率であることや、合成処理が常に優れていることを証明するものではない。色転送、フェザリング、エンコードによって文字の視認性が変化する可能性があり、またすべてのベースラインにおいてComposite適用後のテキスト指標やクロップ時間指標が網羅的に報告されているわけではない。
局所的な編集における実践的な示唆は、より限定的かつ有用なものである。すなわち、シーン保持の向上をモデル自体の性能に帰する前に、ソースピクセルの復元がどれだけ寄与しているかをまず評価すべきだということである。
4. テキスト編集は時間軸全体で評価する必要がある
静止画のスクリーンショットが1枚正しく描画されていたとしても、動画編集が成功した証拠にはならない。FLUX-Textの結果は、フレーム単位での高いテキスト正確性と大きな時間的残差が容易に両立し得ることを示しており、伝播ベースラインの結果は、当初は正確だった編集が時間とともに崩壊していく様子を示している。
このため、本稿で扱われたタスクにおいては動画レベルでの評価が不可欠となる。この知見は関連するOCRワークフローにも示唆を与えるが、ViTeX-Benchはあくまで編集ベンチマークであり、実環境で稼働する文書抽出、モバイル走査、認識システムなどを直接テストするものではない。なお日本の読者にとっては、本ベンチマークの大半がラテン文字を対象としており、多くのOCRやVLMモデルにとって最大の難所である漢字・かなの混在や縦書きレイアウトが網羅されていない点にも留意が必要である。本研究の証拠が示しているのは、元のシーンを保持したまま、要求された置換テキストが正確かつ視覚的一貫性を保ち続けられるかどうかという点である。
率直な限界点：今後の課題
ViTeX-Benchは再現可能なフレームワークを提供する一方で、著者らはその限界についても率直に述べている。
- ラテン文字への強い偏り： 評価用の157クリップのうち、150クリップがラテン文字を使用している。残りの7クリップの内訳は、中国語4本、日本語1本、キリル文字2本である。AnyText2はこのわずかな非ラテン文字スライスにおいて0.295 CharAccで首位となったが、ViTeX-Edit-14Bを含む他の8つの生エディタは0.19未満にとどまった。これは限定的な診断的分析にすぎず、言語・文字体系別の一般的な結論を導き出すには不十分である。
- 困難な幾何構造と激しい動き： 密集したレイアウト、曲面、激しい遮蔽（オクルージョン）、極端な動きなどはほとんど網羅されていない。サンプリングされたクリップ内での順位の安定性は、その分布を超えた性能を保証するものではない。
- パイプライン生成による学習データ： 230組の学習用ペアリファレンスには、レンダリングエラーが残存している可能性がある。それらのOCR CharAccは0.790である一方、キャリブレーションクロップに対する人間による転記では0.917に達した。これらの数値は、OCR自体の限界とレンダリング品質の不確実性の双方が残されていることを示している。なお、初期ターゲットの再サンプリング回数や第1フレームのリトライ回数は記録されていない。
- 限定的な独立検証： 手法名を伏せた転記実験は共著者の1人によって実施された。また著者以外の3名の評価者が70個の出力を評価したが、テキストの正確性や時間的品質に比べて、局所性に関する一致度（順序クリッペンドルフの $\alpha = 0.37$）は大幅に低かった。モデル支援パイプラインを用いたマスクの独立した再アノテーションは、12クリップで実施されるにとどまった。
- 学習コストと未検証のコンポーネント： ファインチューニングには576 GPU時間を要し、推論には50ステップのサンプリングパスが必要となる。論文では推論レイテンシやリアルタイム適応性については報告されていない。厳密に制御されたコンポーネントのアブレーション実験や、学習スケールに関する研究は今後の課題とされている。
ViTeX-Benchが確立したもの
ViTeX-Benchは、動画シーンテキスト編集に対して専用のデータセットと具体的な測定プロトコルを提供した。評価されたシステム全体を通して、文字の正確性、時間的安定性、そしてシーンの保持を同時に成立させることは依然として極めて困難である。見栄えの良い動画に誤ったテキストが含まれることもあれば、個々のフレームが正確であっても動画全体としては不安定になることもある。
動きに追従するグリフによる条件付けにより、ViTeX-Edit-14Bは有用なバランスを実現した。すなわち、評価された動画ネイティブエディタの中で最も高い平均CharAccを達成し、生の出力の中で最も低い同等のテキストクロップWarp値を記録したのである。とはいえ、これによりトレードオフが完全に解消されたわけではなく、どのアーキテクチャ要素が各性能向上に寄与したかが厳密に解明されたわけでもない。
論文によると、データセット、評価コード、およびリファレンスモデルの重みはHugging FaceとGitHubで公開されている。コードと重みはApache-2.0ライセンス、データセットは非商用研究向けのCC-BY-NC 4.0ライセンスの下で提供されており、InternVid由来の再配布部分には上流のShareAlike（継承）条項が適用される。これらのリソースは、実動画における精緻なテキスト置換の研究を進めるための、再現性の高い新たな出発点となるだろう。