वीडियो सीन टेक्स्ट एडिटिंग अब भी लड़खड़ा रही है: ViTeX-Bench कैसे उजागर करता है इसके ट्रेड-ऑफ्स
आधारित शोध-पत्र: ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing — Xinghao Chen, Xiangbo Gao, Jiongze Yu, Yuheng Wu, Zhengzhong Tu
कल्पना कीजिए कि किसी हॉलवे में एक व्यक्ति कार्डबोर्ड बॉक्स ले जा रहा है और इसका एक 5-सेकंड का वीडियो है। अब उस बॉक्स पर छपे लेबल को "FRAGILE" से बदलकर "STORAGE" करने की कोशिश करें।
सुनने में यह एक मामूली सा काम लगता है। वीडियो जनरेशन तकनीक दिन-ब-दिन अधिक यथार्थवादी और नियंत्रणीय होती जा रही है। फिर भी, बाकी वीडियो को जस-का-तस रखते हुए किसी गतिमान सतह पर केवल सात अक्षरों को बदलना कई ऐसी समस्याओं को एक साथ सामने लाता है, जिनसे मौजूदा एडिटर्स आज भी जूझ रहे हैं।
हो सकता है कि कोई एडिटर गलत अक्षरों के साथ एक पॉलिश्ड क्लिप तैयार कर दे। कोई दूसरा एडिटर अलग-अलग फ्रेम्स में नए टेक्स्ट की स्पेलिंग तो सही रखे, लेकिन वीडियो चलने पर उसके ग्लिफ्स (glyphs) थरथराने (jitter) लगें। वहीं कोई तीसरा एडिटर सीन और उसके मोशन को तो सुरक्षित रख ले, मगर मूल टेक्स्ट को वैसा का वैसा ही छोड़ दे।
वीडियो सीन टेक्स्ट एडिटिंग की इसी नाकामी को ViTeX-Bench का केंद्र बनाया गया है—यह Texas A&M University के Xinghao Chen, Xiangbo Gao, Jiongze Yu, Yuheng Wu और Zhengzhong Tu द्वारा लिखा गया एक शोध-पत्र है जो 30 सितंबर, 2026 को arXiv पर पोस्ट किया गया। शोधकर्ताओं ने 387 वीडियो का एक बेंचमार्क डेटासेट तैयार किया, ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) पर आधारित 13-मीट्रिक मूल्यांकन प्रोटोकॉल डिज़ाइन किया, आठ बेसलाइन सिस्टम्स का मूल्यांकन किया और ViTeX-Edit-14B नाम से एक ओपन-सोर्स संदर्भ एडिटर पेश किया।
डॉक्यूमेंट AI, वीडियो अंडरस्टैंडिंग या विजुअल एडिटिंग के क्षेत्र में काम करने वाले किसी भी व्यक्ति के लिए यह शोध-पत्र एक विश्वसनीय वीडियो बनाने और उसमें एक सटीक, स्थानीय (localized) बदलाव करने के बीच की खाई पर गहराई से सोचने पर मजबूर करता है।
त्रिलेमा (The Trilemma): वीडियो टेक्स्ट बदलना इतना पेचीदा क्यों है
इस कार्य को समझने के लिए, उन तीन शर्तों को देखें जिन्हें हर वीडियो टेक्स्ट एडिट को एक साथ पूरा करना होता है:
- कैरेक्टर-लेवल सटीकता (Character-level correctness): मॉडल को लक्षित टेक्स्ट सीक्वेंस को बिल्कुल सही ढंग से रेंडर करना चाहिए। छूटे हुए अक्षर, गलत प्रतिस्थापन (substitutions), या अर्थहीन लकीरें पूरे संपादन को विफल कर सकती हैं।
- टेम्पोरल निरंतरता (Temporal consistency): टेक्स्ट को नीचे की सतह के साथ मजबूती से जुड़ा रहना चाहिए। यदि कैमरा पैन करता है या वस्तु झुकती है, तो बदले गए टेक्स्ट को सीन के मोशन और पर्सपेक्टिव का पालन करते हुए एक सुसंगत रूप बनाए रखना चाहिए।
- एडिट लोकैलिटी (Edit locality): आसपास का वीडियो अपरिवर्तित रहना चाहिए। टेक्स्ट रिप्लेसमेंट के दौरान बैकग्राउंड की ज्यामिति (geometry), लाइटिंग और गतिमान ऑब्जेक्ट्स बिना किसी बदलाव के सुरक्षित रहने चाहिए।
स्थिर इमेज एडिटिंग में, FLUX-Text जैसे सिस्टम्स अलग-अलग फ्रेम्स में सटीक अक्षर रेंडर कर सकते हैं। लेकिन वीडियो में समय (time) का आयाम जुड़ जाता है। प्रत्येक फ्रेम को स्वतंत्र रूप से एडिट करने से कोई स्पष्ट टेम्पोरल कपलिंग नहीं मिलती, जबकि पहले फ्रेम के एडिट को आगे बढ़ाने (propagate करने) से टेक्स्ट का धुंधला पड़ना या ड्रिफ्ट होना शुरू हो सकता है। वीडियो-नेटिव एडिटर्स मोशन को तो मॉडल करते हैं, लेकिन यह सटीक कैरेक्टर सीक्वेंस पर नियंत्रण की गारंटी नहीं देता।
मौजूदा संसाधन इस समस्या के कुछ हिस्सों का ही समाधान करते हैं। सामान्य वीडियो एडिटिंग बेंचमार्क केवल इंस्ट्रक्शन-फॉलोइंग, विजुअल क्वालिटी, टेम्पोरल कंसिस्टेंसी और प्रिजर्वेशन को मापते हैं। वीडियो टेक्स्ट रिप्लेसमेंट पर पहले के कार्य भी मौजूद हैं, जिनमें STRIVE शामिल है। ViTeX-Bench का मुख्य योगदान पेयर्ड ट्रेनिंग डेटा और एक फ्रोजन इवैल्यूएशन प्रोटोकॉल का समर्पित संयोजन है, जो टेम्पोरल क्वालिटी और सीन प्रिजर्वेशन के साथ-साथ समय के साथ अनुरोधित टेक्स्ट की सटीकता की भी जांच करता है।
विफलताओं का दौर: आज के एडिटर्स कहाँ मात खाते हैं
शोधकर्ताओं ने 157 वास्तविक 720p क्लिप्स (प्रत्येक में 24 फ्रेम प्रति सेकंड की दर से 120 फ्रेम्स) के एक फ्रोजन टेस्ट स्प्लिट पर चार एडिटिंग श्रेणियों में विभाजित आठ बेसलाइन सिस्टम्स का मूल्यांकन किया। उनके परिणाम और चुनिंदा उदाहरण चार बार-बार दोहराई जाने वाली विफलता मोड (failure modes) को उजागर करते हैं।
1. स्थिर लेकिन अपरिवर्तित (Wan2.1-VACE-14B)
Wan2.1-VACE-14B एक मास्क-कंडीशन्ड वीडियो एडिटर है। पेपर के "Change NEW to OLD" उदाहरण में, यह एक ऐसा टेक्स्ट क्षेत्र लौटाता है जो अनिवार्य रूप से वैसा ही रहता है जैसा वह सोर्स में दिखाई देता था।
पूरे मूल्यांकन के दौरान, इसने 0.000 की सीक्वेंस एक्यूरेसी (SeqAcc) और 0.298 की कैरेक्टर एक्यूरेसी (CharAcc) हासिल की। इसके बावजूद इसकी टेम्पोरल टेक्स्ट स्टेबिलिटी (TTS) 0.689 रही। संदर्भ के लिए, अनएडिटेड सोर्स वीडियो ने अनुरोधित रिप्लेसमेंट स्ट्रिंग्स के मुकाबले 0.317 CharAcc का स्कोर बनाया, जिससे पता चलता है कि बिना किसी सफल संपादन के भी आंशिक कैरेक्टर ओवरलैप हो सकता है।
यह शोध-पत्र यह स्थापित नहीं करता कि मॉडल मूल टेक्स्ट को क्यों बरकरार रखता है। यह केवल व्यावहारिक विफलता को साबित करता है: स्थिर डीकोड किया गया टेक्स्ट और कम टेम्पोरल एरर यह साबित नहीं करते कि अनुरोधित टेक्स्ट रिप्लेसमेंट वास्तव में हुआ है।
2. प्रति-फ्रेम सही, लेकिन टेम्पोरल रूप से अस्थिर (FLUX-Text)
क्या होगा यदि आप FLUX-Text जैसे इमेज सीन-टेक्स्ट एडिटर को लें और इसे हर फ्रेम पर स्वतंत्र रूप से चलाएं?
कई वीडियो-आधारित बेसलाइन्स की तुलना में टेक्स्ट की शुद्धता में काफी सुधार होता है। FLUX-Text औसत टेक्स्ट शुद्धता के मामले में मूल्यांकित सभी रॉ एडिटर्स में सबसे आगे है, जिसने 0.528 SeqAcc और 0.737 CharAcc दर्ज किया। लेकिन इसके स्वतंत्र रूप से जनरेट किए गए फ्रेम्स में अत्यधिक टेम्पोरल अस्थिरता देखने को मिलती है।
टेक्स्ट-क्रॉप Warp मीट्रिक (Warp_c) पर, जो सोर्स-वीडियो ऑप्टिकल फ्लो का उपयोग करके मोशन-कंपेंसेटेड पिक्सेल एरर को मापता है, FLUX-Text का स्कोर 13.01 रहा, जबकि मूल अपरिवर्तित सोर्स वीडियो का स्कोर 1.27 था। इसका टेक्स्ट-क्रॉप फ्लिकर स्कोर (Flicker_c) 14.81 तक पहुंच गया, जो सोर्स वैल्यू 3.68 से लगभग चार गुना अधिक है।
पेपर में चुना गया उदाहरण इस समस्या को स्पष्ट करता है: व्यक्तिगत फ्रेम्स में अक्षर भले ही स्पष्ट रूप से पढ़े जा सकते हों, लेकिन आस-पास के फ्रेम्स के बीच उनका रूप असंगत रूप से बदलता रहता है।
3. देखने में उत्कृष्ट लेकिन गलत (Kling Video 3.0 Omni)
Kling Video 3.0 Omni इंस्ट्रक्शन-गाइडेड वीडियो-टू-वीडियो श्रेणी का प्रतिनिधित्व करता है। शोधकर्ताओं ने सोर्स वीडियो और एक निश्चित एडिटिंग-इंस्ट्रक्शन टेम्पलेट के साथ इसके पब्लिक वेब इंटरफेस का परीक्षण किया।
Kling ने मूल्यांकित एडिटर्स में उच्चतम औसत MUSIQ स्कोर हासिल किए, जिसमें फुल-फ्रेम स्कोर 72.23 था, जो मूल सोर्स वीडियो के 70.33 से भी अधिक था। लेकिन टेक्स्ट के माप एक अलग ही कहानी बयां करते हैं: इसका SeqAcc 0.000 और CharAcc 0.208 रहा। चुने गए "SOC" से "COC" वाले उदाहरण में आउटपुट देखने में तो स्वाभाविक लगता है, लेकिन अनुरोधित स्ट्रिंग को सही ढंग से रेंडर नहीं करता।
ये परिणाम परीक्षण किए गए कॉन्फ़िगरेशन और मूल्यांकन स्प्लिट से संबंधित हैं। उस दायरे में, वे इस अंतर को स्पष्ट करते हैं: उच्च परसेप्चुअल क्वालिटी स्कोर सफल टेक्स्ट रिप्लेसमेंट को प्रमाणित नहीं करता।
4. भटकता हुआ रूपांतरण (TextCtrl + AnyV2V)
एक अन्य दृष्टिकोण फर्स्ट-फ्रेम एडिटिंग और उसके बाद प्रोपेगेशन का है: पहले TextCtrl की मदद से फ्रेम 1 को एडिट करें, और फिर उस एडिट को पूरे समय में आगे बढ़ाने के लिए I2VGen-XL बैकबोन के साथ AnyV2V का उपयोग करें।
शोध-पत्र का चुना गया उदाहरण पहले फ्रेम के सही संपादन से शुरू होता है, लेकिन जैसे-जैसे क्लिप आगे बढ़ती है, रेंडर किया गया टेक्स्ट और आसपास का दृश्य भटकने (drift होने) लगता है। पूरे मूल्यांकन में, इस संयोजन ने 0.057 SeqAcc और 0.308 CharAcc स्कोर किया।
इसका लोकैलिटी पीक सिग्नल-टू-नॉइज़ रेशियो (PSNR-loc) 21.08 dB था, जबकि लोकैलिटी LPIPS 0.225 तक पहुंच गया, जो मूल्यांकित रॉ एडिटर्स में उच्चतम—और इसलिए सबसे खराब—औसत LPIPS दूरी थी। किसी संपादन को केवल आगे प्रोपेगेट करना अपने आप में न तो लगातार टेक्स्ट सटीकता की गारंटी देता है और न ही आसपास के सीन के संरक्षण की।
ViTeX-Bench प्रोटोकॉल: तीन अक्षों पर 13 मीट्रिक्स
इन विफलताओं को मापने योग्य तुलनाओं में बदलने के लिए, ViTeX-Bench ने 13 मीट्रिक्स को तीन पूरक अक्षों (axes) में विभाजित किया है। प्रत्येक अक्ष का एक प्राथमिक मीट्रिक होता है, और शोधकर्ता किसी भारित कुल स्कोर (weighted aggregate score) के बजाय परेटो सेट (Pareto set) के माध्यम से उनके ट्रेड-ऑफ्स की तुलना करते हैं।
+------------------------------------------------------------------------+
| ViTeX-Bench Evaluation |
+------------------------------------------------------------------------+
| Axis 1: Text Correctness Primary: SeqAcc (Exact Substring Match) |
| Does the text read correctly? Diagnostics: CharAcc, TTS |
+------------------------------------------------------------------------+
| Axis 2: Visual & Temporal Primary: Warp_c (Motion-Compensated MAE) |
| Is the video natural/stable? Diagnostics: Warp_f, Flicker_f/c, |
| MUSIQ_f/c |
+------------------------------------------------------------------------+
| Axis 3: Edit Locality Primary: DreamSim-loc (Perceptual Dist.) |
| Does the surrounding scene Diagnostics: PSNR, SSIM, LPIPS |
| stay unchanged? |
+------------------------------------------------------------------------+
अक्ष 1: टेक्स्ट की शुद्धता (OCR अक्ष)
यह बेंचमार्क टेक्स्ट-रीजन क्रॉप्स पर PaddleOCR के PP-OCRv5 को चलाता है। प्रत्येक वीडियो को सोर्स टेक्स्ट के यूनिकोड ब्लॉक्स के अनुसार लैटिन, चीनी, जापानी या सिरिलिक पहचानकर्ता (recognizer) के पास भेजा जाता है। 0.30 से कम कॉन्फिडेंस वाले पहचाने गए बॉक्स को हटा दिया जाता है, और स्ट्रिंग्स का यूनिकोड सामान्यीकरण (normalization), केस फोल्डिंग और व्हाइटस्पेस तथा विराम चिह्नों को हटाने की प्रक्रिया की जाती है।
जब सोर्स टेक्स्ट अस्पष्ट या धुंधला हो, तो भ्रम की स्थिति से बचने के लिए शुद्धता का स्कोर सोर्स-डिटेक्टेबल फ्रेम्स (source-detectable frames) पर तय किया जाता है: यानी ऐसे फ्रेम्स जहां सोर्स OCR कम से कम 0.5 की समानता के साथ एनोटेट किए गए सोर्स स्ट्रिंग से मेल खाता है। मूल्यांकन की 157 क्लिप्स में से 152 में ऐसे फ्रेम्स मौजूद थे। इस OCR मानदंड के तहत पांच क्लिप्स में ऐसा कोई फ्रेम नहीं मिला और उन्हें SeqAcc और CharAcc के औसत से बाहर रखा गया; हालांकि इसका मतलब यह नहीं है कि उनका टेक्स्ट किसी इंसान के पढ़ने योग्य नहीं था।
शोधकर्ता सबस्ट्रिंग एडिट डिस्टेंस (substring edit distance) ($d_{\text{sub}}$) का उपयोग करके स्ट्रिंग्स की तुलना करते हैं। मानक लेवेनश्टीन डिस्टेंस (Levenshtein distance) के विपरीत, इसमें कैंडिडेट OCR स्ट्रिंग के बेमेल प्रीफिक्स और सफिक्स पर कोई पेनल्टी नहीं लगती। उदाहरण के लिए, यदि लक्ष्य "BIG" है और OCR "ABIGA" लौटाता है, तो लक्ष्य पूरी तरह से कैंडिडेट के अंदर मौजूद है, जिससे दूरी 0 हो जाती है।
- SeqAcc (Primary, $\uparrow$): सोर्स-डिटेक्टेबल फ्रेम्स का वह अनुपात जिनका सामान्यीकृत आउटपुट OCR लक्ष्य के लिए सटीक सबस्ट्रिंग मैच प्रदर्शित करता है।
- CharAcc ($\uparrow$): एक में से लक्ष्य की लंबाई से विभाजित सबस्ट्रिंग एडिट डिस्टेंस को घटाकर निकाला गया मान, जो लगभग मेल खाने वाले अक्षरों के लिए आंशिक क्रेडिट (partial credit) प्रदान करता है।
- TTS (Temporal Text Stability, $\uparrow$): समान डीकोड की गई आउटपुट स्ट्रिंग्स वाले आस-पास के सोर्स-डिटेक्टेबल फ्रेम जोड़ियों का अनुपात। बिना किसी योग्य जोड़ी वाले वीडियो को छोड़ दिया जाता है।
रिपोर्ट किए गए औसत की गणना वीडियो स्तर पर की जाती है। सबसे अहम बात यह है कि TTS डीकोड किए गए स्ट्रिंग की स्थिरता को मापता है, उसकी शुद्धता को नहीं: अनएडिटेड सोर्स वीडियो ने कभी अनुरोधित एडिट न करने के बावजूद 0.760 TTS स्कोर किया। इसका 1 से कम स्कोर यह भी दर्शाता है कि विभिन्न फ्रेम्स के बीच OCR खुद भी अस्थिर हो सकता है।
अक्ष 2: विजुअल और टेम्पोरल क्वालिटी (मोशन अक्ष)
टेम्पोरल क्वालिटी का मूल्यांकन करने के लिए सोर्स मोशन को ध्यान में रखने के बाद सामान्य फ्रेम परिवर्तनों और अवशिष्ट अंतरों (residual differences) के बीच भेद करना आवश्यक होता है।
Warp के लिए, यह बेंचमार्क सोर्स वीडियो पर RAFT ऑप्टिकल फ्लो की गणना करता है। यह उस फ्लो का उपयोग $t+1$ पर एडिट किए गए फ्रेम को $t$ पर एडिट किए गए फ्रेम की ओर बैकवर्ड-वार्प करने के लिए करता है, और फिर वैध फ्लो पिक्सेल पर मीन एब्सोल्यूट एरर (MAE) मापता है।
- Warp_c (Primary, $\downarrow$): पूरे टेक्स्ट-मास्क ट्रैजेक्ट्री को घेरने वाले और 16-पिक्सेल मार्जिन से विस्तारित एक स्थिर बाउंडिंग बॉक्स के अंदर का Warp। शोधकर्ताओं के मानव अध्ययन में, फुल-फ्रेम Warp ($\rho = -0.20$) की तुलना में टेम्पोरल रेटिंग के साथ इसका स्पीयरमैन सहसंबंध ($\rho = -0.40$) अधिक मजबूत था, जो इसे प्राथमिक टेम्पोरल मीट्रिक चुने जाने का समर्थन करता है।
- Flicker_f / Flicker_c ($\downarrow$): मोशन कंपेंसेशन के बिना आस-पास के फ्रेम्स का प्रत्यक्ष अंतर।
- MUSIQ_f / MUSIQ_c ($\uparrow$): पूरे फ्रेम्स या टेक्स्ट क्रॉप्स पर मापी गई इमेज परसेप्चुअल क्वालिटी का नो-रेफरेंस अनुमान।
फुल-फ्रेम MUSIQ सभी फ्रेम्स का उपयोग करता है; क्रॉप MUSIQ सोर्स-डिटेक्टेबल फ्रेम्स का उपयोग करता है। स्मूथिंग या लगभग स्थिर आउटपुट के कारण Flicker और Warp घट सकते हैं, इसलिए कम वैल्यूज को हमेशा टेक्स्ट शुद्धता और परसेप्चुअल क्वालिटी के साथ मिलाकर पढ़ा जाना चाहिए।
अक्ष 3: एडिट लोकैलिटी (संरक्षण अक्ष)
संपादन योग्य क्षेत्र के बाहर के परिवर्तनों को मापने के लिए, यह बेंचमार्क केवल लोकैलिटी-आधारित तुलनात्मक फ्रेम बनाता है: प्रेडिक्टेड पिक्सेल मास्क के बाहर रहते हैं, जबकि अंदर प्रेडिक्शन की जगह सोर्स पिक्सेल ले लेते हैं। फिर उस फ्रेम की तुलना सोर्स के साथ की जाती है।
- DreamSim-loc (Primary, $\downarrow$): आसपास के दृश्य में आए अंतर का आकलन करने के लिए उपयोग की जाने वाली एक लर्न्ड परसेप्चुअल डिस्टेंस (learned perceptual distance)।
- PSNR-loc और SSIM-loc ($\uparrow$): पिक्सेल-आधारित समानता माप (similarity measures)।
- LPIPS-loc ($\downarrow$): पिक्सेल-आधारित मापों का पूरक एक लर्न्ड परसेप्चुअल डिस्टेंस।
ये मीट्रिक्स अलग-अलग दृष्टिकोणों से संरक्षण का आकलन करते हैं। इनमें से कोई भी अकेले सफल टेक्स्ट एडिटिंग को प्रमाणित नहीं करता।
शोधकर्ताओं ने 230 पेयर्ड ट्रेनिंग वीडियो कैसे तैयार किए
वीडियो सीन टेक्स्ट एडिटिंग में एक मुख्य बाधा पेयर्ड रियल-वीडियो डेटा की सीमित उपलब्धता है। एक ही सतह पर अलग-अलग टेक्स्ट वाली दो बिल्कुल समान रिकॉर्डिंग प्राप्त करना बेहद कठिन काम है।
शोधकर्ताओं ने मॉडल-असिस्टेड, ह्यूमन-इन-द-लूप पाइपलाइन के साथ इसका समाधान निकाला, जिसने Panda-70M और InternVid फुटेज से 230 पेयर्ड ट्रेनिंग वीडियो तैयार किए।
- मास्क जेनरेशन (Mask Generation): एक एनोटेटर ने कस्टम SAM 3 वेब इंटरफेस का उपयोग करके पॉजिटिव और नेगेटिव की-पॉइंट्स लगाए। SAM 3 ने पूरे वीडियो में मास्क को प्रोपेगेट किया; एनोटेटर ने इसका निरीक्षण किया और आवश्यकतानुसार सुधार जोड़े। इसके बाद एक $25 \times 25$ पिक्सेल इलिप्टिकल कर्नेल ने तीन इटरेशन्स के लिए मास्क को डाइलेट (dilate) किया।
- टारगेट प्रॉम्प्टिंग (Target Prompting): Qwen3-VL-32B-Instruct ने पहले फ्रेम के क्रॉप को पढ़ा और लगभग समान लंबाई तथा दृश्य के उपयुक्त संदर्भ के साथ एक अलग टारगेट स्ट्रिंग का प्रस्ताव दिया। इसके प्रॉम्प्ट में आपत्तिजनक, राजनीतिक और ट्रेडमार्क सामग्री से बचने का निर्देश दिया गया था, और एक एनोटेटर ने इन विकल्पों की जांच की।
- बैकग्राउंड इरेज़िंग (Background Erasing): Removal-1.3B, जो PISCO के साथ जारी किया गया एक फाइन-ट्यून Wan2.1-VACE-1.3B मॉडल है, ने टेक्स्ट और उससे जुड़े प्रभावों जैसे शैडो और हाइलाइट्स को हटाकर एक साफ बैकग्राउंड वीडियो तैयार किया।
- फर्स्ट-फ्रेम सिंथेसिस (First-Frame Synthesis): Google के Gemini 3 Pro Image ("Nano Banana Pro") ने पहले फ्रेम को दोबारा लिखा। असफल एडिट्स को फिर से आजमाया गया और मैन्युअली चेक किया गया। इसके बाद दूसरे SAM 3 पास ने नए टेक्स्ट पैच ($p_1^{\text{new}}$) को निकाला।
शोधकर्ताओं ने फिर उस पैच को साफ किए गए वीडियो में शामिल करने के लिए दो तरीके अपनाए:
- स्ट्रेटेजी A (अल्फा कंपोज़िशन): यह तब लागू होती है जब पूरी क्लिप के दौरान टेक्स्ट क्षेत्र स्थिर रहता है। इस रणनीति ने अंतिम ट्रेनिंग पेयर्स में से 56 पेयर्स प्रदान किए।
- स्ट्रेटेजी B (PISCO-आधारित इंसर्शन): एक फाइन-ट्यून किए गए PISCO-14B इंसर्टर ने पहले फ्रेम के पैच को एक संदर्भ के रूप में उपयोग किया, जिसमें Depth Anything 3 से प्राप्त डेप्थ ने जियोमेट्रिक प्रायर (geometric priors) प्रदान किए। इसने 174 ट्रेनिंग पेयर्स की आपूर्ति की।
ये संख्याएँ निर्माण के दौरान अपनाए गए विकल्प हैं, न कि स्टैटिक बनाम डायनामिक वीडियो की गिनती। डायनामिक वीडियो में विशेष रूप से स्ट्रेटेजी B का उपयोग किया गया; स्टैटिक वीडियो को दोनों रणनीतियों के साथ प्रोसेस किया गया और बेहतर गुणवत्ता वाले परिणाम को रखा गया।
इसका परिणाम ViTeX-Dataset है: 387 सोर्स क्लिप्स, जिनमें 230 पेयर्ड ट्रेनिंग उदाहरण और 157 फ्रोजन मूल्यांकन इनपुट्स (बिना पेयर्ड एडिटेड संदर्भ के) शामिल हैं। सभी 387 वीडियो में, टाइपोग्राफी लगभग 23% प्रिंटेड, 44% हस्तलिखित (handwritten) और 33% कलात्मक (artistic) है। सोर्स स्ट्रिंग्स की लंबाई 1–41 कैरेक्टर और टारगेट स्ट्रिंग्स की लंबाई 1–36 कैरेक्टर के बीच है।
पेयर्ड एडिट्स समीक्षित ट्रेनिंग संदर्भ हैं, न कि कोई एकमात्र अनूठी ग्राउंड-ट्रुथ रेंडरिंग: क्योंकि निर्देश अपने आप में फ़ॉन्ट, मोटाई (weight), रंग या लाइटिंग के प्रभाव को विशिष्ट रूप से निर्धारित नहीं करते हैं।
ViTeX-Edit-14B: ग्लिफ़ वीडियो के साथ गतिमान अक्षरों को एंकर करना
230 पेयर्ड ट्रेनिंग वीडियो का उपयोग करके, शोधकर्ताओं ने Wan2.1-VACE-14B को एक ओपन-सोर्स संदर्भ एडिटर के रूप में ढाला: ViTeX-Edit-14B।
टारगेट-टेक्स्ट एम्बेडिंग्स और सोर्स-वीडियो कंडीशनिंग के साथ-साथ, यह एक स्पष्ट विजुअल गाइड प्राप्त करता है जो सोर्स टेक्स्ट के मोशन को ट्रैक करती है।
Source Video (V) + Dilated Mask (M) ---> Video Condition Unit (VCU)
|
Target String (stgt) ---> uMT5-XXL ----------------------+
|
Source Text Region ---> Font Selection + EasyOCR |
---> CoTracker3 Tracking |
| |
Target String ---> Render + Tracked Homography Warp |
---> Glyph Video (Gvid) |
---> Wan VAE Latents |
---> 64 Pooled Glyph Tokens --------+
|
Wan2.1-VACE-14B
|
Edited Video
ग्लिफ़-वीडियो पाइपलाइन (The Glyph-Video Pipeline)
- फ़ॉन्ट मैचिंग (Font Matching): Qwen3-VL पहले फ्रेम के सोर्स-टेक्स्ट क्षेत्र की जांच करता है और एक क्यूरेटेड लैटिन फ़ॉन्ट लाइब्रेरी से टाइपफेस का चयन करता है। गैर-लैटिन लिपियों के लिए लिपि-विशिष्ट डिफॉल्ट्स का उपयोग किया जाता है।
- ट्रैजेक्ट्री ट्रैकिंग (Trajectory Tracking): EasyOCR फ्रेम 1 में सोर्स-टेक्स्ट चतुर्भुज (quadrilateral) का पता लगाता है, और CoTracker3 शेष 119 फ्रेम्स में इसे ट्रैक करता है।
- सिंथेटिक रेंडरिंग (Synthetic Rendering): डिटेक्ट किए गए बाउंडिंग-बॉक्स रिज़ॉल्यूशन से दोगुने आकार पर टारगेट स्ट्रिंग को काले बैकग्राउंड पर सफेद रंग में रेंडर किया जाता है। फ्रेमवाइज़ होमोग्राफी इसे ट्रैक किए गए चतुर्भुज के अनुसार वार्प करती है, जिससे सोर्स-अलाइन्ड स्थिति, स्केल और पर्सपेक्टिव प्राप्त होता है।
- कंडीशनिंग इंजेक्शन (Conditioning Injection): एक फ्रोजन Wan VAE ग्लिफ़ वीडियो ($G_{\text{vid}}$) को एनकोड करता है। 64 लर्नएबल क्वेरीज के साथ पैच एम्बेडिंग और क्रॉस-अटेंशन पूलिंग एक निश्चित लंबाई का ग्लिफ़-टोकन बंडल ($E_G$) तैयार करती है।
- आर्किटेक्चरल हुक (Architectural Hook): जोड़ी गई कंडीशन क्रॉस-अटेंशन लेयर्स इन टोकन्स को ट्रंक लेयर्स 0, 5, 10, 15, 20, 25, 30 और 35 पर आठ VACE ब्लॉक्स में इंजेक्ट करती हैं। ज़ीरो-इनिशियलाइज़्ड रेजिड्यूअल आउटपुट प्रोजेक्शन इनिशियलाइज़ेशन के समय बैकबोन आउटपुट को सुरक्षित रखते हैं।
ट्रेनिंग के दौरान मुख्य DiT ट्रंक, टेक्स्ट एनकोडर और VAE को फ्रीज रखा जाता है, जबकि VACE ब्रांच और नए कंडीशनिंग मॉड्यूल्स को अपडेट किया जाता है। फ्लो-मैचिंग (Flow-Matching) सुपरवाइज्ड फाइन-ट्यूनिंग दो चरणों में चलती है: पहले $720\text{p} \times 49$ फ्रेम्स पर पांच एपॉक्स, और उसके बाद $720\text{p} \times 121$ फ्रेम्स पर दो एपॉक्स। इसकी रिपोर्ट की गई लागत आठ H100 80GB GPUs पर 576 GPU-घंटे है।
बेंचमार्क परिणाम
ViTeX-Edit-14B मूल्यांकित वीडियो-नेटिव एडिटर्स में उच्चतम औसत CharAcc के साथ-साथ रॉ एडिटर आउटपुट्स में सबसे कम तुलनीय टेक्स्ट-क्रॉप Warp को जोड़ता है:
- CharAcc: 0.688, जबकि VideoPainter का 0.619, Wan2.1-VACE-14B का 0.298 और Kling का 0.208 रहा।
- SeqAcc: 0.341, जो वीडियो-नेटिव एडिटर्स में VideoPainter के 0.364 से कम है। कई प्रति-फ्रेम इमेज एडिटर्स भी इससे अधिक स्कोर करते हैं।
- Warp_c: 1.53, जिसकी तुलना में FLUX-Text का 13.01, Kling का 2.90 और अनएडिटेड सोर्स का 1.27 रहा।
ViTeX-Edit-14B और VideoPainter के शुद्धता अंतराल (correctness intervals) आपस में ओवरलैप होते हैं; ये केवल देखे गए औसत में अंतर हैं, कोई स्थापित सांख्यिकीय सार्थकता (statistical significance) नहीं। VideoPainter के टेम्पोरल स्कोर्स को रैंकिंग से बाहर रखा गया है क्योंकि इसका रूपांतरण लीनियर फ्रेम ब्लेंडिंग का उपयोग करता है, जो मापे गए अवशिष्टों को बदल देता है।
इसलिए संदर्भ एडिटर पूरे बेंचमार्क पर एकतरफा बढ़त बनाने के बजाय एक उपयोगी ऑपरेटिंग पॉइंट प्रदान करता है।
कम्पोजिट कंट्रोल: बैकग्राउंड पिक्सेल को दोबारा बनाने की ज़रूरत नहीं
एक व्यावहारिक अंतर्दृष्टि Composite से मिलती है, जो प्रत्येक एडिटर पर लागू किया गया एक डिटर्मिनिस्टिक और ट्रेनिंग-मुक्त पोस्ट-प्रोसेसिंग रैपर है।
कुछ तरीके पूरे फ्रेम्स को दोबारा बनाते हैं, जबकि बाउंडिंग-बॉक्स-लोकल एडिटर्स पहले से ही अधिकांश बाहरी पिक्सेल सीधे सोर्स से कॉपी कर लेते हैं। Composite तीन चरणों के माध्यम से टेक्स्ट सिंथेसिस को बैकग्राउंड रेस्टोरेशन से अलग करने में मदद करता है:
- मास्क को $41 \times 41$ स्ट्रक्चरिंग एलिमेंट के साथ डाइलेट करके और उसमें से मूल मास्क को घटाकर एक सराउंडिंग बैंड का निर्माण करना।
- CIELAB स्पेस में Reinhard मीन-वेरिएंस कलर ट्रांसफर के लिए उस बैंड में सोर्स और प्रेडिक्शन स्टैटिस्टिक्स का उपयोग करना।
- डिस्टेंस ट्रांसफॉर्म से प्राप्त 4-पिक्सेल फेदर्ड बाउंड्री के साथ सुधारे गए प्रेडिक्शन को सोर्स पर ब्लेंड करना।
शोध-पत्र में आठ CPU वर्कर्स का उपयोग करके 157 मूल्यांकन वीडियो को प्रोसेस करने में लगभग पांच मिनट का समय लगने की रिपोर्ट दी गई है। ViTeX-Edit-14B के लिए, Composite ने PSNR-loc को 29.08 से बढ़ाकर 42.95 dB कर दिया और DreamSim-loc को 0.024 से घटाकर 0.002 कर दिया। SeqAcc में मामूली बदलाव आया, जो 0.341 से 0.345 हो गया।
सभी आठ बेसलाइन्स पर, Composite लोकैलिटी PSNR को लगभग 43 dB तक ले आया। इस सुधार का अधिकांश हिस्सा मूल सोर्स पिक्सेल को बहाल करने से आता है। यह इस बात का सबूत नहीं है कि प्रत्येक अंतर्निहित एडिटर ने बैकग्राउंड प्रिजर्वेशन को बेहतर तरीके से सीखा है।
| Method | Family | SeqAcc ($\uparrow$) | CharAcc ($\uparrow$) | TTS ($\uparrow$) | Warp_c ($\downarrow$) | MUSIQ_f ($\uparrow$) | PSNR-loc ($\uparrow$) | DreamSim-loc ($\downarrow$) |
|---|---|---|---|---|---|---|---|---|
| Source Video | — | 0.000 | 0.317 | 0.760 | 1.27 | 70.33 | $\infty$ | 0.000 |
| FLUX-Text | Image | 0.528 | 0.737 | 0.326 | 13.01 | 70.26 | 31.49 | 0.012 |
| TextCtrl | Image | 0.475 | 0.734 | 0.511 | 2.09 | 70.32 | 41.14 | 0.004 |
| RS-STE | Image | 0.354 | 0.626 | 0.534 | 1.81 | 69.57 | 37.00 | 0.007 |
| AnyText2 | Image | 0.280 | 0.633 | 0.382 | 3.95 | 66.68 | 25.56 | 0.043 |
| TextCtrl + AnyV2V | Prop. | 0.057 | 0.308 | 0.257 | 3.97 | 69.41 | 21.08 | 0.073 |
| Wan2.1-VACE-14B | Video | 0.000 | 0.298 | 0.689 | 1.56 | 70.54 | 35.21 | 0.007 |
| VideoPainter | Video | 0.364 | 0.619 | 0.606 | 3.35† | 67.16 | 28.56 | 0.024 |
| Kling Video 3.0 Omni | Video | 0.000 | 0.208 | 0.641 | 2.90 | 72.23 | 21.18 | 0.061 |
| ViTeX-Edit-14B | Video | 0.341 | 0.688 | 0.648 | 1.53 | 69.64 | 29.08 | 0.024 |
| ViTeX-Edit-14B (Composite) | Post | 0.345 | 0.689 | 0.666 | 1.56 | 70.27 | 42.95 | 0.002 |
Source एक अनरैंक्ड संदर्भ है, और Composite एक अलग से रिपोर्ट किया गया पोस्ट-प्रोसेसिंग कंट्रोल है। † VideoPainter के टेम्पोरल मानों को रैंकिंग से बाहर रखा गया है क्योंकि 8 से 24 fps में इसका रूपांतरण लीनियर ब्लेंड इंटरपोलेशन का उपयोग करता है। बेसलाइन Composite शुद्धता की जांच केवल एक सैंपल पर की गई थी; केवल ViTeX-Edit-14B Composite पेयर का पूरी तरह से पुनर्मूल्यांकन किया गया था।
यह क्यों मायने रखता है: Document AI और OCR के लिए व्यावहारिक निष्कर्ष
सटीक विजुअल टेक्स्ट एडिटिंग में रुचि रखने वाली टीमों के लिए ViTeX-Bench चार व्यावहारिक सबक सुझाता है। इनके निष्कर्षों को उसी दायरे में समझा जाना चाहिए जिसका यह बेंचमार्क वास्तव में परीक्षण करता है।
1. जनरेटिव पाइपलाइन्स में, OCR आउटपुट के मूल्यांकन में मदद कर सकता है
ViTeX-Bench जनरेट किए गए टेक्स्ट के मूल्यांकनकर्ता (evaluator) के रूप में OCR का उपयोग करता है। Kling के उच्च MUSIQ स्कोर के साथ शून्य SeqAcc का होना यह दर्शाता है कि सामान्य विजुअल क्वालिटी कभी भी अनुरोधित अक्षरों की जांच का विकल्प नहीं बन सकती।
हालाँकि, OCR कोई अचूक निर्णायक नहीं है। सोर्स-डिटेक्टेबल फ्रेम्स पर, रिकग्नाइज़र ने मौजूदा सोर्स टेक्स्ट के मुकाबले 0.851 एग्जैक्ट-मैच एक्यूरेसी और 0.966 CharAcc हासिल की। एक मेथड-ब्लाइंडेड मानव ट्रांसक्रिप्शन अध्ययन ने OCR की मेथड-लेवल CharAcc रैंकिंग के साथ मजबूत सहमति जताई (Spearman $\rho = 0.95$), लेकिन पूर्ण स्कोर्स में अंतर था।
व्यावहारिक सबक यह है कि कैरेक्टर चेक्स को कैलिब्रेशन और मानवीय निरीक्षण के साथ जोड़ा जाए। यह शोध-पत्र OCR-आधारित मूल्यांकन का समर्थन करता है, मूल्यांकन के अन्य सभी रूपों को पूरी तरह से बदलने का नहीं। यहाँ यह ध्यान देना भी प्रासंगिक है कि अंग्रेज़ी में सशक्त OCR प्रदर्शन देवनागरी जैसी जटिल और मात्रा-युक्त लिपि में अच्छे OCR की गारंटी नहीं देता।
2. मल्टी-मीट्रिक मूल्यांकन बेहद आवश्यक है
Wan2.1-VACE-14B SeqAcc 0 होने के बावजूद FLUX-Text, TextCtrl, RS-STE और ViTeX-Edit-14B के साथ बेंचमार्क के रॉ-आउटपुट परेटो सेट (Pareto set) में शामिल है।
यह इसलिए संभव है क्योंकि कोई भी प्रतिस्पर्धी इसके तीनों प्राथमिक औसत स्कोर्स की बराबरी या सुधार करने के साथ-साथ कम से कम एक स्कोर में स्पष्ट सुधार नहीं कर पाता। परेटो सदस्यता केवल एक ट्रेड-ऑफ को दर्शाती है; यह किसी सफल संपादन को प्रमाणित नहीं करती।
यदि कोई मूल्यांकन टारगेट टेक्स्ट की जांच किए बिना केवल प्रिजर्वेशन और स्थिरता को पुरस्कृत करता है, तो अपरिवर्तित आउटपुट भी प्रतिस्पर्धी लग सकते हैं। इसलिए शुद्धता, टेम्पोरल क्वालिटी और लोकैलिटी की व्याख्या एक साथ की जानी चाहिए।
3. टेक्स्ट सिंथेसिस को बैकग्राउंड रेस्टोरेशन से अलग रखें
Composite प्रयोग जनरेट किए गए क्षेत्र के आसपास सोर्स पिक्सेल को बहाल करने से मिलने वाले महत्वपूर्ण लोकैलिटी लाभ को प्रदर्शित करता है। यह डेवलपर्स को पूरे फ्रेम के पुनर्निर्माण के प्रभावों से सिंथेसिस की गुणवत्ता को अलग पहचानने के लिए एक ठोस नियंत्रण देता है।
यह यह साबित नहीं करता कि एंड-टू-एंड ट्रेनिंग अक्षम है, या कम्पोज़िटिंग हमेशा बेहतर होती है। कलर ट्रांसफर, फेदरिंग और एन्कोडिंग पठनीयता को बदल सकते हैं, और हर बेसलाइन के लिए पोस्ट-कम्पोज़िट टेक्स्ट और टेक्स्ट-क्रॉप टेम्पोरल स्कोर पूरी तरह से रिपोर्ट नहीं किए गए थे।
स्थानीयकृत संपादनों के लिए, इसका निष्कर्ष सीमित लेकिन उपयोगी है: मॉडल को प्रिजर्वेशन लाभ का श्रेय देने से पहले यह मूल्यांकन करें कि सोर्स-पिक्सेल रेस्टोरेशन का इसमें कितना योगदान है।
4. टेक्स्ट एडिटिंग का समय के सापेक्ष (Across Time) मूल्यांकन ज़रूरी है
एक सही स्क्रीनशॉट कभी भी किसी सफल वीडियो एडिट को साबित नहीं कर सकता। FLUX-Text के परिणाम दर्शाते हैं कि कैसे मजबूत फ्रेम-स्तरीय टेक्स्ट सटीकता बड़े टेम्पोरल रेसिड्यूअल्स के साथ सह-अस्तित्व में रह सकती है, जबकि प्रोपेगेशन बेसलाइन दिखाती है कि शुरुआत में सही किया गया एडिट आगे चलकर कैसे भटक सकता है।
यह वीडियो-स्तरीय मूल्यांकन को इस शोध के लिए अनिवार्य बनाता है। यह संबंधित OCR वर्कफ़्लो के लिए भी नए प्रश्न खड़े करता है, लेकिन ViTeX-Bench एक एडिटिंग बेंचमार्क है—न कि डिप्लॉयमेंट में डॉक्यूमेंट एक्सट्रैक्शन, मोबाइल स्कैनिंग या रिकग्निशन सिस्टम्स का कोई प्रत्यक्ष परीक्षण।
इसके साक्ष्य इस बात से संबंधित हैं कि मूल दृश्य को संरक्षित रखते हुए अनुरोधित टेक्स्ट रिप्लेसमेंट सही और दृश्य रूप से सुसंगत बना रहता है या नहीं।
निष्पक्ष सीमाएँ: किन पहलुओं पर अभी काम होना बाकी है
हालाँकि ViTeX-Bench एक पुनरुत्पादक ढांचा प्रदान करता है, लेकिन शोधकर्ता इसकी सीमाओं को लेकर पूरी तरह स्पष्ट हैं:
- लैटिन-लिपि का भारी पूर्वाग्रह (Heavy Latin-Script Bias): 157 मूल्यांकन क्लिप्स में से 150 लैटिन लिपि का उपयोग करती हैं। शेष सात में चार चीनी, एक जापानी और दो सिरिलिक क्लिप्स शामिल हैं। AnyText2 इस छोटे से हिस्से में 0.295 CharAcc के साथ सबसे आगे है; ViTeX-Edit-14B सहित अन्य आठ रॉ एडिटर्स 0.19 से कम स्कोर करते हैं। यह एक सीमित डायग्नोस्टिक है, जो लिपि-वार व्यापक निष्कर्ष निकालने के लिए पर्याप्त नहीं है।
- कठिन ज्यामिति और गति (Difficult Geometry and Motion): घने लेआउट, घुमावदार सतहें, गंभीर ऑक्लूजन (occlusion) और अत्यधिक मोशन इसमें बहुत कम शामिल हैं। सैंपल की गई क्लिप्स में रैंकिंग की स्थिरता उस वितरण से परे मॉडल के प्रदर्शन को प्रमाणित नहीं करती।
- पाइपलाइन-जनरेटेड ट्रेनिंग डेटा: 230 पेयर्ड संदर्भों में रेंडरिंग त्रुटियां रह सकती हैं। उनका OCR CharAcc 0.790 है, जबकि कैलिब्रेशन क्रॉप्स पर मानवीय ट्रांसक्रिप्शन 0.917 तक पहुंचता है। ये माप OCR की सीमाओं और रेंडरिंग गुणवत्ता को लेकर अनिश्चितता दोनों को दर्शाते हैं। प्रारंभिक टारगेट रीसैंपलिंग और फर्स्ट-फ्रेम पुनः प्रयास (retry) की संख्या लॉग नहीं की गई थी।
- सीमित स्वतंत्र सत्यापन (Limited Independent Validation): मेथड-ब्लाइंडेड ट्रांसक्रिप्शन अध्ययन केवल एक लेखक द्वारा किया गया था। तीन गैर-लेखक रेटर्स ने 70 आउटपुट्स का मूल्यांकन किया, जिनमें टेक्स्ट शुद्धता या टेम्पोरल क्वालिटी की तुलना में लोकैलिटी पर सहमति बहुत कम (ऑर्डिनल $\alpha = 0.37$) थी। स्वतंत्र मास्क री-एनोटेशन में उसी मॉडल-असिस्टेड पाइपलाइन का उपयोग करके 12 क्लिप्स को कवर किया गया था।
- प्रशिक्षण लागत और अनसुलझे घटक: फाइन-ट्यूनिंग के लिए 576 GPU-घंटे की आवश्यकता थी, और इन्फेरेंस 50-स्टेप पास का उपयोग करता है। शोध-पत्र में इन्फेरेंस लेटेंसी की रिपोर्ट नहीं दी गई है और न ही इसकी रियल-टाइम उपयुक्तता स्थापित की गई है। नियंत्रित कंपोनेंट एब्लेशन और ट्रेनिंग-स्केल अध्ययन भविष्य के काम के रूप में बाकी हैं।
ViTeX-Bench क्या स्थापित करता है
ViTeX-Bench वीडियो सीन टेक्स्ट एडिटिंग को एक समर्पित डेटासेट और एक ठोस मापन प्रोटोकॉल प्रदान करता है। मूल्यांकित सिस्टम्स में सही अक्षर, टेम्पोरल स्थिरता और सीन का संरक्षण एक साथ हासिल करना अब भी बेहद कठिन बना हुआ है। एक पॉलिश्ड वीडियो में गलत टेक्स्ट हो सकता है, और सटीक व्यक्तिगत फ्रेम मिलकर भी एक अस्थिर क्लिप बना सकते हैं।
मोशन-अलाइन्ड ग्लिफ़ कंडीशनिंग ViTeX-Edit-14B को एक उपयोगी संतुलन देती है: मूल्यांकित वीडियो-नेटिव एडिटर्स में उच्चतम औसत CharAcc और रॉ आउटपुट्स में सबसे कम तुलनीय टेक्स्ट-क्रॉप Warp। यह इन ट्रेड-ऑफ्स को पूरी तरह खत्म नहीं करता और न ही यह स्थापित करता है कि कौन सा आर्किटेक्चरल घटक किस सुधार के लिए जिम्मेदार है।
शोध-पत्र Hugging Face और GitHub पर डेटासेट, मूल्यांकन कोड और संदर्भ मॉडल वेट्स जारी करने की जानकारी देता है। कोड और वेट्स Apache-2.0 लाइसेंस के तहत सूचीबद्ध हैं; डेटासेट गैर-व्यावसायिक शोध के लिए CC-BY-NC 4.0 के तहत है, जिसमें पुनर्वितरित InternVid-व्युत्पन्न भागों के लिए अतिरिक्त अपस्ट्रीम ShareAlike दायित्व शामिल हैं। साथ मिलकर, ये संसाधन वास्तविक वीडियो में सटीक टेक्स्ट रिप्लेसमेंट का अध्ययन करने के लिए एक पुनरुत्पादक (reproducible) शुरुआती बिंदु प्रदान करते हैं।