La edición de texto en escenas de video aún falla: cómo ViTeX-Bench expone los trade-offs
Basado en: ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing — Xinghao Chen, Xiangbo Gao, Jiongze Yu, Yuheng Wu, Zhengzhong Tu
Imagina un video de cinco segundos de alguien que lleva una caja de cartón por un pasillo. Ahora intenta cambiar la etiqueta impresa en esa caja de "FRAGILE" a "STORAGE".
Suena como una petición menor. La generación de video se ha vuelto cada vez más realista y controlable. Sin embargo, reemplazar siete letras sobre una superficie en movimiento manteniendo intacto el resto del video combina varios problemas que los editores actuales todavía luchan por resolver a la vez.
Un editor puede generar un clip impecable pero con los caracteres equivocados. Otro puede deletrear el reemplazo correctamente en fotogramas individuales, pero hacer que los glifos oscilen a medida que se reproduce el video. Y otro más puede preservar la escena y su movimiento mientras deja intacto el texto original en su lugar.
Este fallo en la edición de texto en escenas de video es el foco de ViTeX-Bench, un artículo publicado en arXiv el 30 de septiembre de 2026 por Xinghao Chen, Xiangbo Gao, Jiongze Yu, Yuheng Wu y Zhengzhong Tu de Texas A&M University. Los autores construyeron un conjunto de datos de benchmark de 387 videos, diseñaron un protocolo de evaluación de 13 métricas anclado en reconocimiento óptico de caracteres (OCR), evaluaron ocho sistemas de referencia (baselines) y presentaron un editor de referencia de código abierto llamado ViTeX-Edit-14B.
Para cualquiera que trabaje en IA documental (document AI), comprensión de video o edición visual, el artículo ofrece una mirada reveladora sobre la brecha que existe entre producir un video convincente y realizar un cambio preciso y localizado.
El trilema: por qué reemplazar texto en video es tan engañosamente difícil
Para comprender la tarea, observemos los tres requisitos que toda edición de texto en video debe satisfacer simultáneamente:
- Corrección a nivel de caracteres: El modelo debe renderizar la secuencia objetivo solicitada. Caracteres omitidos, sustituciones y garabatos de apariencia verosímil pueden arruinar la edición.
- Consistencia temporal: El texto debe permanecer adherido a la superficie subyacente. Si la cámara hace un paneo o el objeto se inclina, el reemplazo debe seguir el movimiento y la perspectiva de la escena manteniendo una apariencia coherente.
- Localidad de la edición: El video circundante debe permanecer sin cambios. La geometría del fondo, la iluminación y los sujetos en movimiento deben sobrevivir intactos al reemplazo del texto.
En la edición de imágenes estáticas, sistemas como FLUX-Text pueden renderizar caracteres precisos en fotogramas individuales. Pero el video añade el tiempo. Las ediciones independientes fotograma a fotograma no ofrecen un acoplamiento temporal explícito, mientras que propagar la edición del primer fotograma puede introducir desvanecimientos o desviaciones (drift). Los editores nativos de video modelan el movimiento, pero eso no garantiza el control sobre una secuencia exacta de caracteres.
Los recursos existentes abordan partes de este problema. Los benchmarks generales de edición de video miden el seguimiento de instrucciones, la calidad visual, la consistencia temporal y la preservación. También existen trabajos previos de reemplazo de texto en video, incluyendo STRIVE. La contribución de ViTeX-Bench es una combinación dedicada de datos de entrenamiento emparejados y un protocolo de evaluación congelado que verifica el texto solicitado a lo largo del tiempo, junto con la calidad temporal y la preservación de la escena.
La galería de fallos: cómo fallan los editores actuales
Los autores evaluaron ocho sistemas de referencia agrupados en cuatro familias de edición sobre una partición de prueba (test split) congelada de 157 clips del mundo real a 720p, cada uno con 120 fotogramas a 24 fotogramas por segundo. Sus resultados y ejemplos seleccionados exponen cuatro modos de fallo recurrentes.
1. Estable pero sin cambios (Wan2.1-VACE-14B)
Wan2.1-VACE-14B es un editor de video condicionado por máscara. En el ejemplo del artículo "Change NEW to OLD", devuelve una región de texto que permanece esencialmente como aparecía en la fuente.
A lo largo de la evaluación, alcanzó una precisión de secuencia (SeqAcc) de 0.000 y una precisión de caracteres (CharAcc) de 0.298. No obstante, su estabilidad temporal de texto (TTS) fue de 0.689. Para ponerlo en contexto, la fuente sin editar obtuvo un CharAcc de 0.317 frente a las cadenas de reemplazo solicitadas, lo que demuestra que puede existir una superposición parcial de caracteres sin que se haya producido una edición exitosa.
El artículo no determina por qué el modelo conserva el texto de origen. Establece el fallo práctico: un texto decodificado estable y un bajo error temporal no demuestran que el reemplazo solicitado haya ocurrido.
2. Correcto fotograma a fotograma, temporalmente caótico (FLUX-Text)
¿Qué sucede si se toma un editor de texto en escenas para imágenes como FLUX-Text y se ejecuta de forma independiente en cada fotograma?
La corrección del texto mejora sustancialmente respecto a varias líneas base basadas en video. FLUX-Text lidera a los editores directos (raw editors) evaluados en corrección media de texto, registrando un SeqAcc de 0.528 y un CharAcc de 0.737. Sin embargo, sus fotogramas generados de forma independiente muestran una inestabilidad temporal considerable.
En la métrica Warp sobre el recorte de texto (Warp_c), que mide el error de píxeles compensado por movimiento utilizando el flujo óptico del video original, FLUX-Text obtiene una puntuación de 13.01, en comparación con el 1.27 del video fuente sin modificar. Su puntuación de parpadeo en el recorte de texto (Flicker_c) alcanza 14.81, aproximadamente cuatro veces el valor del video original de 3.68.
El ejemplo seleccionado en el artículo ilustra claramente el problema: los caracteres pueden ser legibles en fotogramas individuales mientras que su apariencia cambia de manera inconsistente entre fotogramas adyacentes.
3. Pulido pero incorrecto (Kling Video 3.0 Omni)
Kling Video 3.0 Omni representa a la familia de video a video guiada por instrucciones (instruction-guided video-to-video). Los autores consultaron su interfaz web pública con los videos de origen y una plantilla fija de instrucciones de edición.
Kling logró las puntuaciones medias de MUSIQ más altas entre los editores evaluados, incluyendo una puntuación de fotograma completo de 72.23, por encima del 70.33 del video original. Pero las mediciones de texto cuentan una historia diferente: el SeqAcc fue de 0.000 y el CharAcc de 0.208. En el ejemplo seleccionado de "SOC" a "COC", el resultado parece verosímil pero no renderiza la cadena solicitada correctamente.
Estos resultados corresponden a la configuración probada y a la partición de evaluación utilizada. Dentro de ese alcance, dejan clara la distinción: una alta puntuación de calidad perceptual no demuestra un reemplazo de texto exitoso.
4. La metamorfosis con deriva (TextCtrl + AnyV2V)
Otro enfoque es la edición del primer fotograma seguida de propagación: editar el fotograma 1 con TextCtrl y luego usar AnyV2V con un modelo base (backbone) I2VGen-XL para trasladar la edición a lo largo del tiempo.
El ejemplo seleccionado en el artículo comienza con una edición correcta en el primer fotograma, pero el texto renderizado y la escena circundante sufren desviaciones (drift) a medida que avanza el clip. A lo largo de la evaluación, esta combinación obtuvo un SeqAcc de 0.057 y un CharAcc de 0.308.
Su relación señal-ruido pico de localidad (PSNR-loc) fue de 21.08 dB, mientras que el LPIPS de localidad alcanzó 0.225, la distancia LPIPS media más alta —y por ende la peor— entre los editores directos evaluados. Propagar una edición no garantiza por sí solo ni la corrección persistente del texto ni la preservación de la escena circundante.
El protocolo ViTeX-Bench: 13 métricas en tres ejes
Para convertir estos fallos en comparaciones medibles, ViTeX-Bench distribuye 13 métricas en tres ejes complementarios. Cada eje cuenta con una métrica primaria, y los autores comparan sus trade-offs mediante un conjunto de Pareto en lugar de una puntuación agregada ponderada.
+------------------------------------------------------------------------+
| Evaluación de ViTeX-Bench |
+------------------------------------------------------------------------+
| Eje 1: Corrección del texto Primaria: SeqAcc (Exact Substring Match) |
| ¿Se lee el texto de forma Diagnósticas: CharAcc, TTS |
| correcta? |
+------------------------------------------------------------------------+
| Eje 2: Visual y temporal Primaria: Warp_c (MAE compensado por |
| ¿Es el video natural/estable? movimiento) |
| Diagnósticas: Warp_f, Flicker_f/c, |
| MUSIQ_f/c |
+------------------------------------------------------------------------+
| Eje 3: Localidad de edición Primaria: DreamSim-loc (Dist. perceptual)|
| ¿Permanece inalterada la Diagnósticas: PSNR, SSIM, LPIPS |
| escena circundante? |
+------------------------------------------------------------------------+
Eje 1: Corrección del texto (El eje de OCR)
El benchmark ejecuta PP-OCRv5 de PaddleOCR sobre recortes de la región de texto. Cada video se redirige a un reconocedor para caracteres latinos, chinos, japoneses o cirílicos según los bloques Unicode del texto de origen. Se descartan las cajas reconocidas con una confianza inferior a 0.30, y las cadenas se someten a normalización Unicode, conversión a minúsculas (case folding) y eliminación de espacios en blanco y signos de puntuación.
Para reducir factores de confusión cuando el texto de origen está oculto o borroso, la corrección se califica en fotogramas detectables en la fuente (source-detectable frames): fotogramas donde el OCR de la fuente coincide con la cadena de origen anotada con una similitud de al menos 0.5. De los 157 clips de evaluación, 152 contenían dichos fotogramas. Cinco no tuvieron ninguno bajo este criterio de OCR y fueron excluidos de las medias de SeqAcc y CharAcc; esto no demuestra que su texto fuera ilegible para una persona.
Los autores comparan cadenas utilizando la distancia de edición de subcadenas ($d_{\text{sub}}$). A diferencia de la distancia estándar de Levenshtein, los prefijos y sufijos no coincidentes de la cadena candidata del OCR no penalizan. Si el objetivo es "BIG" y el OCR devuelve "ABIGA", el objetivo aparece exactamente dentro del candidato, lo que da una distancia de 0.
- SeqAcc (Primaria, $\uparrow$): La fracción de fotogramas detectables en la fuente cuyo OCR de salida normalizado contiene una coincidencia exacta de subcadena con el objetivo.
- CharAcc ($\uparrow$): Uno menos la distancia de edición de subcadena dividida por la longitud del objetivo, lo que otorga crédito parcial a las coincidencias aproximadas.
- TTS (Temporal Text Stability, $\uparrow$): La fracción de pares de fotogramas adyacentes detectables en la fuente con cadenas de salida decodificadas idénticas. Se omiten los videos que no dispongan de un par apto.
Las medias reportadas se calculan a nivel de video. De manera crucial, TTS mide la estabilidad de la cadena decodificada, no su corrección: la fuente sin editar obtiene 0.760 de TTS a pesar de no haber realizado nunca la edición solicitada. Su puntuación por debajo de 1 también demuestra que el propio OCR puede ser inestable entre fotogramas.
Eje 2: Calidad visual y temporal (El eje del movimiento)
Evaluar la calidad temporal requiere distinguir los cambios directos entre fotogramas de las diferencias residuales tras tener en cuenta el movimiento de la fuente.
Para Warp, el benchmark calcula el flujo óptico con RAFT en el video de origen. Utiliza ese flujo para deformar hacia atrás (backward-warp) el fotograma editado en $t+1$ hacia el fotograma editado en $t$, y luego mide el error absoluto medio (MAE) sobre los píxeles de flujo válidos.
- Warp_c (Primaria, $\downarrow$): Warp dentro de un cuadro delimitador (bounding box) estacionario que encierra toda la trayectoria de la máscara de texto, ampliado con un margen de 16 píxeles. En el estudio humano de los autores, tuvo una correlación de Spearman más fuerte con las calificaciones temporales ($\rho = -0.40$) que el Warp de fotograma completo ($\rho = -0.20$), lo que respalda su elección como métrica temporal primaria.
- Flicker_f / Flicker_c ($\downarrow$): Diferencias directas entre fotogramas adyacentes sin compensación de movimiento.
- MUSIQ_f / MUSIQ_c ($\uparrow$): Estimaciones sin referencia (no-reference) de la calidad perceptual de la imagen, medidas sobre fotogramas completos o recortes de texto.
MUSIQ de fotograma completo utiliza todos los fotogramas; MUSIQ de recorte utiliza los fotogramas detectables en la fuente. Flicker y Warp pueden disminuir mediante suavizado o salidas prácticamente constantes, por lo que los valores bajos deben interpretarse junto con la corrección del texto y la calidad perceptual.
Eje 3: Localidad de la edición (El eje de preservación)
Para medir los cambios fuera de la región editable, el benchmark construye un fotograma de comparación exclusivo de localidad: los píxeles predichos permanecen fuera de la máscara, mientras que los píxeles originales reemplazan la predicción dentro de ella. Dicho fotograma se compara entonces con la fuente.
- DreamSim-loc (Primaria, $\downarrow$): Una distancia perceptual aprendida utilizada para evaluar las diferencias atribuibles a la escena circundante.
- PSNR-loc y SSIM-loc ($\uparrow$): Medidas de similitud basadas en píxeles.
- LPIPS-loc ($\downarrow$): Una distancia perceptual aprendida complementaria a las medidas basadas en píxeles.
Estas métricas evalúan la preservación desde diferentes perspectivas. Ninguna de ellas por sí sola demuestra una edición de texto exitosa.
Cómo construyeron los autores 230 videos de entrenamiento emparejados
Un obstáculo central en la edición de texto en escenas de video es la limitada disponibilidad de datos emparejados de video real. Obtener dos grabaciones por lo demás idénticas con diferente texto sobre la misma superficie es sumamente difícil.
Los autores abordaron esto mediante un proceso (pipeline) asistido por modelos con intervención humana en el bucle (human-in-the-loop) que produjo 230 videos de entrenamiento emparejados a partir de material de Panda-70M e InternVid.
- Generación de máscaras: Un anotador colocó puntos clave positivos y negativos utilizando una interfaz web personalizada de SAM 3. SAM 3 propagó la máscara a través del video; el anotador la inspeccionó y añadió correcciones según fue necesario. A continuación, un núcleo elíptico de $25 \times 25$ píxeles dilató la máscara durante tres iteraciones.
- Generación de texto objetivo (Target Prompting): Qwen3-VL-32B-Instruct leyó un recorte del primer fotograma y propuso una cadena objetivo diferente con una longitud aproximadamente equivalente y un contexto de escena adecuado. Su instrucción solicitaba evitar contenido ofensivo, político o marcas registradas, y un anotador auditó los candidatos.
- Borrado del fondo: Removal-1.3B, un modelo Wan2.1-VACE-1.3B ajustado (fine-tuned) publicado con PISCO, generó un video de fondo limpio eliminando el texto y los efectos asociados, tales como sombras y reflejos.
- Síntesis del primer fotograma: Gemini 3 Pro Image de Google ("Nano Banana Pro") reescribió el primer fotograma. Las ediciones fallidas se reintentaron y se revisaron manualmente. Una segunda pasada con SAM 3 extrajo el nuevo parche de texto ($p_1^{\text{new}}$).
Posteriormente, los autores emplearon dos vías para insertar ese parche en el video limpio:
- Estrategia A (Composición Alfa): Aplicable cuando la región de texto permanece estática a lo largo de todo el clip. Esta estrategia aportó 56 de los pares de entrenamiento finales.
- Estrategia B (Inserción basada en PISCO): Un insertador PISCO-14B ajustado utilizó el parche del primer fotograma como referencia, con la profundidad estimada por Depth Anything 3 aportando priors geométricos. Proporcionó 174 pares de entrenamiento.
Estos recuentos responden a decisiones de construcción, no al número total de videos estáticos frente a dinámicos. Los videos dinámicos utilizaron la Estrategia B exclusivamente; los videos estáticos se procesaron con ambas estrategias y se conservó el resultado de mayor calidad.
El resultado es ViTeX-Dataset: 387 clips de origen, con 230 ejemplos de entrenamiento emparejados y 157 entradas de evaluación congeladas sin referencias editadas emparejadas. En el conjunto de los 387 videos, la tipografía es aproximadamente un 23% impresa, un 44% manuscrita y un 33% artística. Las cadenas de origen varían entre 1 y 41 caracteres; las cadenas objetivo varían entre 1 y 36 caracteres.
Las ediciones emparejadas son referencias de entrenamiento revisadas, no representaciones únicas de verdad fundamental (ground truth): la instrucción no determina de forma unívoca la fuente, el grosor, el color o la interacción con la iluminación.
ViTeX-Edit-14B: Anclando caracteres en movimiento mediante videos de glifos
A partir de los 230 videos de entrenamiento emparejados, los autores adaptaron Wan2.1-VACE-14B para crear un editor de referencia de código abierto: ViTeX-Edit-14B.
Junto con las incrustaciones (embeddings) del texto objetivo y el condicionamiento del video de origen, recibe una guía visual explícita que sigue el movimiento del texto original.
Video fuente (V) + Máscara dilatada (M) ---> Video Condition Unit (VCU)
|
Cadena objetivo (stgt) ---> uMT5-XXL -------------------+
|
Región de texto fuente ---> Selección de fuente + EasyOCR
---> Rastreo con CoTracker3 |
| |
Cadena objetivo ---> Render + Warp por homografía rastreada
---> Video de glifos (Gvid) |
---> Latentes de Wan VAE |
---> 64 tokens de glifos agrupados -----+
|
Wan2.1-VACE-14B
|
Video editado
El pipeline de video de glifos
- Emparejamiento de fuentes (Font Matching): Qwen3-VL inspecciona la región del texto de origen en el primer fotograma y selecciona una tipografía de una biblioteca seleccionada de fuentes latinas. Los alfabetos no latinos utilizan valores predeterminados específicos para cada escritura.
- Seguimiento de trayectoria (Trajectory Tracking): EasyOCR detecta el cuadrilátero del texto de origen en el fotograma 1, y CoTracker3 lo rastrea a lo largo de los 119 fotogramas restantes.
- Renderizado sintético: La cadena objetivo se renderiza en blanco sobre negro al doble de la resolución del cuadro delimitador detectado. Homografías por fotograma la deforman según el cuadrilátero rastreado, proporcionando posición, escala y perspectiva alineadas con la fuente.
- Inyección de condicionamiento: Un VAE congelado de Wan codifica el video de glifos ($G_{\text{vid}}$). La incrustación de parches (patch embedding) y un agrupamiento por atención cruzada (cross-attention pooling) con 64 consultas (queries) aprendibles producen un paquete de tokens de glifos de longitud fija ($E_G$).
- Punto de anclaje arquitectónico (Architectural Hook): Capas adicionales de atención cruzada de condición inyectan dichos tokens en ocho bloques VACE en las capas 0, 5, 10, 15, 20, 25, 30 y 35 del tronco principal (trunk). Proyecciones residuales de salida inicializadas a cero preservan la salida del backbone en la inicialización.
El entrenamiento congela el tronco principal del DiT, el codificador de texto y el VAE, mientras actualiza la rama VACE y los nuevos módulos de condicionamiento. El ajuste fino supervisado mediante Flow-Matching se ejecuta en dos etapas: cinco épocas a $720\text{p} \times 49$ fotogramas, seguidas de dos épocas a $720\text{p} \times 121$ fotogramas. El costo reportado es de 576 horas de GPU en ocho GPU H100 de 80GB.
Resultados del benchmark
ViTeX-Edit-14B combina el CharAcc medio más alto entre los editores nativos de video evaluados con el Warp en recorte de texto comparable más bajo entre las salidas directas de los editores:
- CharAcc: 0.688, en comparación con el 0.619 de VideoPainter, el 0.298 de Wan2.1-VACE-14B y el 0.208 de Kling.
- SeqAcc: 0.341, por debajo del 0.364 de VideoPainter entre los editores nativos de video. Varios editores de imágenes que operan fotograma a fotograma también obtienen una puntuación mayor.
- Warp_c: 1.53, frente al 13.01 de FLUX-Text, el 2.90 de Kling y el 1.27 del video original sin editar.
Los intervalos de corrección de ViTeX-Edit-14B y VideoPainter se superponen; se trata de diferencias en medias observadas, no de significancia estadística por pares comprobada. Las puntuaciones temporales de VideoPainter se excluyen del ranking debido a que su adaptación utiliza interpolación lineal de fotogramas (linear frame blending), lo que altera los residuos medidos.
Por lo tanto, el editor de referencia proporciona un punto de operación útil, más que una victoria rotunda en todo el benchmark.
El control Composite: no reinventar los píxeles de fondo
Una conclusión práctica proviene de Composite, un módulo (wrapper) de posprocesamiento determinista y libre de entrenamiento aplicado a cada editor.
Algunos métodos reconstruyen fotogramas enteros, mientras que los editores locales al cuadro delimitador ya copian la mayoría de los píxeles exteriores directamente de la fuente. Composite ayuda a separar la síntesis de texto de la restauración del fondo mediante tres pasos:
- Construir una banda perimetral dilatando la máscara con un elemento estructurante de $41 \times 41$ y restando la máscara original.
- Utilizar las estadísticas de la fuente y de la predicción en esa banda para una transferencia de color de media-varianza de Reinhard en el espacio CIELAB.
- Fundir (blend) la predicción corregida sobre la fuente con un borde suavizado (feathered) de 4 píxeles derivado de transformadas de distancia.
El artículo reporta aproximadamente cinco minutos para procesar los 157 videos de evaluación utilizando ocho procesos de CPU (workers). Para ViTeX-Edit-14B, Composite elevó el PSNR-loc de 29.08 a 42.95 dB y redujo DreamSim-loc de 0.024 a 0.002. SeqAcc cambió ligeramente, de 0.341 a 0.345.
En las ocho líneas base, Composite elevó el PSNR de localidad a aproximadamente 43 dB. Gran parte de esta mejora proviene de restaurar los píxeles de origen. No constituye evidencia de que cada editor subyacente haya aprendido a preservar mejor el fondo.
| Método | Familia | SeqAcc ($\uparrow$) | CharAcc ($\uparrow$) | TTS ($\uparrow$) | Warp_c ($\downarrow$) | MUSIQ_f ($\uparrow$) | PSNR-loc ($\uparrow$) | DreamSim-loc ($\downarrow$) |
|---|---|---|---|---|---|---|---|---|
| Video de origen | — | 0.000 | 0.317 | 0.760 | 1.27 | 70.33 | $\infty$ | 0.000 |
| FLUX-Text | Imagen | 0.528 | 0.737 | 0.326 | 13.01 | 70.26 | 31.49 | 0.012 |
| TextCtrl | Imagen | 0.475 | 0.734 | 0.511 | 2.09 | 70.32 | 41.14 | 0.004 |
| RS-STE | Imagen | 0.354 | 0.626 | 0.534 | 1.81 | 69.57 | 37.00 | 0.007 |
| AnyText2 | Imagen | 0.280 | 0.633 | 0.382 | 3.95 | 66.68 | 25.56 | 0.043 |
| TextCtrl + AnyV2V | Prop. | 0.057 | 0.308 | 0.257 | 3.97 | 69.41 | 21.08 | 0.073 |
| Wan2.1-VACE-14B | Video | 0.000 | 0.298 | 0.689 | 1.56 | 70.54 | 35.21 | 0.007 |
| VideoPainter | Video | 0.364 | 0.619 | 0.606 | 3.35† | 67.16 | 28.56 | 0.024 |
| Kling Video 3.0 Omni | Video | 0.000 | 0.208 | 0.641 | 2.90 | 72.23 | 21.18 | 0.061 |
| ViTeX-Edit-14B | Video | 0.341 | 0.688 | 0.648 | 1.53 | 69.64 | 29.08 | 0.024 |
| ViTeX-Edit-14B (Composite) | Post | 0.345 | 0.689 | 0.666 | 1.56 | 70.27 | 42.95 | 0.002 |
El video de origen es una referencia no clasificada, y Composite es un control de posprocesamiento reportado por separado. † Los valores temporales de VideoPainter se excluyen del ranking porque su adaptación de 8 a 24 fps utiliza interpolación por mezcla lineal. La corrección de Composite en las líneas base se verificó únicamente en una muestra; solo el par de ViTeX-Edit-14B con Composite se recalculó por completo.
Por qué es importante: conclusiones prácticas para Document AI y OCR
Para los equipos interesados en la edición precisa de texto visual, ViTeX-Bench sugiere cuatro lecciones prácticas. Su alcance debe mantenerse vinculado a lo que el benchmark realmente evalúa.
1. En flujos generativos, el OCR puede ayudar a juzgar el resultado
ViTeX-Bench utiliza el OCR como evaluador del texto generado. Las altas puntuaciones de MUSIQ de Kling coexisten con un SeqAcc de cero, lo que ilustra por qué la calidad visual general no puede sustituir la verificación de los caracteres solicitados.
Sin embargo, el OCR no es un juez infalible. En los fotogramas detectables en la fuente, el reconocedor alcanzó una precisión de coincidencia exacta de 0.851 y un CharAcc de 0.966 respecto al texto de origen existente. Un estudio de transcripción humana a ciegas respecto al método coincidió fuertemente con el ranking de CharAcc a nivel de método del OCR (Spearman $\rho = 0.95$), aunque las puntuaciones absolutas difirieron.
La lección práctica es combinar la verificación de caracteres con calibración e inspección humana. El artículo respalda la evaluación anclada en OCR, no el reemplazo de cualquier otra forma de evaluación.
2. La evaluación multimétrica importa
Wan2.1-VACE-14B pertenece al conjunto de Pareto de salidas directas del benchmark junto a FLUX-Text, TextCtrl, RS-STE y ViTeX-Edit-14B, incluso con un SeqAcc de 0.
Esto es posible porque ningún competidor incluido iguala o mejora sus tres puntuaciones medias primarias mientras mejora estrictamente al menos una. La pertenencia al conjunto de Pareto describe un trade-off; no certifica una edición exitosa.
Si una evaluación premia la preservación y la estabilidad sin verificar el texto objetivo, los resultados sin cambios pueden parecer competitivos. La corrección, la calidad temporal y la localidad deben interpretarse conjuntamente.
3. Separar la síntesis de texto de la restauración del fondo
El experimento con Composite demuestra un beneficio sustancial en localidad al restaurar los píxeles de origen alrededor de la región generada. Ofrece a los desarrolladores un control concreto para distinguir la calidad de la síntesis de las consecuencias de la reconstrucción de fotogramas completos.
Esto no demuestra que el entrenamiento de extremo a extremo (end-to-end) sea ineficiente, ni que la composición sea universalmente preferible. La transferencia de color, el desvanecimiento de bordes (feathering) y la codificación pueden alterar la legibilidad, y no se reportaron puntuaciones completas de texto y temporales de recorte de texto posteriores a Composite para todas las líneas base.
Para ediciones localizadas, la conclusión respaldada es más acotada y útil: evaluar qué aporta la restauración de píxeles de origen antes de atribuir las ganancias de preservación al modelo.
4. La edición de texto requiere evaluación a lo largo del tiempo
Una captura de pantalla correcta no puede demostrar una edición de video exitosa. Los resultados de FLUX-Text muestran cómo una sólida precisión de texto a nivel de fotograma puede coexistir con grandes residuos temporales, mientras que la línea base de propagación demuestra cómo una edición inicialmente correcta puede sufrir desviaciones (drift).
Esto hace que la evaluación a nivel de video sea indispensable para la tarea estudiada aquí. También plantea interrogantes para flujos de trabajo de OCR relacionados, pero ViTeX-Bench es un benchmark de edición, no una prueba directa de extracción de documentos, escaneo móvil o sistemas de reconocimiento en producción.
Su evidencia se centra en determinar si el reemplazo solicitado permanece correcto y visualmente coherente mientras se preserva la escena original.
Limitaciones honestas: lo que aún requiere trabajo
Aunque ViTeX-Bench proporciona un marco de trabajo reproducible, los autores son francos sobre sus limitaciones:
- Fuerte sesgo hacia el alfabeto latino: De los 157 clips de evaluación, 150 utilizan escritura latina. Los siete restantes comprenden cuatro clips en chino, uno en japonés y dos en cirílico. AnyText2 lidera este pequeño segmento agrupado con un CharAcc de 0.295; los otros ocho editores directos, incluido ViTeX-Edit-14B, obtienen una puntuación inferior a 0.19. Este es un diagnóstico limitado, insuficiente para extraer conclusiones generales por tipo de escritura.
- Geometría y movimiento complejos: Diseños densos, superficies curvas, oclusiones severas y movimientos extremos tienen una cobertura escasa. La estabilidad del ranking dentro de los clips muestreados no demuestra el rendimiento más allá de dicha distribución.
- Datos de entrenamiento generados por pipeline: Las 230 referencias emparejadas pueden contener errores de renderizado. Su CharAcc por OCR es de 0.790, mientras que la transcripción humana en recortes de calibración alcanza 0.917. Estas mediciones indican tanto las limitaciones del OCR como la incertidumbre remanente sobre la calidad del renderizado. No se registraron los recuentos iniciales de remuestreo del objetivo ni de reintentos del primer fotograma.
- Validación independiente limitada: Uno de los autores llevó a cabo el estudio de transcripción a ciegas respecto al método. Tres evaluadores externos evaluaron 70 resultados, con una concordancia en localidad mucho menor ($\alpha$ ordinal = 0.37) que en corrección de texto o calidad temporal. La reanotación independiente de máscaras cubrió 12 clips utilizando el mismo proceso asistido por modelos.
- Costo de entrenamiento y componentes no resueltos: El ajuste fino requirió 576 horas de GPU, y la inferencia emplea una pasada de 50 pasos. El artículo no reporta la latencia de inferencia ni demuestra su viabilidad en tiempo real. Las ablaciones controladas de componentes y los estudios de escala de entrenamiento quedan como trabajo futuro.
Lo que establece ViTeX-Bench
ViTeX-Bench dota a la edición de texto en escenas de video de un conjunto de datos específico y de un protocolo de medición concreto. En todos los sistemas evaluados, lograr caracteres correctos, estabilidad temporal y preservación de la escena de manera simultánea sigue siendo difícil de alcanzar. Un video pulido puede contener texto erróneo, y fotogramas individuales precisos aún pueden formar un clip inestable.
El condicionamiento de glifos alineado con el movimiento otorga a ViTeX-Edit-14B un equilibrio útil: el CharAcc medio más alto entre los editores nativos de video evaluados y el Warp en recorte de texto comparable más bajo entre las salidas directas. Esto no elimina los trade-offs ni determina qué componente arquitectónico causa cada mejora.
El artículo informa sobre la publicación del conjunto de datos, el código de evaluación y los pesos del modelo de referencia en Hugging Face y GitHub. El código y los pesos están bajo licencia Apache-2.0; el conjunto de datos cuenta con licencia CC-BY-NC 4.0 para investigación no comercial, con obligaciones adicionales de ShareAlike impuestas por la fuente original para las partes redistribuidas derivadas de InternVid. En conjunto, estos recursos proporcionan un punto de partida reproducible para estudiar el reemplazo preciso de texto en video real.