A Edição de Texto em Cena de Vídeo Ainda Falha: Como o ViTeX-Bench Expõe os Trade-Offs

Imagine um vídeo de cinco segundos de alguém carregando uma caixa de papelão por um corredor. Agora, tente alterar a etiqueta impressa nessa caixa de "FRAGILE" para "STORAGE".

Parece um pedido simples. A geração de vídeo tornou-se cada vez mais realista e controlável. No entanto, substituir sete letras em uma superfície em movimento, mantendo o restante do vídeo intacto, reúne diversos problemas que os editores atuais ainda têm dificuldade em resolver simultaneamente.

Um editor pode gerar um clipe visualmente impecável, mas com os caracteres errados. Outro pode soletrar a substituição corretamente em quadros individuais, mas deixar os glifos oscilarem durante a reprodução do vídeo. E ainda outro pode preservar a cena e seu movimento, mas deixar o texto original inalterado.

Essa falha na edição de texto em cena de vídeo é o foco do ViTeX-Bench, um artigo publicado no arXiv em 30 de setembro de 2026, de autoria de Xinghao Chen, Xiangbo Gao, Jiongze Yu, Yuheng Wu e Zhengzhong Tu, da Texas A&M University. Os autores construíram um dataset de benchmark com 387 vídeos, desenvolveram um protocolo de avaliação com 13 métricas ancorado em reconhecimento óptico de caracteres (OCR), avaliaram oito sistemas baseline e apresentaram um editor de referência de código aberto chamado ViTeX-Edit-14B.

Para quem atua em document AI, compreensão de vídeo ou edição visual, o artigo oferece um olhar realista e esclarecedor sobre o abismo entre produzir um vídeo convincente e realizar uma alteração precisa e localizada.

O Trilema: Por Que Substituir Texto em Vídeo É Tão Enganosamente Difícil

Para compreender a tarefa, analise os três requisitos que toda edição de texto em vídeo deve atender simultaneamente:

1. Correção no nível de caractere: O modelo deve renderizar a sequência-alvo solicitada. Caracteres omitidos, substituições e traços de aparência plausível podem inviabilizar a edição.
2. Consistência temporal: O texto deve permanecer fixado à superfície subjacente. Se a câmera fizer um movimento panorâmico ou o objeto se inclinar, a substituição precisa acompanhar o movimento e a perspectiva da cena, mantendo uma aparência coerente.
3. Localidade da edição: O vídeo ao redor deve permanecer inalterado. A geometria do plano de fundo, a iluminação e os elementos em movimento devem resistir intactos à substituição do texto.

Na edição de imagens estáticas, sistemas como o FLUX-Text conseguem renderizar caracteres precisos em quadros individuais. Mas o vídeo acrescenta o fator tempo. Edições quadro a quadro independentes não oferecem acoplamento temporal explícito, enquanto propagar a edição do primeiro quadro pode introduzir desvanecimento (fading) ou desvio (drift). Já os editores nativos de vídeo modelam o movimento, mas isso não garante o controle sobre uma sequência exata de caracteres.

Recursos existentes abordam partes desse problema. Benchmarks gerais de edição de vídeo medem o seguimento de instruções, a qualidade visual, a consistência temporal e a preservação da cena. Também existem trabalhos anteriores de substituição de texto em vídeo, incluindo o STRIVE. A contribuição do ViTeX-Bench é uma combinação dedicada de dados de treinamento pareados e um protocolo de avaliação congelado (frozen) que verifica o texto solicitado ao longo do tempo, juntamente com a qualidade temporal e a preservação da cena.

A Galeria de Falhas: Como os Editores Atuais Quebram

Os autores avaliaram oito sistemas baseline agrupados em quatro famílias de edição ao longo de uma divisão de teste congelada de 157 clipes do mundo real em 720p, cada um contendo 120 quadros a 24 quadros por segundo. Seus resultados e exemplos selecionados expõem quatro modos de falha recorrentes.

1. Estável, mas Inalterado (Wan2.1-VACE-14B)

O Wan2.1-VACE-14B é um editor de vídeo condicionado por máscara. No exemplo do artigo "Change NEW to OLD", ele retorna uma região de texto que permanece essencialmente como aparecia na fonte.

Em toda a avaliação, ele obteve uma acurácia de sequência (SeqAcc) de 0.000 e uma acurácia de caractere (CharAcc) de 0.298. Ainda assim, sua estabilidade temporal de texto (TTS) foi de 0.689. Para efeito de contexto, a fonte não editada obteve 0.317 de CharAcc em relação às strings de substituição solicitadas, mostrando que pode haver sobreposição parcial de caracteres sem que a edição tenha sido bem-sucedida.

O artigo não determina o motivo pelo qual o modelo retém o texto de origem. Ele estabelece a falha prática: texto decodificado estável e baixo erro temporal não comprovam que a substituição solicitada realmente aconteceu.

2. Correto Quadro a Quadro, Temporalmente Caótico (FLUX-Text)

O que acontece quando você pega um editor de texto em cena para imagens como o FLUX-Text e o executa de forma independente em cada quadro?

A exatidão do texto melhora substancialmente em comparação com vários baselines baseados em vídeo. O FLUX-Text lidera os editores brutos avaliados na exatidão média de texto, registrando 0.528 de SeqAcc e 0.737 de CharAcc. No entanto, seus quadros gerados de forma independente exibem uma instabilidade temporal substancial.

Na métrica Warp para recorte de texto (Warp_c), que mede o erro de pixel compensado por movimento usando o fluxo óptico do vídeo de origem, o FLUX-Text pontua 13.01, em comparação com 1.27 do vídeo de origem não modificado. Sua pontuação de cintilação (flicker) no recorte de texto (Flicker_c) atinge 14.81, cerca de quatro vezes o valor de origem de 3.68.

O exemplo selecionado pelo artigo ilustra o problema: os caracteres podem ser legíveis em quadros individuais, enquanto sua aparência muda de forma inconsistente entre quadros adjacentes.

3. Polido, mas Incorreto (Kling Video 3.0 Omni)

O Kling Video 3.0 Omni representa a família de vídeo para vídeo orientada por instruções. Os autores consultaram sua interface web pública enviando os vídeos de origem com um modelo fixo de instruções de edição.

O Kling alcançou as pontuações médias de MUSIQ mais altas entre os editores avaliados, incluindo uma pontuação de quadro inteiro de 72.23, superior aos 70.33 do vídeo de origem. Contudo, as medições de texto contam uma história diferente: o SeqAcc foi de 0.000 e o CharAcc foi de 0.208. No exemplo selecionado de "SOC" para "COC", o resultado parece plausível, mas não renderiza a string solicitada corretamente.

Esses resultados dizem respeito à configuração testada e à divisão de avaliação utilizada. Dentro desse escopo, eles deixam a distinção clara: uma pontuação alta de qualidade perceptual não comprova que a substituição do texto foi bem-sucedida.

4. A Metamorfose com Deriva (TextCtrl + AnyV2V)

Outra abordagem consiste na edição do primeiro quadro seguida de propagação: edita-se o quadro 1 com o TextCtrl e, em seguida, utiliza-se o AnyV2V com backbone I2VGen-XL para transportar a edição ao longo do tempo.

O exemplo selecionado pelo artigo começa com uma edição correta no primeiro quadro, mas o texto renderizado e a cena ao redor sofrem deriva (drift) à medida que o clipe avança. Em toda a avaliação, essa combinação obteve 0.057 de SeqAcc e 0.308 de CharAcc.

Sua relação sinal-ruído de pico de localidade (PSNR-loc) foi de 21.08 dB, enquanto o LPIPS de localidade alcançou 0.225, a maior — e, portanto, pior — distância LPIPS média entre os editores brutos avaliados. Propagar uma edição não garante, por si só, nem a exatidão persistente do texto, nem a preservação da cena ao redor.

O Protocolo ViTeX-Bench: 13 Métricas em Três Eixos

Para transformar essas falhas em comparações mensuráveis, o ViTeX-Bench distribui 13 métricas em três eixos complementares. Cada eixo possui uma métrica primária, e os autores comparam seus trade-offs por meio de um conjunto de Pareto em vez de uma pontuação agregada ponderada.

+------------------------------------------------------------------------+
|                         Avaliação ViTeX-Bench                          |
+------------------------------------------------------------------------+
| Eixo 1: Correção do Texto     Primária: SeqAcc (Exact Substring Match) |
| O texto é lido corretamente?  Diagnósticas: CharAcc, TTS               |
+------------------------------------------------------------------------+
| Eixo 2: Visual e Temporal     Primária: Warp_c (Motion-Compensated MAE)|
| O vídeo é natural/estável?    Diagnósticas: Warp_f, Flicker_f/c,       |
|                               MUSIQ_f/c                                |
+------------------------------------------------------------------------+
| Eixo 3: Localidade da Edição  Primária: DreamSim-loc (Perceptual Dist.)|
| A cena ao redor permanece     Diagnósticas: PSNR, SSIM, LPIPS          |
| inalterada?                                                            |
+------------------------------------------------------------------------+

Eixo 1: Correção do Texto (O Eixo do OCR)

O benchmark executa o PP-OCRv5 do PaddleOCR em recortes das regiões de texto. Cada vídeo é direcionado a um reconhecedor de escrita latina, chinesa, japonesa ou cirílica, de acordo com os blocos Unicode do texto de origem. Caixas delimitadoras reconhecidas com confiança abaixo de 0.30 são descartadas, e as strings passam por normalização Unicode, conversão para minúsculas (case folding) e remoção de espaços em branco e pontuação.

Para reduzir fatores de confusão quando o texto de origem está oculto ou borrado, a exatidão é pontuada em quadros detectáveis na fonte: quadros em que o OCR de origem coincide com a string anotada de origem com similaridade de pelo menos 0.5. Dos 157 clipes de avaliação, 152 continham tais quadros. Cinco não apresentaram nenhum quadro sob esse critério de OCR e foram excluídos das médias de SeqAcc e CharAcc; isso não significa que seu texto fosse ilegível para uma pessoa.

Os autores comparam strings usando a distância de edição de substring ($d_{\text{sub}}$). Ao contrário da distância Levenshtein padrão, prefixos e sufixos não correspondidos na string candidata do OCR têm custo zero. Se o alvo for "BIG" e o OCR retornar "ABIGA", o alvo aparece exatamente dentro da candidata, resultando em uma distância de 0.

• SeqAcc (Primária, $\uparrow$): A fração de quadros detectáveis na fonte cujo OCR de saída normalizado contém uma correspondência exata de substring para o alvo.
• CharAcc ($\uparrow$): Um menos a distância de edição de substring dividida pelo comprimento do alvo, concedendo crédito parcial para correspondências aproximadas.
• TTS (Estabilidade Temporal de Texto, $\uparrow$): A fração de pares de quadros adjacentes detectáveis na fonte com strings de saída decodificadas idênticas. Vídeos sem nenhum par elegível são omitidos.

As médias relatadas são calculadas no nível de vídeo. Fundamentalmente, o TTS mede a estabilidade da string decodificada, não a sua correção: o vídeo de origem não editado atinge 0.760 de TTS, apesar de nunca realizar a edição solicitada. Sua pontuação abaixo de 1 também demonstra que o próprio OCR pode ser instável entre os quadros.

Eixo 2: Qualidade Visual e Temporal (O Eixo do Movimento)

Pontuar a qualidade temporal exige distinguir as alterações brutas de quadros das diferenças residuais após levar em conta o movimento da fonte.

Para o Warp, o benchmark calcula o fluxo óptico via RAFT no vídeo de origem. Ele utiliza esse fluxo para realizar o backward-warp do quadro editado em $t+1$ em direção ao quadro editado em $t$, medindo em seguida o Erro Médio Absoluto (MAE) sobre os pixels de fluxo válidos.

• Warp_c (Primária, $\downarrow$): Warp dentro de uma caixa delimitadora estacionária que engloba toda a trajetória da máscara de texto, expandida por uma margem de 16 pixels. No estudo com humanos realizado pelos autores, essa métrica apresentou uma correlação de Spearman mais forte com as avaliações temporais ($\rho = -0.40$) do que o Warp de quadro completo ($\rho = -0.20$), sustentando sua escolha como primária temporal.
• Flicker_f / Flicker_c ($\downarrow$): Diferenças brutas entre quadros adjacentes sem compensação de movimento.
• MUSIQ_f / MUSIQ_c ($\uparrow$): Estimativas sem referência da qualidade perceptual de imagem, medidas em quadros completos ou em recortes de texto.

O MUSIQ de quadro completo utiliza todos os quadros; o MUSIQ de recorte utiliza os quadros detectáveis na fonte. O Flicker e o Warp podem diminuir sob suavização ou em saídas quase constantes, portanto valores baixos devem ser interpretados juntamente com a exatidão do texto e a qualidade perceptual.

Eixo 3: Localidade da Edição (O Eixo da Preservação)

Para medir as alterações fora da região editável, o benchmark constrói um quadro de comparação restrito à localidade: os pixels preditos são mantidos fora da máscara, enquanto os pixels da fonte substituem a predição dentro dela. Esse quadro é então comparado com a fonte.

• DreamSim-loc (Primária, $\downarrow$): Uma distância perceptual aprendida utilizada para avaliar diferenças atribuíveis à cena ao redor.
• PSNR-loc e SSIM-loc ($\uparrow$): Medidas de similaridade baseadas em pixels.
• LPIPS-loc ($\downarrow$): Uma distância perceptual aprendida complementar às medidas baseadas em pixels.

Essas métricas avaliam a preservação sob diferentes perspectivas. Nenhuma delas, isoladamente, comprova uma edição de texto bem-sucedida.

Como os Autores Construíram 230 Vídeos de Treinamento Pareados

Um obstáculo central na edição de texto em cena de vídeo é a disponibilidade limitada de dados pareados de vídeos reais. Obter duas gravações idênticas em todos os outros aspectos, mas com textos diferentes na mesma superfície, é extremamente difícil.

Os autores contornaram esse problema com um pipeline assistido por modelos e com intervenção humana (human-in-the-loop), que produziu 230 vídeos de treinamento pareados a partir de filmagens do Panda-70M e do InternVid.

1. Geração de Máscaras: Um anotador inseriu pontos-chave (keypoints) positivos e negativos usando uma interface web personalizada do SAM 3. O SAM 3 propagou a máscara ao longo do vídeo; o anotador a inspecionou e adicionou correções conforme necessário. Um kernel elíptico de $25 \times 25$ pixels dilatou a máscara por três iterações.
2. Prompting do Alvo: O Qwen3-VL-32B-Instruct analisou um recorte do primeiro quadro e propôs uma string-alvo diferente, com comprimento aproximado e contexto de cena adequado. O prompt solicitava que fossem evitados conteúdos ofensivos, políticos ou marcas registradas, e um anotador auditou os candidatos.
3. Remoção de Fundo: O Removal-1.3B, um modelo Wan2.1-VACE-1.3B ajustado lançado com o PISCO, gerou um vídeo de fundo limpo ao remover o texto e efeitos associados, como sombras e realces de iluminação.
4. Síntese do Primeiro Quadro: O Gemini 3 Pro Image ("Nano Banana Pro") da Google reescreveu o primeiro quadro. Edições com falha foram tentadas novamente e verificadas manualmente. Uma segunda passagem com o SAM 3 extraiu o novo patch de texto ($p_1^{\text{new}}$).

Os autores utilizaram então dois caminhos para inserir esse patch no vídeo limpo:

• Estratégia A (Composição Alfa): Aplicável quando a região do texto permanece estática durante todo o clipe. Essa estratégia forneceu 56 dos pares finais de treinamento.
• Estratégia B (Inserção Baseada em PISCO): Um inseridor PISCO-14B com ajuste fino utilizou o patch do primeiro quadro como referência, com a profundidade do Depth Anything 3 fornecendo informações geométricas prévias (priors). Forneceu 174 pares de treinamento.

Essas contagens são escolhas de construção, não contagens de vídeos estáticos versus dinâmicos. Os vídeos dinâmicos usaram exclusivamente a Estratégia B; os vídeos estáticos foram processados com ambas as estratégias, mantendo-se o resultado de maior qualidade.

O resultado é o ViTeX-Dataset: 387 clipes de origem, com 230 exemplos de treinamento pareados e 157 entradas de avaliação congeladas sem referências editadas pareadas. Em todos os 387 vídeos, a tipografia é aproximadamente 23% impressa, 44% manuscrita e 33% artística. As strings de origem variam de 1 a 41 caracteres; as strings-alvo variam de 1 a 36.

As edições pareadas são referências de treinamento revisadas, e não renderizações únicas de verdade fundamental (ground-truth): a instrução não determina de forma exclusiva a fonte, o peso, a cor ou a interação com a iluminação.

ViTeX-Edit-14B: Ancorando Caracteres em Movimento com Vídeos de Glifos

Utilizando os 230 vídeos de treinamento pareados, os autores adaptaram o Wan2.1-VACE-14B em um editor de referência de código aberto: o ViTeX-Edit-14B.

Além de embeddings do texto-alvo e do condicionamento do vídeo de origem, ele recebe um guia visual explícito que acompanha o movimento do texto original.

Vídeo de Origem (V) + Máscara Dilatada (M) ---> Video Condition Unit (VCU)
                                                        |
String-Alvo (stgt) ---> uMT5-XXL -----------------------+
                                                        |
Região de Texto de Origem ---> Seleção de Fonte + EasyOCR|
                          ---> Rastreamento CoTracker3  |
                                       |                |
String-Alvo ---> Renderização + Homografia Rastreada     |
            ---> Vídeo de Glifos (Gvid)                 |
            ---> Latentes Wan VAE                       |
            ---> 64 Tokens Agrupados de Glifos ---------+
                                                        |
                                             Wan2.1-VACE-14B
                                                        |
                                                  Vídeo Editado

O Pipeline de Vídeo de Glifos

1. Correspondência de Fontes: O Qwen3-VL inspeciona a região do texto de origem no primeiro quadro e seleciona uma família tipográfica a partir de uma biblioteca com curadoria de fontes latinas. Escritas não latinas utilizam padrões específicos para cada escrita.
2. Rastreamento de Trajetória: O EasyOCR detecta o quadrilátero do texto de origem no quadro 1, e o CoTracker3 o rastreia ao longo dos 119 quadros restantes.
3. Renderização Sintética: A string-alvo é renderizada em branco sobre preto com o dobro da resolução da caixa delimitadora detectada. Homografias quadro a quadro a deformam de acordo com o quadrilátero rastreado, fornecendo posição, escala e perspectiva alinhadas à fonte.
4. Injeção de Condicionamento: Um Wan VAE congelado codifica o vídeo de glifos ($G_{\text{vid}}$). Patch embedding e pooling por atenção cruzada com 64 consultas aprendíveis produzem um conjunto de tokens de glifos de comprimento fixo ($E_G$).
5. Gancho Arquitetural: Camadas adicionais de atenção cruzada de condição injetam esses tokens em oito blocos VACE nas camadas do tronco (trunk layers) 0, 5, 10, 15, 20, 25, 30 e 35. Projeções residuais de saída inicializadas com zeros preservam a saída do backbone na inicialização.

O treinamento congela o tronco principal do DiT, o codificador de texto e o VAE, atualizando apenas o ramo VACE e os novos módulos de condicionamento. O ajuste fino supervisionado por Flow-Matching ocorre em dois estágios: cinco épocas a $720\text{p} \times 49$ quadros, seguidas por duas épocas a $720\text{p} \times 121$ quadros. O custo relatado é de 576 horas-GPU em oito GPUs H100 de 80GB.

Resultados do Benchmark

O ViTeX-Edit-14B combina o maior CharAcc médio entre os editores nativos de vídeo avaliados com o menor Warp comparável em recorte de texto entre as saídas brutas dos editores:

• CharAcc: 0.688, em comparação com 0.619 do VideoPainter, 0.298 do Wan2.1-VACE-14B e 0.208 do Kling.
• SeqAcc: 0.341, abaixo dos 0.364 do VideoPainter entre os editores nativos de vídeo. Vários editores de imagem quadro a quadro também obtêm pontuações mais altas.
• Warp_c: 1.53, em comparação com 13.01 do FLUX-Text, 2.90 do Kling e 1.27 da fonte não editada.

Os intervalos de exatidão do ViTeX-Edit-14B e do VideoPainter se sobrepõem; tratam-se de diferenças nas médias observadas, e não de significância estatística estabelecida par a par. As pontuações temporais do VideoPainter foram excluídas do ranking porque sua adaptação utiliza interpolação linear de quadros, o que altera os resíduos medidos.

O editor de referência fornece, portanto, um ponto de operação útil, em vez de uma vitória absoluta e generalizada em todo o benchmark.

O Controle Composite: Não Reinvente os Pixels do Fundo

Um insight prático decorre do Composite, um wrapper de pós-processamento determinístico e livre de treinamento aplicado a todos os editores.

Alguns métodos reconstroem quadros inteiros, enquanto editores locais à caixa delimitadora já copiam a maioria dos pixels externos diretamente da fonte. O Composite ajuda a separar a síntese de texto da restauração de fundo por meio de três etapas:

1. Construir uma faixa delimitadora circundante dilatando a máscara com um elemento estruturante de $41 \times 41$ e subtraindo a máscara original.
2. Utilizar as estatísticas da fonte e da predição nessa faixa para transferência de cores de Reinhard (média-variância) no espaço CIELAB.
3. Mesclar a predição corrigida com a fonte aplicando uma borda suavizada de 4 pixels derivada de transformadas de distância.

O artigo relata aproximadamente cinco minutos para processar os 157 vídeos de avaliação usando oito workers de CPU. Para o ViTeX-Edit-14B, o Composite elevou o PSNR-loc de 29.08 para 42.95 dB e reduziu o DreamSim-loc de 0.024 para 0.002. O SeqAcc variou ligeiramente, de 0.341 para 0.345.

Em todos os oito baselines, o Composite levou o PSNR de localidade para aproximadamente 43 dB. Grande parte desse ganho decorre da restauração dos pixels de origem. Isso não é evidência de que cada editor subjacente aprendeu uma melhor preservação de fundo.

Método	Família	SeqAcc ($\uparrow$)	CharAcc ($\uparrow$)	TTS ($\uparrow$)	Warp_c ($\downarrow$)	MUSIQ_f ($\uparrow$)	PSNR-loc ($\uparrow$)	DreamSim-loc ($\downarrow$)
Vídeo de Origem	—	0.000	0.317	0.760	1.27	70.33	$\infty$	0.000
FLUX-Text	Imagem	0.528	0.737	0.326	13.01	70.26	31.49	0.012
TextCtrl	Imagem	0.475	0.734	0.511	2.09	70.32	41.14	0.004
RS-STE	Imagem	0.354	0.626	0.534	1.81	69.57	37.00	0.007
AnyText2	Imagem	0.280	0.633	0.382	3.95	66.68	25.56	0.043
TextCtrl + AnyV2V	Prop.	0.057	0.308	0.257	3.97	69.41	21.08	0.073
Wan2.1-VACE-14B	Vídeo	0.000	0.298	0.689	1.56	70.54	35.21	0.007
VideoPainter	Vídeo	0.364	0.619	0.606	3.35†	67.16	28.56	0.024
Kling Video 3.0 Omni	Vídeo	0.000	0.208	0.641	2.90	72.23	21.18	0.061
ViTeX-Edit-14B	Vídeo	0.341	0.688	0.648	1.53	69.64	29.08	0.024
ViTeX-Edit-14B (Composite)	Pós	0.345	0.689	0.666	1.56	70.27	42.95	0.002

A fonte é uma referência fora do ranking, e o Composite é um controle de pós-processamento relatado separadamente. † Os valores temporais do VideoPainter foram excluídos do ranking porque sua adaptação de 8 para 24 fps utiliza interpolação linear de mesclagem. A exatidão do Composite nos baselines foi verificada apenas em uma amostra; somente o par ViTeX-Edit-14B com Composite foi totalmente repontuado.

Por Que Isso Importa: Lições Práticas para Document AI e OCR

Para equipes interessadas em edição visual precisa de texto, o ViTeX-Bench sugere quatro lições práticas. Seu alcance deve permanecer vinculado ao que o benchmark realmente testa.

1. Em Pipelines Generativos, o OCR Pode Ajudar a Avaliar o Resultado

O ViTeX-Bench utiliza o OCR como avaliador do texto gerado. As altas pontuações de MUSIQ do Kling coexistem com um SeqAcc de zero, ilustrando por que a qualidade visual geral não pode substituir a verificação dos caracteres solicitados.

O OCR não é um juiz infalível, no entanto. Nos quadros detectáveis na fonte, o reconhecedor alcançou uma acurácia de correspondência exata de 0.851 e 0.966 de CharAcc em relação ao texto de origem existente. Um estudo de transcrição humana cego quanto ao método concordou fortemente com o ranking de CharAcc no nível de método do OCR (Spearman $\rho = 0.95$), mas as pontuações absolutas diferiram.

A lição prática é combinar verificações de caracteres com calibração e inspeção humana. O artigo apoia uma avaliação ancorada em OCR, e não a substituição de qualquer outra forma de avaliação.

2. A Avaliação Multimétrica É Essencial

O Wan2.1-VACE-14B pertence ao conjunto de Pareto de saídas brutas do benchmark ao lado do FLUX-Text, TextCtrl, RS-STE e ViTeX-Edit-14B — mesmo com SeqAcc 0.

Isso é possível porque nenhum concorrente incluído iguala ou supera todas as suas três pontuações médias primárias enquanto melhora estritamente pelo menos uma. A inclusão no conjunto de Pareto descreve um trade-off; não certifica uma edição bem-sucedida.

Se uma avaliação recompensa a preservação e a estabilidade sem verificar o texto-alvo, saídas inalteradas podem parecer competitivas. Correção, qualidade temporal e localidade precisam ser interpretadas conjuntamente.

3. Separe a Síntese de Texto da Restauração de Fundo

O experimento com o Composite demonstra um benefício substancial de localidade obtido ao restaurar os pixels de origem ao redor da região gerada. Ele fornece aos desenvolvedores um controle concreto para distinguir a qualidade da síntese das consequências da reconstrução de quadros inteiros.

Isso não prova que o treinamento ponta a ponta (end-to-end) seja ineficiente, ou que a composição seja universalmente preferível. A transferência de cores, a suavização de bordas e a codificação podem alterar a legibilidade, e as pontuações temporais completas pós-Composite de texto e recorte de texto não foram relatadas para todos os baselines.

Para edições localizadas, a conclusão fundamentada é mais restrita e útil: avalie o quanto a restauração de pixels de origem contribui antes de atribuir os ganhos de preservação ao modelo.

4. A Edição de Texto Precisa de Avaliação ao Longo do Tempo

Uma captura de tela correta não comprova uma edição de vídeo bem-sucedida. Os resultados do FLUX-Text mostram como uma alta acurácia de texto no nível de quadro pode coexistir com grandes resíduos temporais, enquanto o baseline de propagação demonstra como uma edição inicialmente correta pode sofrer desvio ao longo do tempo.

Isso torna a avaliação no nível de vídeo essencial para a tarefa estudada aqui. Também levanta questões para fluxos de trabalho correlatos de OCR, mas o ViTeX-Bench é um benchmark de edição — não um teste direto de extração de documentos, escaneamento móvel ou sistemas de reconhecimento em produção.

Suas evidências dizem respeito a se uma substituição solicitada permanece correta e visualmente coerente enquanto a cena original é preservada.

Limitações Transparentes: O Que Ainda Precisa de Trabalho

Embora o ViTeX-Bench forneça uma estrutura reproduzível, os autores são transparentes quanto aos seus limites:

• Forte Viés para Escrita Latina: Dos 157 clipes de avaliação, 150 utilizam escrita latina. Os sete restantes incluem quatro clipes em chinês, um em japonês e dois em cirílico. O AnyText2 lidera essa pequena fatia agrupada com 0.295 de CharAcc; os outros oito editores brutos, incluindo o ViTeX-Edit-14B, pontuam abaixo de 0.19. Trata-se de um diagnóstico limitado, insuficiente para conclusões amplas por tipo de escrita.
• Geometria e Movimento Difíceis: Layouts densos, superfícies curvas, oclusões severas e movimentos extremos têm cobertura escassa. A estabilidade do ranking dentro dos clipes amostrados não garante o desempenho fora dessa distribuição.
• Dados de Treinamento Gerados por Pipeline: As 230 referências pareadas podem reter erros de renderização. Seu CharAcc por OCR é de 0.790, enquanto a transcrição humana em recortes de calibração atinge 0.917. Essas medições indicam tanto limitações do OCR quanto incertezas remanescentes sobre a qualidade da renderização. A reamostragem inicial de alvos e as contagens de novas tentativas no primeiro quadro não foram registradas.
• Validação Independente Limitada: Um dos autores conduziu o estudo de transcrição cego quanto ao método. Três avaliadores externos (não autores) avaliaram 70 saídas, com uma concordância em localidade muito mais baixa ($\alpha$ ordinal = 0.37) do que em exatidão de texto ou qualidade temporal. A reanotação independente de máscaras cobriu 12 clipes utilizando o mesmo pipeline assistido por modelos.
• Custo de Treinamento e Componentes Não Isolados: O ajuste fino exigiu 576 horas-GPU, e a inferência utiliza uma passada de 50 passos. O artigo não relata a latência de inferência nem estabelece a viabilidade para tempo real. Estudos controlados de ablação de componentes e escala de treinamento continuam como trabalhos futuros.

O Que o ViTeX-Bench Estabelece

O ViTeX-Bench fornece à edição de texto em cena de vídeo um dataset dedicado e um protocolo de medição concreto. Entre os sistemas avaliados, caracteres corretos, estabilidade temporal e preservação da cena continuam difíceis de alcançar simultaneamente. Um vídeo com acabamento visual refinado pode conter o texto errado, e quadros individuais precisos ainda podem compor um clipe instável.

O condicionamento de glifos alinhado ao movimento proporciona ao ViTeX-Edit-14B um equilíbrio vantajoso: o maior CharAcc médio entre os editores nativos de vídeo avaliados e o menor Warp comparável em recorte de texto entre as saídas brutas. Isso não elimina os trade-offs nem determina qual componente arquitetural é responsável por cada ganho.

O artigo relata a disponibilização do dataset, do código de avaliação e dos pesos do modelo de referência no Hugging Face e no GitHub. O código e os pesos estão sob a licença Apache-2.0; o dataset está sob CC-BY-NC 4.0 para pesquisa não comercial, com obrigações adicionais de ShareAlike originárias da fonte para partes redistribuídas derivadas do InternVid. Juntos, esses recursos fornecem um ponto de partida reproduzível para o estudo da substituição precisa de texto em vídeos reais.