Rompiendo el bucle de alucinaciones: cómo TOLA reduce la superresolución de texto por difusión a un solo paso
Basado en: TOLA: Text-aware One-Step Latent Adaptation for Diffusion-based Text Image Super-Resolution — Yike Xu, Yue Shi, Yong Guo, Jiezhang Cao
El texto borroso plantea un problema particular para la restauración de imágenes. En un recorte degradado, un único trazo faltante o fusionado puede cambiar el carácter que ve el lector, incluso cuando la imagen restaurada parece nítida. Por tanto, la superresolución de imágenes de texto debe recuperar los detalles visuales preservando al mismo tiempo la identidad de los caracteres.
Los métodos genéricos de superresolución de imágenes no están diseñados específicamente para ese segundo requisito. Pueden mejorar el aspecto visual de una imagen sin restaurar su transcripción de forma fiable. Esta distinción es especialmente crítica ante degradaciones severas, cuando la entrada ofrece escasos indicios sobre un trazo fino o un carácter ambiguo.
Los modelos de difusión ofrecen una vía para generar detalles plausibles de alta frecuencia. Sin embargo, en el caso del texto, el detalle plausible no basta: la reconstrucción nítida de un carácter incorrecto sigue siendo un error.
Un artículo publicado el 24 de septiembre de 2026 por Yike Xu, Yue Shi, Yong Guo y Jiezhang Cao presenta TOLA (Text-aware One-step Latent Adaptation). El método aborda dos limitaciones señaladas por los autores en la superresolución de imágenes de texto basada en difusión: la latencia de la predicción iterativa y el riesgo de que un prior de texto incorrecto influya de manera reiterada en la restauración de la imagen. En la configuración evaluada en el artículo, TOLA reduce el tiempo medio de inferencia de 9.9548 segundos con DiffTSR a 0.1319 segundos por imagen, al tiempo que mejora tanto las métricas de calidad de imagen como las de reconocimiento.
A continuación se explica cómo el artículo de TOLA describe este modo de fallo, cómo funciona su flujo en un solo paso y qué demuestran sus evaluaciones.
La trampa de las alucinaciones en la difusión iterativa de texto
DiffTSR acopla un Image Diffusion Model (IDM) con un Text Diffusion Model (TDM) mediante un módulo Modulated Multimodal (MoM). Su ruta de inferencia reportada evalúa el IDM y el TDM 200 veces cada uno para restaurar un único recorte de texto de baja resolución.
Esa repetición conlleva un coste cuantificable. En una GPU NVIDIA RTX PRO 6000, el artículo reporta 9.9548 segundos por imagen de 128 × 512 para DiffTSR, junto con 59,213.970 G MACs para su trayectoria de restauración completa. Estas cifras provienen de mediciones sincronizadas con tamaño de lote uno (batch-size-one) sobre 100 imágenes de prueba fijas; no constituyen una medición de un sistema completo de procesamiento de documentos.
Los autores señalan un segundo riesgo más allá de la latencia. Un prior de texto inferido a partir de una imagen degradada puede ser erróneo. Si ese prior guía reiteradamente el proceso de eliminación de ruido (denoising), las predicciones progresivas de imagen y texto pueden reforzar el error inicial, generando un carácter nítido pero incorrecto. El artículo plantea esto como motivación para eliminar el refinamiento iterativo entre imagen y texto, en lugar de rastrear un carácter erróneo específico a lo largo de pasos individuales de denoising.
Sus diagnósticos de reconocimiento reflejan la magnitud del problema en CTR-TSR-Test ×4. A lo largo de 8,089 imágenes, DiffTSR produjo 18,469 ediciones a nivel de carácter bajo la evaluación normalizada con TransOCR del artículo, incluyendo 14,657 sustituciones. Entre las imágenes cuyo prior de texto predicho fue erróneo, la precisión de transcripción por coincidencia exacta a nivel de imagen (image-level exact-match transcription accuracy) de DiffTSR fue del 10.43%. Estas mediciones muestran una correlación entre priores poco fiables y un bajo reconocimiento; no demuestran que cada edición fuera causada por la retroalimentación entre ambos modelos.
PRISM ofrece un punto de comparación cercano. Emplea un único paso de reconstrucción de imagen, pero la recuperación de su prior de texto aún requiere 16 pasos de Euler. La ruta de TOLA construye su condición de texto una sola vez y omite el TDM durante la inferencia.
Desacoplar la semántica de la trayectoria de eliminación de ruido
La idea central de TOLA es que la guía textual puede seleccionarse antes de la predicción de la imagen, mientras que los errores visuales remanentes pueden corregirse a posteriori en el espacio latente limpio. Ambas tareas no necesitan compartir una trayectoria iterativa.
Su ruta de inferencia consta de dos partes:
- Construir la guía de texto una sola vez. Un reconocedor congelado predice tokens y puntuaciones de confianza por token. TOLA pondera los embeddings de los tokens mediante dichas puntuaciones antes de que MoM construya la condición utilizada por el modelo de imagen.
- Predecir y corregir el latente de la imagen. El IDM adaptado realiza una única predicción de ruido. A continuación, un módulo compacto de corrección residual latente (Latent Residual Correction o LRC) ajusta la estimación resultante del latente limpio antes de la decodificación.
Para cada entrada, TOLA ejecuta TransOCR, el codificador VAE, MoM, la U-Net del IDM, LRC y el decodificador VAE una sola vez cada uno. El TDM no se ejecuta.
Ponderación por confianza para texto incierto
TOLA parte de una imagen degradada de baja resolución $x_{LR}$ en un lienzo de 128 × 512. Una instancia congelada de TransOCR predice los tokens de texto y una puntuación de confianza $\alpha$ para cada token. Tras la normalización de caracteres y el mapeo al vocabulario, TOLA pondera los embeddings:
$$\alpha \odot \text{Emb}(\tilde{c})$$
La multiplicación escala el embedding de cada token predicho por su correspondiente puntuación de confianza. El artículo especifica una ponderación por confianza directa (raw), sin calibración ni umbral. Por consiguiente, un token con baja confianza aporta un embedding de menor magnitud a MoM, el cual construye la condición semántica $C_{cond}$ una sola vez.
Esto reduce la influencia de las predicciones de OCR inciertas, aunque no garantiza que se ignore una predicción errónea. El artículo tampoco sostiene que las puntuaciones de confianza identifiquen de forma fiable cada error. El latente visual también interviene en el cálculo del condicionamiento de MoM, y el IDM recibe el latente de baja resolución junto con su latente ruidoso.
El estudio de ablación proporciona una medida concreta del aporte de esta ponderación. En comparación con valores de confianza uniformes, el modelo completo con ponderación por confianza mejora la precisión de coincidencia exacta de TransOCR de 0.5258 a 0.5401, lo que supone una ganancia de 1.43 puntos porcentuales. La PSNR aumenta de 24.6159 a 24.8095 dB, mientras que el FID se reduce de 16.9615 a 12.6849. Estos son resultados para el modelo y benchmark evaluados, y no una garantía general de que la confianza sin calibrar evite errores en otros pipelines.
Reconstrucción en un solo paso a partir de un latente ruidoso
El codificador VAE mapea la imagen degradada a un latente no escalado de tres canales $z_{LR}$. TOLA extrae una muestra de ruido gaussiano $\epsilon$ y construye un latente ruidoso en el paso temporal fijo $t = 999$ (con indexación en cero) del programa lineal de 1,000 pasos de DiffTSR. Los extremos de dicho programa son $\beta_0 = 0.0015$ y $\beta_{999} = 0.0205$:
$$z_t = \sqrt{\bar{\alpha}t}z{LR} + \sqrt{1-\bar{\alpha}_t}\epsilon$$
Se trata de una versión ruidosa de $z_{LR}$, no de una sustitución de la entrada por ruido puro. TOLA construye $z_t$ directamente en el paso temporal seleccionado en lugar de recorrer una cadena inversa de eliminación de ruido.
La U-Net del IDM recibe la concatenación a lo largo de los canales $[z_t,z_{LR}]$ y la condición de texto $C_{cond}$ de MoM. Los autores parten del checkpoint oficial de DiffTSR entrenado en CTR, congelan sus pesos base y entrenan adaptadores LoRA de rango 4 en las capas aptas del IDM y del codificador VAE. El parámetro de escala de LoRA es $\alpha=4$; aquí dicho símbolo designa una configuración de LoRA, independiente de las puntuaciones de confianza por token mencionadas anteriormente.
El IDM adaptado predice el ruido $\hat{\epsilon}_{\theta}$ una sola vez. Dado que el modelo heredado de DiffTSR predice ruido, TOLA calcula directamente una estimación inicial del latente limpio:
$$\hat{z}_0=\frac{z_t-\sqrt{1-\bar{\alpha}t}\hat{\epsilon}{\theta}}{\sqrt{\bar{\alpha}_t}}$$
A este cálculo no le sigue ninguna actualización inversa. La estimación pasa directamente a LRC.
Corrección de distorsiones estructurales con Latent Residual Correction
Una única predicción de ruido puede dejar errores estructurados en la estimación del latente limpio, especialmente alrededor de trazos finos, bordes y patrones locales ambiguos. TOLA aborda estos errores con un pequeño módulo de corrección en lugar de otro proceso de refinamiento iterativo.
LRC define en primer lugar el residuo entre el latente de baja resolución y la estimación limpia inicial:
$$r=z_{LR}-\hat{z}_0$$
Toma la concatenación de seis canales $[z_{LR},r]$ y predice una corrección $\Delta r$. El módulo consta de una proyección $1\times1$ de 6 a 32 canales, un bloque denso residual-en-residual (residual-in-residual dense block) que contiene tres bloques densos residuales, y una proyección $1\times1$ de retorno a 3 canales. Cada bloque denso utiliza cinco convoluciones $3\times3$ densamente conectadas con una tasa de crecimiento (growth width) de 16; el escalado residual es de 0.2.
La proyección de salida se inicializa en cero. Por consiguiente, al inicio del entrenamiento, LRC deja $\hat{z}_0$ sin cambios. A medida que aprende, su corrección predicha modifica el residuo:
$$r_{\text{corr}}=r+\Delta r$$ $$\hat{z}{0,\text{corr}}=z{LR}-r_{\text{corr}}$$
El latente corregido se divide por el factor de escala heredado $s=0.18215$ y se pasa a través del decodificador VAE congelado para producir $x_{SR}$.
LRC cuenta con 180,323 parámetros. Junto con los 2,027,520 parámetros LoRA del IDM y los 250,548 parámetros LoRA del codificador VAE, TOLA optimiza y guarda 2,458,391 parámetros de adaptación. Dicha cifra corresponde a un recuento de parámetros, no a una afirmación sobre el tamaño del archivo. La inferencia continúa utilizando el backbone preentrenado.
Imagen degradada (x_LR)
├──> TransOCR ──> tokens + confianzas ──> embeddings ponderados ──┐
│ │
└──> Codificador VAE ──> z_LR ──> muestreo-q en t=999 ──> z_t │
│ │ │
└──────────> MoM <─────────┘ <───────────┘
│
C_cond
│
[z_t, z_LR] ──> U-Net del IDM
│ una predicción de ruido
v
Estimación del latente limpio
│
Corrección residual LRC
│
Decodificador VAE
│
v
Imagen restaurada (x_SR)
Los resultados en benchmarks: velocidad, fidelidad y comprobaciones independientes
Los autores evalúan TOLA en el benchmark CTR-TSR-Test ×4 de 8,089 pares y en 200 recortes pareados de imágenes reales en RealCE-200. También presentan resultados cualitativos en RT50, un conjunto de 50 entradas de texto reales.
CTR-TSR-Test (escalado ×4)
Bajo el protocolo de evaluación unificado del artículo, TOLA supera a DiffTSR en las nueve métricas reportadas para CTR-TSR-Test:
- Latencia de inferencia: 0.1319 segundos por imagen para TOLA frente a 9.9548 segundos para DiffTSR, una aceleración de 75.5× en la configuración medida con batch-size-one.
- MACs de restauración: 297.497 G frente a 59,213.970 G para la trayectoria completa de DiffTSR. Estos recuentos excluyen los VAE y los módulos auxiliares de texto.
- PSNR: 24.8095 dB frente a 20.5958 dB, una ganancia de 4.2137 dB.
- Métricas de calidad de imagen: el SSIM aumenta de 0.6261 a 0.7235, mientras que el FID se reduce de 24.9120 a 12.6849.
- Reconocimiento con TransOCR: la precisión de coincidencia exacta a nivel de imagen aumenta de 0.4645 a 0.5401; la similitud normalizada por distancia de edición aumenta de 0.6519 a 0.7370.
La tabla también incluye los números publicados de PRISM, pero PRISM utilizó un protocolo diferente con BTL-test ×4 y PP-OCRv5. Sus cifras reportadas constituyen una referencia entre protocolos distintos, por lo que una afirmación numérica directa de que TOLA superó a PRISM en la misma evaluación de CTR-TSR-Test resultaría engañosa.
La comprobación cruzada independiente con OCR
TransOCR desempeña varias funciones en el estudio de TOLA: instancias independientes y congeladas proporcionan el condicionamiento y la supervisión de la pérdida por reconocimiento, y TransOCR suministra además una métrica de evaluación primaria. Por ello, los autores incorporan PaddleOCR como una comprobación de reconocimiento independiente. PaddleOCR no se utiliza para el condicionamiento, entrenamiento, validación ni para la selección de checkpoints.
Esa comprobación apunta en la misma dirección. La precisión de coincidencia exacta de PaddleOCR sube de 0.3970 para DiffTSR a 0.4626 para TOLA, una ganancia de 6.56 puntos porcentuales. La similitud normalizada por distancia de edición de PaddleOCR aumenta de 0.5873 a 0.6585. Contar con un reconocedor independiente refuerza el resultado de reconocimiento, aunque no exime a la evaluación de posibles efectos derivados del conjunto de datos o del protocolo.
Evaluación con imágenes reales: RealCE-200 y RT50
Para RealCE-200, los autores elaboran 200 recortes pareados a partir de la partición de validación de RealCE. Las observaciones de baja resolución y de referencia provienen de imágenes emparejadas oficiales con distancias focales de 13 mm y 52 mm, utilizando las mismas coordenadas de anotación de texto. Este conjunto se excluye del entrenamiento, la validación y la selección de checkpoints.
TOLA supera a los métodos comparados en las seis métricas de RealCE-200. Alcanza 19.2240 dB de PSNR y 0.6199 de SSIM, frente a los 17.6287 dB y 0.5970 de DiffTSR. La precisión de coincidencia exacta con PaddleOCR es de 0.5100 para TOLA y 0.4300 para DiffTSR.
RT50 cumple un propósito distinto. Contiene 50 entradas reales —17 en chino, 17 en inglés y 16 numéricas— seleccionadas para abarcar variadas condiciones de captura. El artículo presenta comparaciones cualitativas sobre este conjunto; no reporta una puntuación con referencia pareada ni una prueba de campo en producción para RT50.
Lo que realmente muestran las ablaciones
Las variantes controladas del artículo ayudan a aislar las contribuciones de la adaptación, la corrección residual y el condicionamiento textual.
En primer lugar, LoRA asume gran parte de la adaptación en un solo paso, mientras que LRC mejora la reconstrucción. Una ruta de un solo paso congelada obtiene 20.0416 dB de PSNR y 119.4517 de FID. La variante solo con LoRA alcanza 24.4220 dB y 12.7420 de FID. Añadir LRC incrementa la PSNR en 0.3847 dB, eleva el SSIM en 0.0127 y reduce el LPIPS en 0.0121.
El cambio en el reconocimiento atribuible exclusivamente a LRC es menos certero. El análisis pareado del artículo reporta una ligera variación en la precisión de coincidencia exacta cuya prueba de McNemar no es estadísticamente significativa ($p=0.584$). La evidencia respalda el beneficio de LRC en la reconstrucción de imágenes con mayor solidez que una mejora independiente en el reconocimiento.
En segundo lugar, una corrección simple equiparada en parámetros rinde peor que el diseño probado de LRC. Sustituir LRC por la línea base de corrección residual simple del artículo reduce la PSNR de 24.8095 a 23.9846 dB y eleva el FID de 12.6849 a 16.9340. Esta comparación demuestra que la mejora no se explica únicamente por el número de parámetros, aunque no aísla qué característica individual del diseño con bloques densos origina dicha diferencia.
En tercer lugar, el paso temporal seleccionado equilibra las métricas reportadas. En un control de inferencia con checkpoint fijo, $t=949$ produce una PSNR ligeramente superior a $t=999$ —24.9307 frente a 24.8067 dB—, pero peores valores de LPIPS, DISTS y FID. Fijar $\epsilon=0$ también reduce la PSNR y empeora el FID en comparación con la configuración predeterminada. Los autores seleccionan $t=999$ por ofrecer el resultado global más sólido entre las configuraciones evaluadas.
Qué significa esto para los pipelines de procesamiento de documentos
TOLA logra un avance acotado pero útil: demuestra que la superresolución de texto basada en difusión puede prescindir de una ruta iterativa de texto e imagen al tiempo que mejora los resultados de restauración y reconocimiento medidos en el artículo. De estos experimentos se desprenden tres lecciones de diseño.
1. La restauración en un solo paso transforma el cálculo de latencia
La reducción medida de casi diez segundos a 0.1319 segundos por recorte es sustancial. Esto hace que TOLA resulte mucho más viable para una etapa de restauración focalizada que la ruta comparada de DiffTSR de 200 pasos. El rendimiento de extremo a extremo seguirá dependiendo de la detección de recortes, el procesamiento por lotes (batching), el hardware, el movimiento de datos y el resto del sistema de OCR; el artículo mide la inferencia del modelo en imágenes fijas, no en un pipeline de documentos en producción.
2. La guía textual incierta merece menor influencia
La condición ponderada por confianza de TOLA se comporta mejor que la ponderación uniforme en la ablación reportada. Esto respalda la idea de mitigar la influencia de los tokens de OCR dudosos cuando guían la reconstrucción. No obstante, plantea un límite importante: la ponderación no puede recuperar información que ni la imagen degradada ni el reconocedor logran aportar.
3. Un estado de adaptación reducido puede transformar un modelo preentrenado grande
Los autores entrenan adaptadores LoRA de rango 4 y LRC en lugar de reentrenar el backbone de DiffTSR. Su estado de adaptación de 2.46 millones de parámetros es reducido en comparación con el modelo preentrenado conservado, y reportan aproximadamente 55 horas de entrenamiento en cuatro GPUs NVIDIA RTX PRO 6000. Que este enfoque resulte más económico para otro equipo dependerá del acceso al checkpoint preentrenado, de disponer de datos adecuados y de los costes de su propia infraestructura de entrenamiento e inferencia.
Dónde terminan las evidencias
Los diagnósticos de TOLA también revelan limitaciones relevantes a la hora de interpretar los resultados:
-
Los priores de texto incorrectos siguen siendo problemáticos. Cuando el prior predicho por TransOCR coincide con el ground truth, la precisión de transcripción por coincidencia exacta a nivel de imagen de TOLA es de 0.9683. Cuando es erróneo, la precisión se sitúa en 0.2217, frente al 0.1043 de DiffTSR en ese mismo grupo con prior incorrecto. Suministrar el texto ground truth como condición oráculo eleva la precisión global de TOLA de 0.5401 a 0.6253. Dicha brecha evidencia margen de mejora para una guía semántica superior, sin definir qué reconocedor o modelo futuro lograría cerrarla.
-
Las pruebas reportadas utilizan un lienzo fijo y conjuntos de datos definidos. El entrenamiento y la evaluación pareada unificada emplean imágenes de 128 × 512. El artículo no evalúa distribuciones de documentos arbitrarias ni establece cómo afectaría un detector de recortes previo a los resultados.
-
El resultado de latencia es específico del hardware. La cifra de 0.1319 segundos se obtuvo con una GPU RTX PRO 6000 y un tamaño de lote de uno. En la misma tabla de tiempos existen métodos feedforward más rápidos —por ejemplo, NAFNet tarda 0.0324 segundos y TSRN tarda 0.0148 segundos—, aunque sus puntuaciones de restauración y reconocimiento difieren. El artículo no reporta costes de inferencia en CPU o entornos serverless.
El resultado de TOLA es más contundente en la pregunta que evalúa de forma directa: si la restauración por difusión orientada a texto requiere predicciones repetidas de imagen y texto para alcanzar una alta calidad. En los benchmarks de los autores, construir una guía ponderada por confianza una sola vez, realizar una única predicción de IDM y corregir su residuo latente ofrece mejores resultados medidos que la ruta comparada de DiffTSR en una fracción de su tiempo de inferencia.