SP-DocReader: reducir a la mitad la tasa de error de OCR en Vary-600K con self-play sensible a las diferencias

Cuando más parámetros empeoran la lectura de documentos

Ajustar un modelo de visión y lenguaje de 4 mil millones de parámetros con decenas de miles de páginas de documentos parece una buena receta para transcribir mejor. En los experimentos de SP-DocReader, actualizar juntos el modelo de lenguaje y el módulo de OCR sí produjo tasas de error de caracteres más bajas dentro de la distribución de entrenamiento. Sin embargo, en benchmarks de documentos no vistos, esa estrategia quedó por detrás de una adaptación más pequeña. En IIT-CDIP, que contiene registros escaneados, el ajuste conjunto del modelo de lenguaje y el OCR produjo una tasa de error de caracteres del 16.87%. Un módulo de OCR de 0.5 mil millones de parámetros, entrenado con las mismas páginas y con su backbone congelado, alcanzó el 14.42%. El codificador visual y su conector permanecieron congelados en ambas configuraciones.

Esa brecha contraintuitiva es uno de los hallazgos de SP-DocReader, un artículo de investigación sobre OCR publicado el 8 de octubre de 2026 por Wenjie Liao, Xiaohui Song, Liangjie Zhao y Haonan Lu, afiliados a Guangdong OPPO Mobile Telecommunications y Adelaide University. La transcripción de documentos es una tarea fundamentalmente exigente. Responder brevemente una pregunta sobre una página es muy distinto de reproducir su texto, incluidos los caracteres pequeños y los números. Los ejemplos del artículo muestran lo que puede salir mal: leer el año de derogación de una enmienda constitucional como 1935 en lugar de 1933, convertir "State legislatures" en "State legislators", o transcribir una fórmula de dimensión matemática como dim S = dim A + IL en lugar de dim S = dim A + |L|.

SP-DocReader ataca directamente estos errores residuales. El marco combina dos ideas: una rama de OCR modular que mantiene congelado el modelo de visión y lenguaje subyacente, y un esquema iterativo de entrenamiento por self-play que selecciona las posiciones de la pérdida a partir de las discrepancias entre las transcripciones generadas y las de referencia.

El resultado es notable. Con Qwen3-VL-4B, tres rondas de self-play sensible a las diferencias reducen la tasa de error de caracteres en el conjunto de validación de Vary-600K del 2.40% al 1.11%, una reducción relativa del error de aproximadamente el 54% frente al ajuste fino supervisado de dos épocas. En una comparación aparte de presupuesto de entrenamiento, el self-play con 30,000 páginas de referencia superó al ajuste fino supervisado con 120,000 páginas en una puntuación compuesta de cinco tareas. Eso equivale a una cuarta parte de las páginas de referencia de entrenamiento distintas; no es una medición del costo de anotación ni del cómputo total.

Por qué el ajuste fino supervisado estándar dispersa su atención

Para entender la motivación de SP-DocReader, conviene ver cómo el ajuste fino supervisado (SFT) estándar entrena a los lectores de documentos.

Con el ajuste fino autorregresivo estándar, el modelo recibe una imagen del documento junto con un prompt, y el pipeline de entrenamiento calcula la pérdida de entropía cruzada con teacher forcing sobre todo el texto objetivo. Cada token objetivo recibe supervisión. Si una referencia contiene 800 tokens del modelo, el objetivo incluye las 800 posiciones, aunque sus pérdidas y sus contribuciones al gradiente no tengan por qué ser iguales.

Un lector que ya transcribe correctamente gran parte de una página puede seguir teniendo problemas con un conjunto menor de errores restantes. El SFT sobre la secuencia completa no usa una lectura generada para identificar esas posiciones. SP-DocReader plantea si seleccionar explícitamente los desacuerdos restantes puede mejorar la adaptación después de la etapa supervisada.

El teacher forcing también difiere de la generación. Durante la transcripción, el modelo condiciona cada nuevo token a su propia salida previa. Durante el entrenamiento supervisado, predice el siguiente token de referencia dado el prefijo real. SP-DocReader incorpora al entrenamiento las lecturas generadas por el propio modelo, y sigue usando prefijos completos de la verdad de referencia al puntuar los tokens de referencia.

Las trayectorias supervisadas reportadas motivan ese cambio. Con Qwen3-VL-4B, el CER en Vary-600K mejora del 2.50% tras una época supervisada al 2.40% tras dos, y luego sube al 2.66% tras tres. InternVL muestra una inversión similar en esta métrica. Estos resultados respaldan la exploración de un objetivo distinto; no establecen que el ajuste fino supervisado deje de ayudar universalmente después de dos épocas.

Tomar prestado el self-play sin un modelo de recompensa aparte

SP-DocReader se basa en el emparejamiento iterativo de SPIN, que enfrenta respuestas de referencia con salidas de un checkpoint anterior del modelo. Un modelo activo aprende de esos pares y luego se convierte en el oponente de la siguiente ronda.

La transcripción de documentos tiene una ventaja estructural útil frente al chat abierto: las páginas de entrenamiento cuentan con transcripciones de referencia. El marco puede localizar desacuerdos con esas referencias sin entrenar un modelo de recompensa aparte ni recopilar etiquetas de preferencia subjetivas.

SP-DocReader adapta ese ciclo a la transcripción de páginas:

1. El oponente genera un borrador: En la ronda t, el marco congela el checkpoint actual y lo designa como oponente ($\theta_t$). El oponente genera de forma voraz (greedy) una lectura por página, deteniéndose en EOS o a los 1,024 tokens nuevos, sin contar el prompt.
2. El marco compara el borrador: Alinea la secuencia de tokens generada por el oponente con la transcripción de referencia conocida.
3. El marco selecciona las discrepancias: Identifica las posiciones sin coincidencia en ambas secuencias. Esas posiciones determinan qué log-probabilidades de tokens entran en el objetivo de entrenamiento.
4. La optimización dirigida actualiza al jugador: Un objetivo de doble pérdida actualiza el módulo de OCR entrenable. Un componente compara los cambios de puntuación, relativos al oponente, de las discrepancias de referencia y de las generadas. El otro supervisa directamente los tokens de referencia sin coincidencia.
5. El oponente se actualiza: Tras la optimización local, el jugador actualizado se convierte en el siguiente oponente ($\theta_{t+1}$), y genera nuevas lecturas y máscaras de discrepancia.

Las lecturas y las máscaras permanecen fijas dentro de cada ronda. Refrescarlas entre rondas permite que el entrenamiento posterior responda a los errores que aún comete el modelo actualizado, aunque el procedimiento no garantiza que cada nueva discrepancia sea más difícil o más sutil que la anterior.

Corrección quirúrgica de errores: subsecuencias comunes más largas y gradientes duales

La principal contribución técnica de SP-DocReader reside en cómo selecciona y puntúa las discrepancias. Los autores introducen dos mecanismos complementarios: el enmascaramiento de discrepancias de lectura (Reading Discrepancy Masking, RDM) y la pérdida de fidelidad focalizada (Focused Fidelity Loss, FFL).

Enmascaramiento de discrepancias de lectura (RDM)

El marco alinea directamente, a nivel de tokens del modelo, la secuencia de tokens de la verdad de referencia $y$ y la secuencia sintética del oponente $\hat{y}$.

Calcula una subsecuencia común más larga (Longest Common Subsequence, LCS) mediante programación dinámica sobre pares de sufijos. Cuando los tokens coinciden, ambos punteros avanzan. Cuando difieren, el algoritmo avanza el puntero que conserva la mayor longitud de LCS del sufijo restante. En caso de empate, avanza el puntero sintético y mantiene la posición de la verdad de referencia.

Esta alineación determinista produce dos conjuntos de posiciones, cada uno perteneciente a su propia secuencia:

• $\mathcal{E}_y$: posiciones sin coincidencia en la secuencia de la verdad de referencia.
• $\mathcal{E}_{\hat{y}}$: posiciones sin coincidencia en la lectura generada.

Se trata de discrepancias a nivel de tokens del modelo, no necesariamente de caracteres o palabras individuales, ni de un diagnóstico único de cada error de reconocimiento.

Un punto crucial: SP-DocReader no reintroduce los tokens sin coincidencia como fragmentos de texto desconectados. Cada token seleccionado se puntúa con su prefijo de condicionamiento original completo. Un token de referencia en la posición 450 sigue usando los 449 tokens de referencia anteriores; un token generado usa su propio prefijo generado. Las máscaras seleccionan términos de pérdida directos, mientras que los tokens que coinciden siguen formando parte del cómputo contextual.

La pérdida de discrepancia de lectura ($\mathcal{L}_{RDM}$)

El marco calcula un objetivo contrastivo adaptado de SPIN, motivado por la brecha de esperanzas que se usa en las métricas de probabilidad integral (Integral Probability Metrics). Para cada secuencia, calcula el cambio de puntuación entre el jugador actual y el oponente congelado:

$$\Delta_t(z) = S_\theta(z, \mathcal{E}z) - S{\theta_t}(z, \mathcal{E}_z)$$

Aquí, $S_\theta$ suma las log-probabilidades de los tokens en las posiciones seleccionadas, usando sus prefijos originales completos. La suma no se normaliza por longitud. La pérdida de discrepancia de lectura aplica una pérdida logística:

$$\mathcal{L}_{RDM}(\theta, \theta_t) = \mathbb{E}\left[\log\left(1 + \exp\left(\beta [\Delta_t(\hat{y}) - \Delta_t(y)]\right)\right)\right]$$

El objetivo favorece un mayor aumento de puntuación respecto al oponente en las discrepancias de la verdad de referencia que en las discrepancias generadas. Es una comparación relativa, y no una penalización basada únicamente en la probabilidad absoluta de un token incorrecto.

Pérdida de fidelidad focalizada (FFL)

El objetivo contrastivo puede disminuir reduciendo la puntuación sintética sin aumentar la puntuación de la verdad de referencia. Suprimir una lectura incorrecta, por sí solo, no garantiza un mayor respaldo a la referencia.

Para añadir esa presión directa, los autores introducen la pérdida de fidelidad focalizada ($\mathcal{L}_{FFL}$). La FFL aplica la log-verosimilitud negativa con teacher forcing en las posiciones sin coincidencia de la verdad de referencia:

$$\mathcal{L}{FFL}(\theta) = - \mathbb{E}\left[\sum{k \in \mathcal{E}y} \log P\theta(y_k \mid y_{<k}, I, x)\right]$$

Las posiciones que coinciden no reciben términos de pérdida directos por token. Aun así, pueden influir en las pérdidas seleccionadas por su papel en el contexto de condicionamiento, de modo que enmascarar no significa que todos los gradientes internos o el cómputo desaparezcan en las posiciones que coinciden.

El objetivo final combina ambos términos:

$$\mathcal{L}{total} = \mathcal{L}{RDM} + \lambda \mathcal{L}_{FFL}$$

Los experimentos usan $\lambda = 0.5$ como peso por defecto de la supervisión directa.

Los autores derivan el gradiente combinado respecto a los parámetros entrenables del OCR:

$$\nabla_\theta \mathcal{L}{pair} = -[\beta \sigma(-u) + \lambda]\nabla\theta s_y

• \beta \sigma(-u)\nabla_\theta s_{\hat{y}}$$

Aquí, $s_y$ y $s_{\hat{y}}$ son las puntuaciones enmascaradas de la referencia y de la secuencia sintética, y $u=\beta[\Delta_t(y)-\Delta_t(\hat{y})]$. Bajo descenso de gradiente, los dos términos ejercen presión para elevar la puntuación de la referencia y reducir la puntuación sintética, con la FFL añadiendo peso a la contribución de la referencia. La derivación explica esos papeles; no demuestra una reducción de la varianza del gradiente ni un ahorro computacional automático gracias al enmascaramiento.

El punto óptimo de 0.5 mil millones de parámetros

Las decisiones de arquitectura importan tanto como las funciones de pérdida. En lugar de actualizar el backbone de lenguaje, los autores se apoyan en el lector modular de DocVLM.

El pipeline reparte las responsabilidades:

• Vía visual congelada: El codificador visual procesa páginas de resolución reducida. El protocolo estándar renderiza los PDF a 72 DPI cuando se conocen las dimensiones físicas; en las páginas solo ráster, el lado más largo se limita a 842 píxeles sin aumentar la resolución.
• Backbone de lenguaje congelado: Los pesos del modelo de lenguaje no cambian, aunque se necesitan derivadas a través de su cómputo para entrenar la rama de OCR.
• Motor de OCR externo: Un EasyOCR fijo proporciona el texto reconocido y los cuadros delimitadores a partir de la misma página de resolución reducida.
• Módulo de OCR entrenable: Un codificador derivado de DocFormerV2 recibe el texto y el diseño del OCR, usando un entrelazado al estilo LayTextLLM de embeddings de cuadros proyectados y embeddings de texto. Consultas aprendibles comprimen su salida en 64 representaciones de consulta de OCR, que una proyección mapea hacia el VLM congelado.

El codificador de OCR, la capa de proyección y las consultas aprendibles suman aproximadamente 0.5 mil millones de parámetros entrenables. Es un módulo de OCR acoplado, no un subconjunto de 0.5 mil millones de parámetros de Qwen3-VL-4B.

Los autores lo comparan con una variante "sin OCR" (OCR-free), que ajusta el modelo de lenguaje sin la rama de OCR y usa 3.3 mil millones de parámetros entrenables, y con una variante de "parámetros completos", que ajusta juntos el modelo de lenguaje y el módulo de OCR y usa 3.8 mil millones. A pesar de esa etiqueta, el codificador visual y su conector permanecen congelados en las tres variantes.

Los resultados revelan el equilibrio:

• Lectura dentro de la distribución (Vary-600K): El ajuste completo logra un CER del 0.98%, frente al 1.11% del ajuste modular.
• Páginas académicas en zero-shot (DocBank): El ajuste modular logra un CER del 9.05%, frente al 11.28% del ajuste completo.
• Documentos escaneados en zero-shot (IIT-CDIP): El ajuste modular alcanza un CER del 14.42%, frente al 16.87% del ajuste completo.
• Preguntas y respuestas sobre documentos (DocVQA): El ajuste modular obtiene 84.89 de ANLS, frente a 80.41 del ajuste completo.

Las trayectorias más largas refuerzan ese contraste. Desde SFT-2 hasta cinco rondas de self-play, el promedio zero-shot de cuatro tareas del ajuste completo cae de 75.92 a 73.60, mientras que el del ajuste modular sube de 75.89 a 79.81.

Estos resultados favorecen la adaptación modular en las tareas zero-shot evaluadas. No establecen que el ajuste completo haya aprendido un estilo de renderizado particular, ni que sus capacidades generales de razonamiento se hayan deteriorado. Congelar el backbone preserva sus pesos; el artículo mide el desempeño documental del sistema resultante, no la preservación de todas las capacidades más amplias.

Lo que muestran los números: tasas de error reducidas a la mitad y una comparación con un presupuesto de páginas cuatro veces menor

Los autores evalúan dos backbones, InternVL-3.5-4B y Qwen3-VL-4B, usando 30,000 páginas de entrenamiento en inglés y 30,000 en chino de Vary-600K para los experimentos principales. Las evaluaciones estándar usan entradas de resolución reducida, con reglas de preprocesamiento distintas para PDF e imágenes ráster. Un estudio de resolución prueba además otras configuraciones.

Benchmarks principales de transcripción y QA

La comparación principal abarca el modelo base de baja resolución, el ajuste fino supervisado de dos épocas (SFT-2) y las tres rondas posteriores de self-play (SP-DR-3):

Backbone	Método	CER Vary-600K (%) ↓	CER DocBank (%) ↓	CER IIT-CDIP (%) ↓	ANLS DocVQA ↑	ANLS InfoVQA ↑
InternVL-3.5-4B	Base (low-res)	4.85	13.44	19.56	72.79	50.52
	SFT-2	2.12	11.60	17.83	73.01	48.15
	SP-DR-3	1.17	9.73	15.35	74.27	48.06
Qwen3-VL-4B	Base (low-res)	5.22	12.82	18.45	78.54	52.21
	SFT-2	2.40	10.95	16.71	81.22	55.34
	SP-DR-3	1.11	9.05	14.42	84.89	58.94

Con Qwen3-VL-4B, el self-play reduce el CER dentro de la distribución en más de la mitad. El CER en DocBank baja 1.90 puntos porcentuales, el de IIT-CDIP 2.29 puntos, y el ANLS de DocVQA sube 3.67 puntos. InternVL también mejora en los tres benchmarks de transcripción y en DocVQA, pero en InfographicVQA retrocede de 48.15 a 48.06.

Aquí, "zero-shot" significa que no hubo adaptación al benchmark objetivo durante las etapas supervisada y de self-play del artículo. No establece que los componentes preentrenados nunca hayan visto esos conjuntos de datos o documentos relacionados.

Benchmarks adicionales de parsing

Las puntuaciones agregadas reportadas también mejoran más allá de los conjuntos de datos principales:

• OmniDocBench (distancia de edición de texto, menor es mejor): Qwen3-VL-4B mejora de 0.347 a 0.291; InternVL mejora de 0.366 a 0.312.
• OCRBench v2 (mayor es mejor): Qwen3 sube de 49.1 a 55.3; InternVL sube de 46.5 a 52.0. El artículo usa una media con igual peso por idioma de las puntuaciones en inglés y en chino.
• CC-OCR (mayor es mejor): Qwen3 sube de 65.4 a 71.0; InternVL sube de 62.7 a 67.9. El artículo reporta una media con igual peso por pista.

Se trata de mejoras agregadas, no de evidencia de que cada subtarea subyacente mejore.

El dividendo de la eficiencia de datos

En la comparación de presupuesto de entrenamiento, Qwen3-VL-4B con SP-DocReader usa 30,000 páginas de referencia distintas y logra una puntuación compuesta de 82.46. El SFT-2 con 120,000 páginas obtiene 80.73.

Esa puntuación compuesta da el mismo peso a la similitud de edición normalizada de Vary-600K, DocBank e IIT-CDIP, escalada de 0 a 100, y al ANLS de DocVQA e InfographicVQA. Por lo tanto, incluye tanto el desempeño dentro de la distribución como el zero-shot.

Cada presupuesto parte de la misma inicialización previa a la tarea y completa su propia etapa supervisada. El modelo de menor presupuesto no hereda la adaptación realizada con el conjunto de datos más grande. El resultado respalda un mejor desempeño con una cuarta parte de las páginas de referencia de entrenamiento en esta comparación, y deja el cómputo y el esfuerzo de anotación como cuestiones aparte.

Robustez ante la resolución

El artículo evalúa checkpoints fijos de Qwen3-VL-4B en cuatro configuraciones de imagen de origen. Las etiquetas de DPI se aplican a los PDF con dimensiones físicas conocidas; las páginas solo ráster usan los límites de lado largo correspondientes, sin aumentar la resolución:

• 48 DPI: SFT-2 alcanza un CER del 3.41%; SP-DocReader alcanza 1.74%, una reducción relativa de cerca del 49%.
• 72 DPI: SFT-2 alcanza 2.40%; SP-DocReader alcanza 1.11%, una reducción de cerca del 54%.
• 96 DPI: SFT-2 alcanza 1.93%; SP-DocReader alcanza 0.92%, una reducción de cerca del 52%.
• 150 DPI: SFT-2 alcanza 1.52%; SP-DocReader alcanza 0.71%, una reducción de cerca del 53%.

La reducción relativa se mantiene dentro de un rango estrecho en estas configuraciones. Tanto la rama visual como EasyOCR reciben la imagen de origen modificada, de modo que esto mide la respuesta del sistema combinado a la resolución, y no aísla el codificador visual.

¿Qué componentes importan realmente?

El estudio de componentes con Qwen3-VL-4B separa las contribuciones de cada pérdida, manteniendo las máscaras de discrepancia en todas las variantes:

• Línea base (SFT-2): 2.40% de CER en Vary-600K y 81.22 de ANLS en DocVQA.
• Sin la pérdida contrastiva RDM: la FFL por sí sola alcanza 1.88% de CER y 83.47 de ANLS. Esta fila sigue usando posiciones de referencia seleccionadas por LCS.
• Sin FFL: la pérdida contrastiva alcanza 1.57% de CER y 82.96 de ANLS. Sigue ofreciendo un incentivo relativo para elevar las puntuaciones de la referencia, pero carece de la supervisión directa adicional de la FFL.
• SP-DocReader completo: el objetivo combinado logra el mejor resultado en las cinco columnas reportadas, incluidos 1.11% de CER, 84.89 de ANLS en DocVQA y 58.94 de ANLS en InfographicVQA.

El refresco también parece útil en la comparación graficada. Un checkpoint refrescado de la segunda ronda alcanza un promedio cercano a 90.3 tras dos épocas locales, superando el promedio cercano a 89.8 de la rama de lecturas fijas tras cinco épocas locales. Ese promedio combina NED de Vary-600K, NED de DocBank y ANLS de DocVQA. El refresco cambia a la vez el oponente, las lecturas generadas y las máscaras; la gráfica no aísla sus efectos individuales ni establece un costo total de entrenamiento equivalente.

Por qué importa para la ingeniería de documentos en el mundo real

Para los equipos de ingeniería que construyen pipelines de procesamiento de documentos, el artículo ofrece tres direcciones prácticas que vale la pena investigar:

1. Considerar congelar el backbone de lenguaje durante la adaptación del OCR.

   El ajuste modular rinde mejor en las tareas zero-shot evaluadas mientras actualiza menos parámetros. En SP-DR-3, su costo acumulado de adaptación reportado es 0.33 veces el de la corrida completa de SFT-2 con ajuste conjunto, frente a 1.58 veces del ajuste conjunto en SP-DR-3. La contabilidad incluye la inicialización supervisada, el preprocesamiento, la generación, la alineación, la puntuación y la optimización. Esto respalda la configuración modular probada, y no una regla universal contra el ajuste del modelo de lenguaje.

2. Probar el entrenamiento centrado en las discrepancias antes de asumir que hacen falta más páginas.

   El resultado de 30,000 frente a 120,000 páginas hace que valga la pena investigar la adaptación centrada en los errores. No demuestra ganancias equivalentes para facturas, manifiestos de embarque ni ningún otro dominio de producción específico. Aplicar la idea requiere transcripciones de referencia y una evaluación sobre los documentos que el sistema realmente encontrará.

3. Medir la sobrecarga de inferencia del lector completo.

   El artículo reporta una sobrecarga de inferencia de extremo a extremo de aproximadamente el 10% respecto al backbone sin OCR, medida con tamaño de lote uno en una NVIDIA H20. El protocolo incluye el procesamiento de la página, el OCR externo, la codificación y la generación una vez cargado el modelo. Es un resultado reportado útil, pero que la sobrecarga sea aceptable depende del despliegue. No debe tratarse como una garantía de latencia independiente del hardware.

Dónde llega a sus límites el enfoque

A pesar de los sólidos resultados en benchmarks, SP-DocReader tiene límites claros:

• Alcance de una sola página: El estudio se centra en la transcripción de una sola página, y no demuestra lectura de varias páginas ni extracción estructurada. No establece el desempeño con tablas que abarcan varias páginas ni con dependencias a nivel de documento.
• Presupuestos de salida fijos: La generación y la evaluación del self-play se detienen en EOS o a los 1,024 tokens nuevos, sin continuación ni unión de fragmentos. Ese presupuesto puede limitar la cobertura de páginas más largas. El protocolo puntúa transcripciones truncadas contra referencias completas; alcanzar el tope por sí solo no demuestra una omisión, y emitir EOS no garantiza que la transcripción esté completa.
• Dependencia de un OCR externo: El lector modular usa texto y cuadros de EasyOCR junto con características visuales. El artículo no establece por separado con qué fiabilidad recupera contenido que el motor externo pasó por alto por completo.
• Evidencia limitada de idiomas y modelos: El entrenamiento usa páginas en inglés y chino, y los experimentos cubren dos familias de backbones. Los resultados no establecen generalización a otros idiomas ni arquitecturas.
• Errores de reconocimiento remanentes: Los ejemplos cualitativos muestran mejoras, no una transcripción perfecta. En el ejemplo constitucional, SP-DocReader corrige el año de derogación pero sigue leyendo la fecha del pasaje como 16 de diciembre en lugar del 18 de diciembre de la referencia mostrada. Otros ejemplos conservan errores de ortografía y de símbolos.

Dentro de esos límites, SP-DocReader muestra que el self-play centrado en las discrepancias puede mejorar un lector de documentos modular más allá de su punto de partida supervisado. La evidencia más sólida es concreta: menor error de transcripción en los tres conjuntos de lectura principales con ambos backbones, mejores puntuaciones en la mayoría de las comparaciones de preguntas y respuestas evaluadas, y una comparación favorable del presupuesto de páginas de referencia. El backbone permanece congelado, mientras el módulo de OCR aprende de los desacuerdos que persisten.