Encontrado pero no leído: por qué los modelos de visión-lenguaje aún se benefician del OCR

La ilusión óptica de la búsqueda visual de documentos

Imagina este escenario. Creas una canalización de respuesta a preguntas sobre documentos (document QA) en torno a un recuperador visual como ColQwen2. Renderizas las páginas PDF como imágenes y recuperas las páginas según la pregunta del usuario. Tu recuperador obtiene las dieciséis imágenes de página principales y se las entrega directamente a un modelo de visión-lenguaje (un VLM, como Qwen2.5-VL o Qwen3-VL) para que las lea y responda.

La arquitectura parece impecable. Al suministrar las imágenes de las páginas directamente a un modelo multimodal, conservas la presentación visual del documento sin necesidad de una transcripción por OCR como entrada para el lector. La premisa subyacente parece evidente: encontrar la página correcta es lo difícil; una vez que la imagen de la página está dentro de la ventana de contexto, leer la respuesta debería ser una tarea directa.

Un artículo de investigación de Harbin Institute of Technology, titulado Found but Not Read: When Extracted Text Closes the Retrieval-Reading Gap in Document Vision-Language Models (Xia et al., 2 de octubre de 2026), pone a prueba esa hipótesis.

Los autores demuestran que, incluso cuando un recuperador visual alcanza un recall casi perfecto, situando las páginas que contienen la respuesta justo frente al modelo, los VLM evaluados siguen dejando sin utilizar una parte sustancial de la evidencia. Denominan a este fallo la brecha entre recuperación y lectura (retrieval-reading gap): evidencia encontrada por el sistema de búsqueda pero no aprovechada con éxito por el lector.

Lo sorprendente radica en la intervención. Toma esas mismas imágenes de página, pásales un OCR en CPU y añade bloques de texto seleccionados al prompt junto con las imágenes. En FoveDoc-Bench, la precisión estricta de las respuestas aumenta entre 13 y 16 puntos porcentuales con el lector principal. El modelo visual ya disponía de los píxeles; presentar su contenido textual por separado le ayudó a aprovechar lo que ya estaba allí.

Acorralando al lector: el protocolo pareado en FoveDoc-Bench

En los benchmarks de documentos, diagnosticar por qué falla una pregunta puede resultar complicado. Si la canalización devuelve una respuesta incorrecta, ¿el motor de búsqueda recuperó las páginas equivocadas o el modelo de lenguaje no supo utilizar la página correcta?

Para aislar al lector del recuperador, Xia y sus coautores crearon un benchmark denominado FoveDoc-Bench. Consta de 2.346 preguntas a partir de 1.173 documentos digitales nativos (born-digital), cada uno de los cuales proporciona un contexto de 16 a 24 páginas. Cada pregunta está vinculada a bloques fuente anotados y a fragmentos exactos de texto. Los documentos quedaron excluidos de los conjuntos auxiliares de entrenamiento y validación de QA del estudio.

Dividieron el benchmark en dos tareas distintas:

1. V-NIAH: La respuesta depende de un único bloque de evidencia en una sola página.
2. V-MQAR: La respuesta requiere unir dos bloques de evidencia procedentes de páginas distintas.

A continuación, establecieron un protocolo saturado de recuperación. Al usar ColQwen2 para recuperar las 16 páginas principales de cada pregunta, el recall@16 completo —la fracción de preguntas en las que se recuperaron todas las páginas de evidencia de referencia (gold)— alcanzó 1,000 (100 %) en V-NIAH y 0,998 (99,8 %) en V-MQAR. De las 2.346 preguntas, el modelo contó con todas las páginas de evidencia de referencia en su prompt en 2.344 de ellas. El fallo de recuperación quedó prácticamente eliminado de la comparación.

Manteniendo constante la recuperación, evaluaron el mismo modelo congelado, el Qwen3-VL-2B-Instruct de serie, bajo dos condiciones:

• Grupo A (Solo imágenes): El modelo recibió la pregunta y las 16 imágenes de página recuperadas.
• Grupo B (Imágenes + Memoria de texto): El modelo recibió la pregunta, las mismas 16 imágenes de página y los 16 bloques de texto de esas páginas con mayor puntuación léxica frente a la pregunta. Los bloques se agruparon por página, se etiquetaron con números de página y se limitaron a un máximo de 300 caracteres cada uno.

Dado que el Grupo B no elimina nada y únicamente añade texto extraído de páginas que ya están presentes, la diferencia de precisión mide el beneficio directo de hacer que dicho contenido sea accesible por separado.

Las respuestas fueron evaluadas por un juez LLM, y la precisión estricta contabilizó únicamente los veredictos de correcto. Las comparaciones principales y externas emplearon GPT-5.4; los controles de localización y recuperación utilizaron GPT-5.6 Luna. Los jueces coincidieron en el 98,8 % de los veredictos estrictos sobre 1.963 predicciones idénticas. Además, dos de los autores revisaron 200 muestras seleccionadas de las discrepancias entre los grupos de solo imagen y de OCR, coincidiendo con el juez en un 96 %.

El resultado: un salto de 13 a 16 puntos gracias al OCR en CPU

El rendimiento de referencia de la canalización basada exclusivamente en imágenes resultó sorprendentemente frágil.

En la tarea de una sola aguja, V-NIAH, Qwen3-VL-2B respondió correctamente el 35,0 % de las veces: 410 de 1.173 preguntas, a pesar de haber recibido la página con la evidencia. Añadir texto extraído mediante RapidOCR, utilizando modelos PP-OCR en CPU, elevó la precisión al 50,6 %, o 594 de 1.173. Eso supone una ganancia de +15,7 puntos porcentuales (p = 2.8e-24).

El salto relativo fue aún mayor en la tarea de dos páginas, V-MQAR. El lector visual por sí solo obtuvo un 15,3 %, o 180 de 1.173. Añadir texto extraído en CPU prácticamente duplicó su rendimiento, elevando la precisión al 28,7 %, o 337 de 1.173: una ganancia de +13,4 puntos porcentuales (p = 3.3e-26).

Cuando los autores reemplazaron el texto de OCR por la capa de texto nativa del PDF —la referencia digital exacta para estas páginas—, la precisión escaló al 69,1 % en V-NIAH (+34,2 puntos frente a solo imágenes) y al 43,2 % en V-MQAR (+27,9 puntos).

Analicemos un ejemplo concreto del artículo. En la página 12 de un contexto de 23 páginas procedente de una entrada del blog de Cloudflare, un comentario en el código señala que el modelo TLS utiliza macros del preprocesador M4 para su notación.

La pregunta plantea: «¿Qué tipo específico de macros de preprocesador utiliza el modelo TLS para la notación?»

Con solo las imágenes de las páginas, Qwen3-VL-2B respondió "Mk". Cuando el prompt incluyó el bloque de RapidOCR (score 22.7, p12_b5) que contenía uses M4 preprocessor macros, el modelo devolvió "M4".

De forma similar, en una pregunta sobre comandos de rastreo del kernel de Linux que abarcaba dos páginas (páginas 26 y 32), el modelo basado solo en imágenes devolvió tcp_sendmsg y tcp_write_timer. Añadir el texto de OCR produjo el par correcto: tcp_sendmsg y mod_timer.

¿Por qué el OCR en CPU conservó aproximadamente la mitad de la ganancia de la capa de texto del PDF: un 46 % en V-NIAH y un 48 % en V-MQAR?

Los autores comprobaron si el OCR simplemente estaba suministrando menos texto. No era el caso. La capa digital nativa se fragmentaba en unos 53 bloques por página con una mediana de longitud de seis caracteres, mientras que la agrupación de OCR generaba unos 17 bloques por página con una mediana de longitud de 23 caracteres. Con el presupuesto fijo de bloques, la memoria de OCR contenía más caracteres en el 77,1 % de las muestras, con una diferencia media de +894 caracteres.

La limitación radicaba en la fidelidad y exhaustividad de la evidencia. Medido frente a los extractos de referencia (gold), el mejor bloque individual de OCR empaquetable recuperó en promedio el 76 % de los tokens de un extracto. Recuperó al menos el 90 % en el 53 % de los elementos de evidencia en ambas tareas. Los autores vinculan la menor ganancia de precisión del OCR con esta recuperación incompleta de la evidencia, a pesar de su mayor volumen de texto.

La escala y los trucos de prompting no cerraron la brecha

Una reacción natural es sospechar que esto sea principalmente síntoma de usar un modelo compacto de 2.000 millones de parámetros. ¿Haría innecesario el texto adicional un lector de mayor tamaño?

Los investigadores evaluaron seis modelos de visión-lenguaje comerciales (off-the-shelf) de tres familias distintas:

• Qwen3-VL (2B, 4B y 8B)
• Qwen2.5-VL (7B)
• LLaVA-OneVision (7B)
• Idefics3 (8B)

Esta comparación empleó la memoria de la capa de texto del PDF en las primeras 400 muestras por tarea, en lugar de OCR en CPU sobre todo el benchmark. Todos los modelos mostraron ganancias estadísticamente significativas en ambas tareas (p < 1e-13 en las doce combinaciones de modelo y tarea).

En LLaVA-OneVision-7B, añadir texto mejoró la precisión en 29,2 puntos en V-MQAR y en 38,5 puntos en V-NIAH. En Idefics3-8B, las mejoras alcanzaron 42,0 y 61,3 puntos. Estas cifras requieren un matiz: para estos lectores se deshabilitó la división de imágenes o se limitaron los píxeles con el fin de dar cabida a las 16 páginas. Por lo tanto, los autores comparan la dirección del beneficio entre familias, en lugar de considerar las magnitudes de las mejoras como directamente comparables.

Dentro de Qwen3-VL, donde los tres tamaños se evaluaron con configuraciones idénticas, escalar el modelo ayudó pero no eliminó la brecha:

• Lector de 2B: ganancia de +28,2 pp en V-MQAR / +36,0 pp en V-NIAH
• Lector de 4B: ganancia de +25,0 pp en V-MQAR / +30,7 pp en V-NIAH
• Lector de 8B: ganancia de +23,0 pp en V-MQAR / +22,5 pp en V-NIAH

Un lector más grande se benefició menos del texto añadido, pero con 8.000 millones de parámetros la ventaja aún superaba los 22 puntos porcentuales en ambas tareas.

Los investigadores también probaron diversas modificaciones en la selección, el prompting y el ajuste fino (fine-tuning):

• Con un lector de 4B en V-MQAR, duplicar el presupuesto de bloques, usar un selector por unión y cambiar a un lector en modo razonamiento modificaron la precisión como máximo en +3 puntos porcentuales cada uno.
• La descomposición mediante self-ask redujo la precisión en 4,3 puntos porcentuales en esa configuración.
• El ajuste fino con LoRA recuperó 6 puntos en V-MQAR y 5 puntos en V-NIAH para el modelo de 2B; la ganancia reportada con LoRA en el modelo de 4B fue de 0,9 puntos.

Estas intervenciones evaluadas fueron modestas en comparación con la brecha de la capa de texto. No demuestran que escalar o ajustar el modelo nunca pueda resolverla, pero sí ponen de manifiesto que las alternativas concretas ensayadas aquí no lo lograron.

El hallazgo diagnóstico: el modelo puede leer, pero le cuesta encontrar

Para comprender por qué los lectores fallan en páginas que ya tienen en su contexto, los autores llevaron a cabo tres comparaciones diagnósticas.

En primer lugar, suministraron la transcripción completa de OCR de las 16 páginas en orden de lectura, sin seleccionar bloques en función de la pregunta. La precisión mejoró 17,9 puntos en V-MQAR y 22,1 puntos en V-NIAH. Esto superó las mejoras obtenidas con el resumen de 16 bloques bajo un prompt neutro: 14,1 y 16,5 puntos, respectivamente. Por consiguiente, la selección condicionada a la pregunta no resultaba imprescindible para obtener un beneficio sustancial.

En segundo lugar, suministraron esos bloques seleccionados como recortes de imagen (image crops), añadidos a las páginas completas sin texto extraído. Los recortes conservaron la densidad de píxeles original que usaba el lector para la página, de modo que la intervención aisló los bloques sin incrementar su resolución.

Los recortes recuperaron el 87 % de la ganancia del resumen de texto con prompt neutro en V-MQAR (+12,3 puntos) y el 92 % en V-NIAH (+15,2 puntos).

En tercer lugar, dibujaron recuadros rojos alrededor de esos mismos bloques en las imágenes de página completa. Los recuadros no generaron una recuperación comparable: +0,5 puntos en V-MQAR y una caída de 3,0 puntos en V-NIAH.

En conjunto, las comparaciones presentan este panorama:

Intervention added to the 16-page input    V-MQAR gain    V-NIAH gain
Red boxes around selected blocks            +0.5 pp        -3.0 pp
Selected blocks as image crops             +12.3 pp       +15.2 pp
OCR digest under a neutral prompt          +14.1 pp       +16.5 pp
Full OCR text in reading order             +17.9 pp       +22.1 pp

Estos resultados respaldan la existencia de un cuello de botella en la accesibilidad de la evidencia. El lector es capaz de utilizar gran parte de la información cuando se extrae de la página circundante, incluso si dicha información sigue estando en forma de píxeles.

Los experimentos no identifican un componente de atención específico como la causa, ni demuestran por qué fallan los recuadros rojos. Lo que sí establecen es la diferencia de comportamiento: resaltar regiones en una página completa sirvió de poco, mientras que presentar esas regiones por separado recuperó la mayor parte del beneficio del resumen.

La recuperación a nivel de página no equivale a la recuperación a nivel de evidencia. Recuperar una página pone a la vista el pajar; presentar el texto seleccionado o los recortes facilita el uso de la aguja.

Primera advertencia: la trampa de los diagramas de flujo y la modalidad de la evidencia

Llegados a este punto, uno podría verse tentado a concluir que toda consulta sobre documentos debería acompañarse de una transcripción de OCR. Sin embargo, el artículo identifica dos límites que invalidan una conclusión tan amplia.

El primero concierne a la modalidad de la evidencia: si la respuesta depende de texto o de estructuras gráficas como gráficos y figuras.

Los autores evaluaron el protocolo pareado en MMLongBench-Doc, que contiene 1.091 preguntas distribuidas en 135 documentos de hasta 468 páginas. A diferencia de FoveDoc-Bench, su evidencia es mayoritariamente gráfica y la recuperación no está saturada: el recall@16 completo es del 84,4 %.

Entre las 838 preguntas con respuesta y evidencia anotada, añadir la memoria de OCR produjo una variación agregada insignificante de +0,4 puntos porcentuales (+0,004, p = 0,86). Este resultado atañe al estrato anotado y con respuesta, no a las 1.091 preguntas en su conjunto, que también incluyen ítems deliberadamente sin respuesta.

Cuando los autores separaron las 414 preguntas que contaban con exactamente una etiqueta de evidencia, emergió un patrón distinto:

• Evidencia solo de texto (129 preguntas): Añadir texto extraído aportó una ganancia de +8,5 puntos porcentuales.
• Evidencia de gráficos o figuras (285 preguntas): Añadir texto extraído provocó una variación de −4,6 puntos porcentuales.

La diferencia entre ambos efectos fue de 13,1 puntos porcentuales (p = 0,0024), el contraste de modalidad externa que superó la corrección del artículo para comparaciones múltiples.

Las categorías de evidencia superpuestas mostraron una jerarquía similar:

• Texto sin formato: +5.2 pp
• Tablas: +1.9 pp
• Maquetación (Layout): +0.9 pp
• Figuras: −2.8 pp
• Gráficos: −4.0 pp

Estas estimaciones por categoría describen el patrón observado; no constituyen beneficios o perjuicios demostrados de manera independiente en todos los casos.

Consideremos la muestra #44 de MMLongBench-Doc. La pregunta plantea: «Según el diagrama de flujo 'Analytics Value Chain', ¿qué se encuentra entre Reporting y Action?»

El modelo basado únicamente en imágenes respondió correctamente: "Analysis".

La memoria empaquetada de OCR de la página 13 omitió Analysis y las flechas, conservando fragmentos como Reporting, Value y Action. Al añadir esa memoria, el modelo respondió "Action".

Este ejemplo ilustra cómo una transcripción puede omitir las relaciones y etiquetas necesarias para interpretar un gráfico. No revela el razonamiento interno del modelo, pero el resultado es claro: el texto añadido propició que una respuesta correcta pasara a ser incorrecta.

El texto aplanado puede perder la estructura espacial que dota de sentido a un diagrama. En esta evaluación, la evidencia textual se benefició, mientras que la evidencia en gráficos y figuras mostró un efecto medio negativo.

Segunda advertencia: el texto amplifica la recuperación, pero no la reemplaza

El segundo límite atañe a la calidad de la recuperación. Si el recuperador no encuentra la página con la evidencia, ¿hasta qué punto puede ayudar el texto del resto de las páginas?

Para averiguarlo, los investigadores degradaron la recuperación bajo condiciones controladas. Retiraron las páginas de referencia (gold) de los 16 mejores resultados y las sustituyeron por páginas que ColQwen2 había clasificado por debajo del top 16, manteniendo fijo el presupuesto de páginas.

El subconjunto elegible incluyó 938 preguntas de V-MQAR y 1.025 preguntas de V-NIAH cuyos documentos podían suministrar sustitutos en cada uno de los niveles evaluados.

Páginas gold recuperadas	Ganancia V-MQAR	Ganancia V-NIAH
100% recall	+12.5 pp	+14.9 pp
50% recall	+6.6 pp	—
0% recall	+3.0 pp	+4.3 pp

A medida que el recall caía a cero, la ventaja del texto se redujo en 9,5 puntos en V-MQAR y en 10,6 puntos en V-NIAH. Ambos cambios intramuestrales fueron estadísticamente significativos (p < 1e-9). Aproximadamente tres cuartas partes de la ventaja observada con recall completo dependían de contar con las páginas de referencia presentes.

Parte del efecto residual con recall cero se debió a la filtración de la cadena de respuesta (answer-string leakage). La cadena de texto de la respuesta de referencia todavía aparecía en la memoria empaquetada de páginas no de referencia en el 4,8 % de las muestras de V-MQAR y en el 12,4 % de las de V-NIAH.

Tras filtrar dichos casos mediante coincidencia normalizada de cadenas de respuesta, subsistió una ventaja de 2,8 puntos en ambas tareas. El valor residual se mantuvo entre 2,5 y 3,1 puntos conforme la longitud mínima de respuesta del detector variaba de cuatro a doce caracteres. Por ende, la filtración solo explicaba una parte del beneficio restante.

Para comprobar si el formato de texto en sí mismo aportaba alguna ventaja, los autores reemplazaron la memoria de cada documento con texto procedente de otro documento bajo la misma regla de empaquetado. Ningún documento recibió su propio texto, y los documentos emparejados provenían de familias de fuentes distintas.

Con recall cero, el texto ajeno no produjo ningún beneficio detectable frente a las imágenes solas: +0,0 puntos en V-MQAR y −0,9 puntos en V-NIAH. Con recall completo, sus efectos también resultaron estadísticamente indistinguibles de cero: +1,9 y −1,7 puntos.

Estos controles respaldan la interpretación de los autores de que el beneficio residual proviene del propio contexto del documento que no pertenece a las páginas de referencia. El mero hecho de añadir texto con la misma estructura resultaba insuficiente.

El texto extraído ayuda principalmente al hacer accesible la evidencia recuperada, con una contribución menor procedente del contexto documental relacionado. Es un amplificador de la recuperación efectiva, no un sustituto de encontrar la evidencia.

Por qué es relevante: lecciones arquitectónicas para IA de documentos en producción

Para los equipos que diseñan sistemas de búsqueda de documentos y respuesta a preguntas, el artículo ofrece pautas de diseño sumamente útiles. Las mejoras cuantificadas corresponden a estas tareas, lectores y configuraciones de entrada específicas; trasladar estas lecciones a otros ámbitos exige evaluar sobre los documentos y preguntas relevantes para cada sistema.

1. Mantener el texto extraído como opción para evidencia textual densa

El estudio aporta una razón de peso para evaluar entradas combinadas de imagen y texto, aun cuando un VLM pueda procesar páginas directamente. En FoveDoc-Bench, el OCR en CPU sumó entre 13 y 16 puntos con Qwen3-VL-2B, y la memoria de la capa de texto de PDF benefició a los seis lectores evaluados.

Estas no son ganancias garantizadas para contratos, informes financieros u otras colecciones en producción. Demuestran, no obstante, que una recuperación exitosa de páginas y la capacidad de entrada visual no bastan por sí solas para garantizar que un lector utilice la evidencia de manera fiable.

2. Evaluar el OCR sobre las páginas recuperadas

El patrón evaluado ofrece un punto de partida práctico:

• Recuperar imágenes de páginas candidatas con un recuperador visual.
• Extraer texto de esas páginas; el artículo utilizó RapidOCR con modelos PP-OCR en CPU.
• Seleccionar y empaquetar bloques de texto para luego suministrarlos junto con las imágenes originales.

El experimento empleó 16 páginas recuperadas y un presupuesto de memoria de 16 bloques. El OCR en CPU retuvo aproximadamente la mitad de la ganancia de la capa de texto nativa del PDF en la comparación principal.

El artículo no determina la latencia en tiempo de consulta, el coste total de indexación ni el ahorro de costes en producción. Decidir si extraer bajo demanda, almacenar en caché los resultados o preprocesar las páginas sigue siendo una decisión de implementación que debe medirse.

3. Considerar la modalidad de la evidencia en la toma de decisiones

Los resultados con gráficos y figuras desaconsejan asumir que cualquier transcripción extraída resultará beneficiosa. En el caso de la evidencia gráfica, es posible que la representación deba preservar una estructura que el texto plano omite.

Por tanto, vale la pena probar una canalización sensible a la modalidad (modality-aware): utilizar texto extraído cuando la respuesta dependa de evidencia textual, y recurrir a representaciones visuales o que conserven la estructura cuando las relaciones espaciales en los gráficos sean determinantes.

El estudio no valida un detector de maquetación (layout) o sistema de enrutamiento en particular. Su aportación consiste en delimitar la frontera que dicho sistema debería respetar, más que en fijar una regla universal para excluir todo el texto de los gráficos.

4. Precaución con los benchmarks agregados

En el estrato anotado y con respuesta de MMLongBench-Doc, la ganancia agregada fue de tan solo +0,4 puntos porcentuales. Sin embargo, la comparación con una única etiqueta mostró una ganancia de 8,5 puntos en texto y una caída de 4,6 puntos en gráficos y figuras.

Conviene desglosar los resultados según la modalidad de la evidencia y el recall de recuperación. De lo contrario, una variación en la distribución de las preguntas puede enmascarar beneficios, ocultar efectos perjudiciales o hacer que el agregado de un benchmark sea una mala referencia para otra carga de trabajo.

5. Medir la recuperación y la lectura por separado

Aproximadamente tres cuartas partes de la ventaja del OCR en el experimento de recall controlado dependieron de la presencia de las páginas de referencia. Esto convierte a la calidad de la recuperación en un factor determinante a la hora de decidir dónde resultará útil el texto extraído.

Mide el recall@k completo de forma independiente y luego compara las respuestas basadas únicamente en imágenes frente a las de imagen más texto sobre las mismas páginas recuperadas. La cuestión no es solo si el sistema localizó la página adecuada, sino si el lector logró utilizar la evidencia una vez que la tuvo a su disposición.