CC-OCR sometió a nueve de los mejores modelos de IA a 7.058 documentos reales, y la mayoría falló en lo básico

Alimente un modelo de visión-lingüístico de última generación con una foto de un menú de restaurante tailandés tomada desde un ángulo bajo luz fluorescente, y pídales que extraigan los nombres de los platos y los precios. Una cantidad sorprendente de ellos comenzará con confianza, pero luego se quedará atascado. No atascado en el sentido de "respuesta incorrecta". Atascado en el sentido de repetir las mismas tres palabras una y otra vez hasta que se corte la salida, como un disco rayado.

Ese es uno de los hallazgos enterrados en CC-OCR, un benchmark lanzado en diciembre de 2024 por un equipo principalmente del grupo Qwen de Alibaba, junto con la Universidad de Tecnología del Sur de China. El artículo probó nueve grandes modelos multimodales prominentes, incluidos GPT-4o y Gemini, en 7,058 imágenes reales y anotadas en cuatro categorías de tareas de lectura de texto. El resultado principal: los modelos que consideramos ampliamente capaces de "leer" imágenes tienen modos de falla específicos y predecibles que una simple puntuación de precisión nunca revela. Si está construyendo algo sobre procesamiento de documentos impulsado por IA, esa distinción importa más que el rango en el tablero de clasificación.

Un recibo real del conjunto de datos CORD — el tipo de documento del mundo real con ángulo que CC-OCR utiliza para probar modelos. Fuente: CORD (Park et al., NAVER CLOVA, 2019), licenciado bajo CC BY 4.0.

Lo que los benchmarks de OCR suelen hacer mal

El reconocimiento óptico de caracteres, es decir, extraer texto legible de una imagen, solía implicar ejecutar un modelo especializado entrenado para una tarea muy concreta: leer texto impreso en inglés en una página escaneada, por ejemplo, o leer matrículas de vehículos. Los grandes modelos multimodales (LMMs) cambiaron esta perspectiva. Estos pertenecen a la misma familia de modelos que pueden describir una foto o responder preguntas sobre un gráfico, y también pueden leer texto incrustado en imágenes, ya que fueron entrenados con enormes volúmenes de pares imagen-texto recopilados de internet, PDFs y capturas de pantalla.

El problema es que "leer el texto" oculta muchas habilidades subyacentes distintas y más complejas una vez que nos alejamos de las páginas escaneadas limpias. Los documentos reales contienen texto en ángulos extraños. Tienen tablas donde el significado reside en la estructura de la cuadrícula, no solo en las palabras. Mezclan idiomas dentro de una misma línea. Están escritos a mano, dañados por el agua o fotografiados desde un ángulo extraño con el teléfono de alguien.

La mayoría de los benchmarks de OCR existentes antes de CC-OCR evaluaban una porción estrecha de este problema. Algunos se centraban puramente en el texto escénico (señales de tráfico, escaparates). Otros se centraban puramente en el análisis de documentos (convertir un PDF en Markdown o HTML estructurado). Pocos probaban múltiples idiomas más allá del inglés y el chino. Casi ninguno combinaba "¿encuentra el modelo la región correcta de la imagen?" (grounding o anclaje) con "¿produce el modelo un texto preciso?" como elementos separados y medibles. Esta brecha es la que CC-OCR se propuso cerrar, y es por lo que el artículo merece la pena leerlo incluso si nunca vas a entrenar un modelo tú mismo. Te dice qué debes verificar realmente antes de confiar en un flujo de trabajo de OCR con tus documentos.

Cómo se construye CC-OCR: cuatro pistas, no una sola puntuación

CC-OCR divide la evaluación en cuatro pistas, cada una dirigida a un escenario del mundo real diferente:

Lectura de texto en múltiples escenas. Este es el clásico "texto en la naturaleza": señales de tráfico, envases de productos, capturas de pantalla, recibos. El desafío no es leer el texto de forma aislada, sino encontrar el texto en sí cuando es pequeño, está inclinado o está incrustado en un fondo concurrido, y luego leerlo con precisión.

Lectura de texto multilingüe. El benchmark abarca idiomas más allá del par inglés/chino que domina la investigación en OCR, probando si un modelo que lee bien la señalización en inglés también puede manejar, por ejemplo, texto vertical en japonés o escritura árabe de derecha a izquierda.

Análisis de documentos. Esta es la tarea de "PDF a texto estructurado" que se está volviendo cada vez más central en las tuberías de IA: tomar un documento escaneado y convertirlo en Markdown, HTML u otro formato estructurado que preserve tablas, encabezados y el orden de lectura, no solo una volcado plano de texto.

Extracción de información clave. Dado un documento como una factura o un formulario, extraer campos específicos, el monto total, la fecha, el nombre del proveedor, en lugar de transcribir todo indiscriminadamente. Esta es la tarea que más directamente se mapea a lo que las empresas realmente quieren del OCR: no "léeme toda la página" sino "dime el número de factura".

A lo largo de estas cuatro pistas, el benchmark incluye 39 subconjuntos. Una elección de diseño llamativa: el 41% de las 7.058 imágenes provienen de aplicaciones reales y se publicaron por primera vez en este artículo, en lugar de ser repackaged de conjuntos de datos académicos más antiguos. Esto importa porque los benchmarks más antiguos tienden a ser memorizados. Un modelo que ha visto las imágenes de un conjunto de datos durante el entrenamiento parecerá artificialmente fuerte en él. Las imágenes frescas y del mundo real hacen que la prueba sea más difícil de manipular y más cercana a lo que un sistema de producción encontrará realmente.

La evaluación también separa dos cosas que la mayoría de las puntuaciones de OCR confluyen: si el modelo encuentra la ubicación correcta en la imagen (anclaje, generalmente puntuado por qué tan bien se superpone una caja delimitadora predicha con la verdadera) y si el texto extraído es preciso. Un modelo puede acertar el texto y aún así ser penalizado si no puede señalar de dónde proviene ese texto, lo que resulta ser un fallo común y revelador.

Por qué los recibos y los carteles rotados rompen los modelos de última generación

El estudio evaluó nueve LMMs destacados, que abarcan tanto modelos propietarios (las familias GPT-4o y Gemini) como de código abierto, y los resultados se dividieron claramente en tres puntos débiles recurrentes.

El anclaje del texto es peor de lo que sugiere la precisión bruta de lectura. Un modelo puede transcribir correctamente el texto de un cartel sin poder dibujar una caja precisa alrededor de la ubicación de ese texto en la imagen. Esto parece una brecha técnica menor, pero representa la diferencia entre "el modelo leyó el total de la factura" y "el modelo puede indicar a tu sistema downstream exactamente dónde está el total de la factura, para que puedas resaltarlo, censurarlo o contrastarlo con una plantilla". Para cualquier pipeline que haga más que transcripción, esa brecha es lo que realmente importa.

El texto en múltiples orientaciones es un punto ciego consistente. El texto rotado, vertical o de cualquier otra forma no horizontal dificulta el trabajo a modelos que manejan sin problemas el texto horizontal estándar de izquierda a derecha. Esto coincide con algo que cualquiera que haya trabajado con documentos escaneados ya sabe: los escaneos del mundo real nunca están perfectamente alineados. Un recibo fotografiado de lado, un formulario escaneado al revés, un cartel japonés dispuesto verticalmente; estos no son casos extremos en producción, son el martes habitual.

La alucinación por repetición es el hallazgo más inusual. En imágenes más difíciles o visualmente más desordenadas, algunos modelos se quedan atrapados en un bucle, repitiendo una palabra, frase o línea una y otra vez en lugar de producir una salida coherente y delimitada. No se trata de que el modelo dé la respuesta incorrecta; es que el modelo se atasca en un patrón de salida degenerado por completo. Es un modo de fallo conocido en la generación de lenguaje en general (los modelos a veces caen en bucles de repetición cuando no están seguros de qué debe venir después), pero verlo aparecer específicamente en tareas de OCR, donde se esperaría que la salida "correcta" estuviera fuertemente restringida por lo que literalmente hay en la página, es una advertencia útil. La filtración basada en confianza no necesariamente detectará esto, porque el modelo no expresa incertidumbre de una manera que una verificación downstream ingenua notaría. Simplemente se repite a sí mismo con total convicción.

Ninguno de los nueve modelos domina en las cuatro categorías. Un modelo que es fuerte en texto escénico en inglés puede ser mediocre en documentos multilingües; un modelo que analiza documentos en Markdown limpio puede tener dificultades para extraer información clave en las mismas imágenes de origen. Ese es el titular práctico: "mejor modelo de OCR" no es un título único y transferible. Depende en gran medida de cómo se vean realmente tus documentos.

Por qué importa si estás construyendo sobre OCR

Si estás eligiendo un motor OCR o construyendo un producto que depende de uno, tres aspectos de este paper deberían cambiar la forma en que evalúas las opciones.

Primero, prueba con tus documentos reales, no con los ejemplos de demostración del proveedor. La propia contribución de CC-OCR es en parte una crítica a la evaluación estrecha: un modelo que obtiene buenas puntuaciones en texto de escena limpio, horizontal y solo en inglés te dice casi nada sobre cómo manejará una factura real de un cliente que esté rotada, sea multilingüe y tenga muchas tablas. Si tu producto trata con recibos, documentos en idiomas extranjeros o formularios manuscritos, haz benchmarks específicamente con esos, porque el ranking general en un leaderboard no lo predecirá.

Segundo, separa "¿leyó el texto?" de "¿puede decirme dónde está el texto?". Si tu caso de uso implica resaltar campos extraídos, construir datos estructurados a partir de documentos o realizar cualquier tipo de flujo de trabajo de revisión humana, la precisión de la localización (grounding) no es un lujo, es una funcionalidad central, y es exactamente la dimensión en la que CC-OCR muestra que los modelos son más débiles en comparación con la precisión del texto en bruto.

Tercero, vigila los bucles de repetición en producción, no solo las respuestas incorrectas. Un modelo que alucina un total plausible pero incorrecto es un riesgo conocido y manejable; puedes marcar las extracciones de baja confianza y agregar un paso de revisión. Un modelo que se atasca repitiendo una frase hasta alcanzar el límite de tokens es un fallo completamente diferente, uno que puede consumir silenciosamente tu presupuesto de API en un solo documento y producir una salida obviamente rota pero fácil de pasar por alto en una canalización automatizada si no la estás verificando específicamente. Incorporar una verificación de longitud o repetición en tu paso de postprocesamiento no es excesivo, es una respuesta directa a un modo de fallo documentado.

Este también es el argumento práctico para probar más de un motor contra el mismo documento en lugar de apostar todo por un solo modelo. Dado que ningún modelo probado en CC-OCR dominó en las cuatro categorías (lectura multisescena, lectura multilingüe, análisis de documentos y extracción de información clave), la apuesta más segura para un sistema de producción es tratar la elección del motor como dependiente del tipo de documento en lugar de una decisión única, y tener una ruta de respaldo cuando las debilidades específicas de tu motor principal se manifiesten en una entrada dada.

Lo que el artículo no resuelve

CC-OCR es una instantánea de nueve modelos a finales de 2024, y el campo avanza rápidamente: desde entonces se han lanzado nuevos modelos multimodales, y algunos pueden haber abordado específicamente los problemas de anclaje (grounding) y repetición que este artículo pone de manifiesto. El benchmark tampoco profundiza en por qué ocurre la alucinación por repetición; documenta el patrón sin ofrecer una solución, lo que obliga a los profesionales a desarrollar su propia lógica de detección y mitigación en lugar de depender de una cura documentada.

También vale la pena recordar que un benchmark, por completo que sea, sigue siendo un conjunto fijo de 7.058 imágenes. Los documentos reales siguen sorprendiéndote de maneras que ningún conjunto de pruebas fijo captura por completo: una nueva plantilla de factura, una combinación de idiomas que nadie pensó incluir, un artefacto de escaneo único del hardware de un cliente. CC-OCR es un mapa genuinamente útil de dónde tienden a tener dificultades los modelos actuales. No es un sustituto para probar contra tus propios documentos antes de lanzar.

Esa es realmente la línea conductora de todo el artículo: la capacidad general de "el modelo puede leer imágenes" y el OCR fiable de grado de producción son cosas relacionadas pero distintas, y la brecha entre ellas se manifiesta en formas específicas y probables, como la orientación, el anclaje y la repetición descontrolada, en lugar de ser un único dial que puedas girar.