El benchmark de OCR diseñado para hacer fallar a GPT-5

Haz una captura de pantalla de un anuncio fraudulento que probablemente hayas visto: un número de teléfono de "atención al cliente" renderizado con una fuente temblorosa y semitransparente, superpuesto sobre una foto de una persona sonriente, con colores elegidos de modo que el texto casi se desvanece en el fondo. Lo lees en medio segundo sin esfuerzo. Si alimentas esa misma imagen a GPT-4o y le pides que transcriba el número, es muy probable que lo haga mal o que no consiga encontrar el texto en absoluto.

Esa brecha, entre lo que el ojo humano hace automáticamente y lo que un modelo de visión de última generación no puede hacer de forma fiable, es el tema de un nuevo artículo llamado ArmorOCR. Los investigadores construyeron un conjunto de referencia de imágenes diseñadas específicamente para ser legibles por personas y difíciles para los modelos, probaron una pila de grandes modelos multimodales (LMMs) actuales contra él y encontraron algunos números realmente duros: GPT-4o obtuvo 23,2% en su prueba de OCR adversarial. GPT-5 lo hizo mejor pero aún así quedó en 30%. Incluso Gemini 2.5 Flash, decente en OCR general, logró 32,3%. Luego entrenaron un modelo específicamente para este problema y lo llevaron a 55,7%, más del doble de la puntuación de GPT-4o, utilizando un modelo base una fracción del tamaño de estos sistemas de vanguardia.

Qué significa realmente la OCR adversarial "fundamentada"

La mayoría de los benchmarks de OCR evalúan el reconocimiento: aquí tienes una imagen, ¿qué dice el texto? Eso ya es difícil cuando el texto está estilizado o degradado, pero es solo la mitad del trabajo. Un modelo a veces puede adivinar la respuesta correcta sin realmente encontrar el texto, apoyándose en el contexto. Si un letrero en una foto de una cafetería probablemente diga algo relacionado con el café, un modelo podría producir una respuesta plausible mientras apunta a píxeles completamente equivocados, o a ningún píxel en absoluto.

El artículo señala esto directamente: la precisión de la respuesta por sí sola no prueba que un modelo pueda realmente localizar el texto. Por lo tanto, enmarcan la tarea como "percepción de OCR fundamentada", lo que significa que un modelo debe hacer dos cosas simultáneamente: encontrar la región donde se encuentra el texto (localización, generalmente un cuadro delimitador) y leer lo que hay dentro (reconocimiento). Si el cuadro es incorrecto, no importa que la palabra adivinada sea correcta. Esta es la versión más difícil y honesta de la tarea, y es la que importa para aplicaciones reales como la redacción de campos sensibles en un formulario escaneado o la señalización de dónde se encuentra un fragmento de texto manipulado en una imagen.

"Adversarial" aquí no significa que alguien esté ejecutando un algoritmo de ataque formal contra los pesos del modelo. Significa que el texto en sí es visualmente hostil: distorsionado, oculto en un fondo concurrido, dibujado con puntos en lugar de trazos, integrado en una imagen generada por IA de manera tan perfecta que el límite entre "texto" e "imagen" apenas existe.

Dentro de AdvSpot: 390 imágenes diseñadas para confundir a un modelo

El conjunto de datos, llamado AdvSpot, es pequeño según los estándares modernos: 390 imágenes. Pero cada una está anotada a nivel de región, y cada una fue elegida para representar una de las 13 formas específicas en que el texto puede evadir la mirada de un modelo, agrupadas en 5 categorías.

La manipulación espacial abarca el texto que ha sido físicamente distorsionado: rotado en ángulos extraños, espejado o reducido a un puñado de píxeles. Este es el tipo de cosa que una persona apenas nota al leer una señal de calle inclinada, pero que desorienta a los modelos entrenados principalmente con bloques de texto horizontales de izquierda a derecha.

La variación de glifos se refiere a las propias formas de las letras. Los glifos estilizados dividen, ocluyen o truncan trazos; piense en un logotipo donde la mitad de una letra está oculta detrás de otra forma, pero su cerebro llena el vacío de todos modos. El texto manuscrito, con su espaciado irregular y peculiaridades personales, también cae en esta categoría.

La degradación de imagen es lo cotidiano: desenfoque de movimiento, reflejos de una cámara de teléfono, grano de película, una foto sobreexpuesta, artefactos de compresión por haber sido capturados en pantalla y compartidos una docena de veces. Nada exótico aquí, solo la realidad de las imágenes que no fueron tomadas en un estudio.

La fusión contextual es donde las cosas se vuelven genuinamente interesantes. Incluye texto de bajo contraste (del mismo grupo de colores que el fondo, por lo que es técnicamente visible pero visualmente camuflado), superposiciones de patrones (puntos o líneas dibujadas sobre el texto como una marca de agua) y lo que los autores llaman texto de fusión AIGC, texto integrado directamente en una imagen generada por IA para que parezca una parte natural de la escena en lugar de una leyenda pegada encima. Esta última categoría resultó ser lo más difícil de todo el conjunto de evaluación. Antes del entrenamiento, la mayoría de los modelos obtuvieron puntuaciones cercanas a cero en ella.

La codificación visual es el grupo más abstracto: caracteres representados a través de arreglos de símbolos, densidad de puntos u orientación de líneas en lugar de trazos convencionales. Esto se acerca más a un rompecabezas que a la lectura, y es la otra categoría donde los modelos base básicamente se aplanaron.

Cómo entrenaron realmente un modelo para mejorar en esto

El entrenamiento de ArmorOCR se ejecuta en dos etapas, y la lógica detrás de cada una vale la pena analizar, porque la primera etapa en particular es una solución ingeniosa para un problema que aparece constantemente en el aprendizaje automático: no se puede producir de forma económica la verdad de base (ground-truth) para la versión difícil de una tarea, pero es posible que ya se tenga señal de una versión más fácil de la misma.

La primera etapa se llama Auto-Distilación On-Policy (On-Policy Self-Distillation). Aquí está el truco: para cada imagen de entrenamiento adversarial, los investigadores también generan varias versiones transformadas, redimensionadas, rotadas, volteadas o de otra manera limpiadas, y un modelo juez separado selecciona la versión transformada que sea más fácil de leer correctamente. Esa vista más fácil se convierte en una especie de pista privilegiada. Durante el entrenamiento, el modelo estudiante solo ve la imagen original difícil y debe producir su propia respuesta por sí mismo, según su política actual (esa es la parte "on-policy": se está calificando a sí mismo, no a una instantánea congelada de etapas anteriores del entrenamiento). Un proceso maestro luego compara la respuesta del estudiante con lo que podría deducir de la vista transformada más fácil más el texto de verdad de base real, y ajusta las probabilidades internas del estudiante hacia la mejor respuesta. El ajuste utiliza dos tipos diferentes de penalización dependiendo de qué parte de la salida se está corrigiendo: una más suave para los pasos de razonamiento del modelo, y una más firme para el texto predicho real. En términos sencillos, se enseña al modelo a leer una foto distorsionada comparando lo que dice con lo que debería haber dicho si hubiera visto una versión ligeramente menos distorsionada de la misma foto.

La segunda etapa es el aprendizaje por refuerzo mediante Optimización de Política Relativa por Grupos, o GRPO, una técnica que se ha vuelto popular para el ajuste fino de modelos de lenguaje y modelos de lenguaje-visión porque no necesita un modelo de recompensa separado; compara un grupo de las propias salidas muestreadas del modelo entre sí y refuerza aquellas que obtuvieron mejor puntuación. ArmorOCR aplica esto con cuatro señales de recompensa distintas ajustadas para cuatro sub-tareas: qué tan bien se superponen las cajas predichas con las cajas de verdad de base (para localización pura), qué tan cerca está el texto predicho de la cadena correcta usando distancia de edición (para reconocimiento puro), una puntuación combinada para hacer ambas cosas a la vez (detección completa) y una simple verificación de corrección para la respuesta de preguntas visuales sobre el texto. Entrenar de esta manera, en lugar de optimizar una métrica combinada, obliga al modelo a ser realmente bueno en la localización y el reconocimiento como habilidades separadas en lugar de encontrar un atajo que solo satisfaga una puntuación combinada.

Todo esto se ejecutó sobre Qwen3-VL-8B-Instruct, un modelo abierto de tamaño medio, utilizando alrededor de 50,000 ejemplos de entrenamiento sintetizados en la etapa uno y 70,000 casos más difíciles en la etapa dos.

Las cifras y dónde aparecen realmente las ganancias

El resultado principal es el salto del 23,2 % de GPT-4o al 55,7 % de ArmorOCR en la tarea VQA de AdvSpot, y un patrón similar en la localización, donde ArmorOCR alcanzó un IoU del 63,3 % (una medida estándar de superposición de cajas) frente al 47,5 % del mejor modelo de referencia, Qwen3-VL-235B, un modelo aproximadamente 30 veces más grande.

Las mejoras no se distribuyen de manera uniforme, lo cual es el dato más útil si se intenta evaluar si esto generaliza. En el texto fusionado con AIGC, la categoría en la que el texto se disuelve en un fondo generado por IA, ArmorOCR superó al modelo competidor más fuerte por un 65 %. Esa es la categoría que el propio análisis de errores del artículo señaló como casi insoluble de antemano, por lo que un gran salto allí es una evidencia significativa de que el enfoque de entrenamiento en dos etapas está realizando un trabajo real en lugar de simplemente memorizar peculiaridades del benchmark. La codificación basada en símbolos y patrones de puntos siguió siendo el hueso más duro incluso después del entrenamiento; el artículo es claro al señalar que estos siguen siendo "altamente desafiantes".

En otros benchmarks de OCR adversarial que los investigadores no diseñaron ellos mismos, AdvOCR y SmuggleBench, ArmorOCR superó por poco a métodos especializados anteriores, pero con márgenes mucho menores (56,0 % frente a 55,0 %, y 17,1 % frente a 16,4 %). Vale la pena reflexionar sobre esto: las mayores ganancias aparecen en el benchmark que los autores construyeron y hacia el cual ajustaron sus datos de entrenamiento, y se reducen en benchmarks creados por otras personas. Eso no es una señal de alarma por sí mismo; la mayoría de los entrenamientos especializados funcionan mejor en su terreno de juego, pero es una razón para tratar el número destacado del 55,7 % como un techo para este tipo específico de texto adversarial en lugar de una puntuación universal de OCR adversarial.

Otro número que importa es lo que no cambió: el rendimiento general de OCR en benchmarks estándar como OCRBench se mantuvo aproximadamente plano, sin añadir datos de entrenamiento de propósito general adicionales. Especializar un modelo para un problema estrecho y difícil sin arruinar su rendimiento cotidiano es el resultado menos llamativo pero, argumentablemente, más importante aquí. Mucho trabajo de ajuste fino intercambia competencia general por un pico en un solo benchmark, y este no lo hizo.

Por qué importa para quien construye o elige OCR

Si estás eligiendo un motor de OCR o un LMM para gestionar flujos de documentos, comprobación de recibos, verificación de identidad o moderación de contenido, este artículo ofrece una útil realidad sobre un punto ciego que la mayoría de los benchmarks no cubren. Los rankings estándar de OCR prueban principalmente documentos limpios y escenas naturales razonablemente bien fotografiadas. Ninguno de eso te dice qué ocurre cuando un usuario sube una foto de teléfono con mucho brillo de un recibo, una captura de pantalla con una marca de agua semitransparente sobre los números, o una imagen generada por IA con un número de teléfono fundido en el fondo. Esos ya no son casos extremos. El brillo y el desenfoque ocurren en cada subida móvil. El texto con marca de agua y mezclado con IA aparece constantemente en contenido de estafa, documentos falsificados y intentos de evasión de moderación, que es exactamente el tipo de cosa que un flujo de confianza y seguridad necesita detectar.

La conclusión práctica no es "cambiar a ArmorOCR", ya que es un punto de control de investigación construido sobre un modelo abierto de 8 mil millones de parámetros, no una API de producción endurecida. Es que el tamaño del modelo y el rango general en benchmarks de OCR son predictores débiles de cómo un sistema maneja entradas genuinamente adversariales. Un modelo más pequeño entrenado específicamente para grounding y robustez adversarial superó a modelos muchas veces más grandes en esta tarea. Si tu caso de uso toca detección de fraude, moderación de contenido o cualquier flujo donde alguien tenga incentivos para hacer que el texto sea difícil de leer para una máquina, las puntuaciones de OCR de propósito general no te dirán lo que necesitas saber. Querrías probar contra algo más cercano a las categorías de AdvSpot: texto deformado y rotado, superposiciones de bajo contraste, brillo y texto mezclado en imágenes generadas, antes de confiar en los números de un modelo en un benchmark limpio.

Qué aspectos siguen siendo inciertos

Un conjunto de evaluación de 390 imágenes es lo suficientemente pequeño como para que un puñado de ejemplos inusuales pueda alterar significativamente las puntuaciones a nivel de categoría, y el artículo no informa sobre la varianza entre múltiples ejecuciones, por lo que se deben interpretar los números individuales de cada categoría como indicativos de tendencia más que como valores exactos. Los datos de entrenamiento y evaluación son sintéticos en lugar de extraídos de contenido real de estafas o fraude, lo cual es razonable para construir un conjunto de evaluación controlado, pero significa que el texto adversarial real en entornos prácticos, creado por personas que intentan activamente evadir un modelo específico, puede verse diferente a lo que captura AdvSpot. Y las categorías donde ArmorOCR aún tiene dificultades, la codificación mediante símbolos y patrones de puntos, son probablemente las más deliberadamente adversariales del conjunto, más cercanas a un cifrado visual que a texto natural distorsionado. Resolver el 80 % más fácil de la OCR adversarial mientras el 20 % más difícil se mantiene cerca de cero es un progreso real, pero no equivale a resolver la OCR adversarial.

Aun así, la contribución fundamental se mantiene: un conjunto de evaluación que mide realmente si un modelo puede encontrar texto de difícil lectura, en lugar de simplemente adivinarlo, y una receta de entrenamiento que cierra significativamente la brecha sin arruinar el rendimiento en tareas cotidianas. Esa combinación, una evaluación más difícil junto con una solución que no implica costos en otras áreas, es más rara en este campo de lo que debería ser.