Un parche es suficiente: cómo un modelo de 2B parámetros supera a GPT-5.4 en la lectura de señales de tráfico

Apunta a Claude Sonnet 4.6 hacia una foto de una tienda desordenada y pídele que transcriba cada letrero, con límites exactos alrededor de cada palabra. Obtiene una precisión de extremo a extremo del 14,1 % en el benchmark estándar Total-Text. GPT-5.4 lo hace un poco mejor, con un 17,2 %. Gemini 3.1 Flash alcanza los altos cincuenta. Estos son tres de los modelos de propósito general más capaces que existen actualmente, y en una tarea que suena casi trivial (leer el letrero, indicar dónde está) son derrotados rotundamente por un modelo con 2 mil millones de parámetros del que la mayoría de la gente nunca ha oído hablar.

Ese modelo proviene de un nuevo artículo de la Universidad de Tecnología del Sur de China titulado "One Patch Is Enough". El nombre es toda la propuesta: en lugar de que un modelo recoja un puñado de parches de imagen para representar cada palabra que lee, dale exactamente uno. El artículo es una buena excusa para hablar de por qué leer texto en fotos es un problema genuinamente diferente al de leer una página escaneada, y por qué aplicar un modelo de lenguaje más grande e inteligente no cierra la brecha.

Restauración del letrero de CVS Pharmacy — por pixeljones vía flickr, BY-SA 2.0.

Por qué leer una señal de tráfico es más difícil que leer una página

La "detección de texto en escenas" (scene text spotting) es la tarea de encontrar y transcribir el texto que aparece de forma natural en una foto: escaparates, etiquetas de productos, señales de tráfico, grafitis, la pegatina de un extintor. Se diferencia del OCR de documentos en un aspecto importante. Una página escaneada es plana, tiene alto contraste y está organizada en filas ordenadas. Una foto de un letrero de restaurante es pequeña, tiene bajo contraste en algunos lugares, está envuelta alrededor de un logotipo, apretada contra otros tres letreros y a menudo se toma desde un ángulo.

El modelo debe hacer dos cosas a la vez y lograr que coincidan exactamente: determinar dónde se encuentra cada fragmento de texto (detección) y determinar qué dice (reconocimiento). Si el límite está mal por unos pocos píxeles, has recortado una letra. Si el límite es correcto pero lo asignas a la palabra equivocada, toda la predicción es basura incluso si las letras son correctas.

Los grandes modelos de lenguaje multimodales (MLLM, la familia de modelos GPT-4V y Gemini que pueden ver imágenes y hablar sobre ellas) abordan esto dividiendo una imagen en una cuadrícula de mosaicos pequeños, llamados parches, y tratando cada parche como un token, el mismo tipo de unidad que el modelo usa para las palabras. Para señalar algo en la imagen, el modelo puede generar coordenadas raw como texto, o señalar directamente uno de estos tokens de parche. Señalar un parche es más fiable, porque vincula la respuesta del modelo con algo que realmente miró, en lugar de hacerle adivinar cuatro números de la nada.

El enfoque antiguo: lanzar varios parches a cada palabra

Una vez que se apuntan a parches en lugar de escribir coordenadas, un siguiente paso razonable es que el modelo seleccione varios parches por palabra, bajo la teoría de que más evidencia significa una respuesta más confiable. Eso es lo que hacían los métodos anteriores, y el artículo SPaTS argumenta que esto tiene el efecto contrario específicamente para el texto.

Su Figura 1 muestra por qué con un letrero real que dice algo como "MANOEI-HEATHER, PLEASE, FOREVER." Con múltiples parches asignados por palabra, aparecen constantemente tres tipos de fallos: un parche cae en un fondo irrelevante en lugar del texto, varios parches se asignan a la misma palabra por lo que no está claro cuál es el autoritario, y los parches de palabras vecinas se mezclan en una señal ambigua y confusa. El texto pequeño, denso y curvo es exactamente la situación donde los parches cercanos tienen más probabilidades de interferir entre sí.

La solución: elegir exactamente un parche y dejar que el resto de la imagen ayude con la forma

La idea central del artículo, Single-Patch Text Spotting (SPaTS), dirige cada instancia de texto a través de un único parche de anclaje en lugar de un grupo. Ese anclaje establece la identidad: este parche es donde reside la palabra "FOREVER". Pero el anclaje por sí solo no aporta suficiente información para trazar un contorno preciso alrededor de texto curvo o irregular, por lo que SPaTS divide la tarea en dos partes.

Un componente llamado Patch-Enhanced Decoding (PED) toma el único anclaje seleccionado, lo combina con el estado lingüístico del modelo y luego realiza una atención cruzada sobre todo el mapa de características de la imagen, no solo sobre el parche de anclaje, para regresa la geometría final: una caja delimitadora, una curva de Bézier para texto que se curva alrededor de un logotipo o un conjunto de puntos. Piénselo como un testigo que identifica un rostro en una galería y luego un artista de retratos redibuja el retrato completo mirando toda la foto, no solo el dedo que señala. Un token dice qué y aproximadamente dónde; el resto de la imagen proporciona la forma precisa.

Enseñar al modelo qué parche elegir, sin nunca decirle la respuesta correcta

Aquí está la parte incómoda: ningún conjunto de datos dice "el parche #4,281 es el ancla correcta para esta palabra". La verdad de terreno (ground truth) te proporciona una caja delimitadora y una transcripción, no una clasificación de qué parche individual representa mejor esa instancia. Elegir el ancla es una decisión discreta sin una etiqueta directa de la cual aprender.

Los autores resuelven esto con aprendizaje por refuerzo, en un marco que llaman Single-Patch Selective Optimization (SPaSO), construido sobre GRPO (Group Relative Policy Optimization), la misma receta que DeepSeek utilizó para entrenar el razonamiento matemático en sus modelos. El modelo muestrea varias opciones candidatas de parches, y las opciones que conducen a mejores resultados se refuerzan en relación con las demás del grupo. No se requiere una red crítica separada.

Dos recompensas hacen el trabajo. La Recompensa de Generación de Parche verifica el resultado final: ¿seleccionar este parche condujo a una transcripción correcta con una buena superposición geométrica contra la verdad de terreno? La Recompensa de Dominancia de Parche es la más interesante. Debido a que el modelo rara vez encontrará la respuesta perfecta al principio del entrenamiento, esa recompensa principal a menudo es cero, lo que no le da nada al modelo para aprender. La recompensa de dominancia otorga crédito parcial simplemente por clasificar el parche correcto altamente entre sus candidatos, incluso cuando la predicción final aún falla. Es la diferencia entre recompensar solo el centro de la diana y también recompensar "acercarse más al tablero".

Dos ideas más pequeñas que hacen más trabajo del que sugieren sus nombres

Dos componentes de apoyo completan la arquitectura.

La alineación direccional de incrustaciones (DEA, por sus siglas en inglés) aborda un modo de fallo sutil: los parches se representan como vectores, y los vectores con una magnitud grande pueden dominar el proceso de selección incluso cuando un vector más pequeño es en realidad la mejor coincidencia semántica. DEA divide cada vector de parche en magnitud (qué tan fuerte es la señal) y dirección (qué representa realmente), y después de un período de calentamiento bloquea la magnitud, obligando a que la selección dependa de la alineación direccional en lugar de qué parche resulta ser el más "fuerte". En su ablatión, eliminar DEA provocó que la selección fuera dominada por las normas de las características en lugar de la relevancia semántica.

Eliminar PED y decodificar la geometría únicamente desde el estado interno del modelo de lenguaje, en lugar de volver a anclarla en el parche de imagen seleccionado, provocó lo que los autores describen como un colapso en la precisión. Ese es un resultado negativo útil: muestra que el modelo comenzará a alucinar ubicaciones de texto que parecen plausibles si no se le obliga a seguir verificando su respuesta contra los píxeles reales.

Los números

Los resultados se reportan en tres conjuntos de evaluación: Total-Text (texto curvo y multi-orientado), CTW1500 (también curvo, pero más denso) e ICDAR2015 (fotografías reales de escenas callejeras, generalmente el más difícil de los tres). SPaTS viene en dos tamaños, de 2B y 4B parámetros, y se compara contra tres niveles de competidores: modelos de código cerrado de vanguardia (Claude Sonnet 4.6, GPT-5.4, Gemini 3.1 Flash, Seed 2.0 Pro), modelos de pesos abiertos grandes (Qwen3.5, un modelo mixture-of-experts de 397B; InternVL3.5 con 241B; GLM-4.6V; Kimi K2.5) y MLLMs especializados en OCR (HunyuanOCR, PaddleOCR-VL-1.5, dots.ocr).

En Total-Text, SPaTS-4B alcanza un F-score extremo a extremo del 64.9% bajo la configuración estricta sin diccionario y del 74.9% con un léxico para ayudar a desambiguar palabras, frente al 14.1% y 15.9% de Claude Sonnet 4.6. Los modelos de vanguardia de código cerrado simplemente no son competitivos aquí, sin importar lo bien que funcionen en otras tareas. En CTW1500, la puntuación extremo a extremo de SPaTS-4B alcanza el 79.6% bajo el protocolo de léxico completo. En ICDAR2015, el artículo afirma claramente que SPaTS mejora la precisión extremo a extremo en aproximadamente un 50% en relación con el mejor resultado anterior.

Una ablación directa merece ser destacada porque aísla la afirmación central del artículo de todo lo demás que ocurre en la arquitectura: sobre el mismo backbone, compararon entre sí la salida de coordenadas-texto, el grounding multi-patch y el grounding single-patch. El single-patch ganó por amplio margen. Esa es una buena evidencia de que la mejora proviene de la idea del título, no solo de una ejecución de entrenamiento más larga o de un backbone mejor.

La etapa de aprendizaje por refuerzo importa más de lo que uno podría esperar. Pasar del ajuste fino supervisado únicamente a añadir SPaSO produjo lo que los autores llaman un salto de 20.7 puntos en la medida F extremo a extremo en CTW1500 bajo la configuración de léxico completo, pasando del 58.9% al 79.6%. El entrenamiento supervisado obtiene un modelo que transcribe caracteres con precisión; la etapa de RL es la que le enseña a elegir buenos anclajes.

Por qué importa para quien construye o elige OCR

La conclusión más útil aquí no es la arquitectura específica, sino lo que la tabla comparativa dice sobre el estado de los modelos de propósito general. Claude Sonnet 4.6, GPT-5.4 y Gemini 3.1 Flash son excelentes para el razonamiento, la programación y mantener una conversación sobre una imagen. Actualmente son malos en la localización precisa y densa de texto, obteniendo puntuaciones de entre 10 y 20 en una tarea que un modelo de 2B diseñado específicamente para ello maneja con un 60 a 80%. Si tu producto necesita que alguien dibuje un recuadro ajustado alrededor de cada palabra en una foto de un recibo o un estante desordenado, un modelo de chat general es la herramienta equivocada, sin importar lo nuevo o caro que sea.

La segunda conclusión es que la cantidad de parámetros es una señal débil para detectar calidad. Un modelo de 2B superó a un modelo de mezcla de expertos de 397B y a un modelo de 241B en esta tarea. Si un vendedor te dice que su OCR es bueno porque está "impulsado por" un modelo fronterizo enorme, esa afirmación dice muy poco sobre cómo se desempeñará con un logotipo curvo o una foto borrosa de una tienda. Pide números de precisión en imágenes reales y desordenadas específicamente, no en documentos escaneados limpios, porque son dos problemas diferentes con dos curvas de dificultad distintas.

La tercera conclusión es realmente un argumento a favor de no apostar por un solo motor. El modelo adecuado para un escaneo limpio de una factura no es necesariamente el adecuado para un recibo deformado o una foto de un letrero de calle, y este artículo es una ilustración clara de cuán amplia puede ser esa brecha entre modelos que afirman "leer imágenes". Pasar un documento por múltiples motores y elegir el mejor resultado cuesta menos que asumir que un modelo gigante manejará bien todos los casos.

Una advertencia con la que vale la pena quedarse: todo aquí es texto de escena en escritura latina, sin manuscritos, sin formularios densos, sin escrituras no latinas ni documentos de papel genuinos. Es un resultado sólido en el problema en el que se probó. Si la misma idea de un solo ancla se mantiene en una pila de facturas o una nota manuscrita es una pregunta diferente que el artículo no responde.

Los bordes ásperos que nadie está ocultando

Los autores son transparentes sobre dos limitaciones reales. En primer lugar, la etapa de RL añade una sobrecarga de entrenamiento significativa y depende de un ajuste cuidadoso de la formación de recompensas para mantenerse estable. Esto no es una mejora de eficiencia que se pueda integrar directamente en lugar del entrenamiento supervisado; es una receta más complicada que intercambia la simplicidad del entrenamiento por precisión.

En segundo lugar, DEA bloquea la rama de magnitud de sus representaciones de parches después de un período de calentamiento, y los autores señalan que esto podría perjudicar la robustez ante cambios extremos de iluminación, donde la escala de características crudas de un parche podría contener información útil que el modelo congelado ahora está ignorando. Se trata de un modo de fallo específico y plausible, no de una cláusula de responsabilidad vaga.

También está el asunto práctico de que el código solo está "por publicar próximamente", por lo que, por ahora, esto es un artículo, no algo que puedas instalar y probar con tus propios documentos. Vale la pena estar atento a su lanzamiento, especialmente dado lo por delante que afirma estar tanto de los modelos de chat de vanguardia como de los sistemas OCR dedicados, pero por ahora los números existen solo en las tablas anteriores.