Entrenar un modelo de visión de 500M para navegación más que duplicó su puntuación en OCR-Bench

Un modelo compacto de visión y lenguaje entrenado para asistencia en navegación puede mejorar su puntuación en OCR-Bench sin necesidad de una etapa independiente de entrenamiento orientada a OCR. Este es uno de los resultados más sorprendentes de Small yet Assistive: Spatially-Aware Post-Training for Low Vision, un artículo de investigadores del IIT Mandi y de la Mohamed bin Zayed University of Artificial Intelligence.

Publicado el 23 de septiembre de 2026, el artículo describe el trabajo liderado por Rishabh Choudhary y sus coautores para construir un narrador visual integrado en el dispositivo (on-device) para personas ciegas y con baja visión (BLV). Tomaron SmolVLM2-500M, un modelo compacto de 507.5 millones de parámetros, y lo sometieron a un pipeline de post-entrenamiento enfocado en el anclaje espacial, el lenguaje direccional, las distancias métricas y la detección de peligros.

Cuando evaluaron el modelo final en benchmarks estándar de visión y lenguaje, el resultado fue impactante. En OCR-Bench, la puntuación ANLS del modelo ascendió del 32.54% al 65.54%, lo que representa una mejora relativa del 101.5%. En TextVQA, la precisión aumentó del 37.75% al 54.47%, una ganancia del 44.2%.

El artículo interpreta estos resultados como evidencia de que el post-entrenamiento espacial centrado en BLV puede transferirse al razonamiento general sobre texto visual. La mejora provino del entrenamiento con descripciones de video con anclaje espacial, no de una etapa dedicada al reconocimiento de documentos.

El problema del pasillo cortés

Si le pides a un modelo de visión y lenguaje actual que describa una habitación, es muy probable que genere una descripción genérica: "Un pasillo con algunas puertas y personas".

Eso puede resultar adecuado para los benchmarks de subtitulado de imágenes (image captioning), pero el artículo sostiene que es insuficiente para la navegación física. Las directrices profesionales de audiodescripción, establecidas por la ITC y adoptadas por Netflix y el American Council of the Blind, prescriben una narración en tiempo presente, con anclaje espacial, objetiva y que priorice los peligros.

Un narrador que cumpla con los estándares de audiodescripción diría algo como: "Un pasillo se extiende aproximadamente ocho metros hacia adelante. Hay una puerta parcialmente abierta a tu izquierda, a tres metros de distancia. Una persona camina hacia ti desde el extremo opuesto".

Los VLM de gran tamaño pueden generar narraciones conformes a las pautas de audiodescripción con alta calidad, pero el artículo señala que no pueden ejecutarse en dispositivos móviles. Los VLM pequeños ofrecen una latencia competitiva, pero suelen carecer del detalle espacial, las referencias direccionales y la percepción de peligros necesarias para la asistencia en navegación para personas BLV.

Los investigadores eligieron SmolVLM2-500M-Video-Instruct como punto de partida. La arquitectura base consta de tres componentes:

• Una torre de transformador de visión SigLIP con aproximadamente 86.4 millones de parámetros, que procesa entradas de 384×384 píxeles.
• Un conector de proyección lineal con LayerNorm y aproximadamente 11.8 millones de parámetros, que mapea características visuales a tokens del modelo de lenguaje.
• Un decodificador de lenguaje SmolLM2 con arquitectura LLaMA, de aproximadamente 409.3 millones de parámetros, 32 bloques y una ventana de contexto de 8,192 tokens.

El recuento total de parámetros es de aproximadamente 507.5 millones. El artículo utiliza "500M" como la denominación de clase del modelo más que como un recuento literal de parámetros. El objetivo era lograr un modelo compacto capaz de producir descripciones con anclaje espacial adaptadas a BLV y que, al mismo tiempo, fuera práctico para la inferencia on-device.

La línea de ensamblaje del post-entrenamiento

Los autores diseñaron un pipeline de cuatro etapas que combina supervisión sintética de un modelo profesor (teacher), fine-tuning supervisado por fases, aprendizaje por refuerzo basado en reglas y un parche de recuperación.

[4 fotogramas clave de video (LUV Delta)] + [Prompt BLV]
                     │
                     ▼
         ┌───────────────────────┐
         │  Fase 1: Solo SigLIP  │  (Primer 25% de pasos de entrenamiento)
         └───────────┬───────────┘
                     ▼
         ┌───────────────────────┐
         │ Fase 2: LoRA Unfreeze │  (Todos los adaptadores LoRA; LR visual a la mitad)
         └───────────┬───────────┘
                     ▼
         ┌───────────────────────┐
         │   Refuerzo con GRPO   │  (6 recompensas de reglas: distancia, peligros, sin titubeos)
         └───────────┬───────────┘
                     ▼
         ┌───────────────────────┐
         │ Parche de recup. SFT  │  (50 muestras seleccionadas)
         └───────────┬───────────┘
                     ▼
         [Integrar 3 LoRA en pesos base] -> Checkpoint único FP16 de 969 MB

Etapa 1: Fotogramas clave sin inferencia adicional de modelos

Para generar las entradas de entrenamiento, el equipo extrajo cuatro fotogramas clave por video utilizando diferencias en el espacio de color perceptual LUV. Primero submuestrearon cada video a un máximo de 64 fotogramas distribuidos uniformemente, calcularon la diferencia media absoluta entre fotogramas y seleccionaron los tres fotogramas con mayor discrepancia junto con el primer fotograma.

Esto permitió capturar transiciones de escena y movimientos significativos sin requerir un paso adicional de inferencia con otro modelo. El artículo contrasta este económico método basado en LUV con DINOv2, el cual describe como una carga adicional de aproximadamente 86 millones de parámetros y entre 50 y 100 milisegundos de sobrecarga.

Etapa 2: Destilación de Gemma 4 con SFT por cambio de fase

Para generar datos sintéticos de entrenamiento, el equipo empleó Gemma-4-31B-IT como profesor. Su prompt de sistema codificaba las directrices profesionales de audiodescripción: tiempo presente, contenido crítico de seguridad en primer lugar, posiciones espaciales explícitas con distancias, únicamente características observables, el tipo de entorno en la primera oración, marcado de peligros y obstáculos, voz activa y un máximo de cuatro oraciones.

El profesor generó descripciones para 9,646 videos: 7,985 de Charades y 1,661 de AVCaps.

El cambio de fase aborda un riesgo de entrenamiento que los autores identifican como sobreajuste temprano a características desalineadas. Implementaron una única ejecución de entrenamiento dividida en dos fases:

1. Alineación visual, primer 25% de los pasos: Solo el codificador SigLIP y el conector multimodal fueron entrenables. Los adaptadores LoRA permanecieron congelados para permitir que las representaciones visuales se alinearan primero con la distribución de la audiodescripción.

2. Adaptación completa, 75% restante: Se descongelaron todos los adaptadores LoRA y la tasa de aprendizaje del codificador visual se redujo a la mitad, situándose en 5×10⁻⁶. Un DifferentialLRTrainer personalizado administró los grupos de parámetros independientes en AdamW.

Los tokens del prompt —incluidas las instrucciones del sistema, el texto del usuario y los tokens de imagen— se enmascararon con -100, de manera que la pérdida del modelo causal de lenguaje se calculó únicamente sobre los tokens de respuesta del asistente.

Etapa 3: GRPO con una recompensa determinista

El fine-tuning supervisado enseña al modelo la estructura de la audiodescripción. A continuación, el equipo utilizó Group Relative Policy Optimization (GRPO) para optimizar el comportamiento específico orientado a BLV.

Para cada prompt, GRPO muestreó cuatro respuestas y normalizó sus recompensas dentro del grupo. En lugar de recurrir a un modelo de recompensa entrenado, los autores formularon seis componentes deterministas basados en reglas que podían calcularse en menos de un milisegundo por muestra:

• Percepción de precaución o peligro: +0.40 cuando tanto la referencia como la generación contienen el elemento de precaución; -0.30 cuando la referencia lo contiene pero la generación lo omite; -0.10 cuando la generación lo introduce sin respaldo en la referencia.
• Anclaje direccional: +0.08 por cada palabra perteneciente a {left, right, center, ahead, behind}, con un límite máximo de +0.24.
• Distancia métrica: +0.20 por al menos una distancia métrica coincidente.
• Economía estructural: +0.16 para respuestas de entre dos y cuatro oraciones; -0.10 si superan las seis oraciones.
• Penalización por evasivas (hedging): -0.20 por frases como "appears to be" ("parece ser") o "I cannot" ("no puedo").
• Identificación del entorno: +0.10 cuando la primera oración nombra el tipo de escena utilizando uno de catorce términos predefinidos de entorno.

En conjunto, estas reglas constituyen la función de recompensa específica para BLV propuesta en el artículo.

Etapa 4: El parche de recuperación

El artículo señala que el post-entrenamiento en múltiples etapas puede provocar olvido catastrófico. Para restablecer la calidad descriptiva general preservando el anclaje espacial específico para BLV, los autores aplicaron un parche ligero de SFT: tres épocas sobre 50 descripciones seleccionadas de Gemma, tomando el checkpoint de GRPO como base y un nuevo adaptador LoRA con rango 64, alfa 128, tasa de aprendizaje de 5×10⁻⁵, tamaño de lote de 2 y recorte de gradientes (gradient clipping) en 1.0.

Durante la inferencia, los adaptadores SFTv2, GRPO y el parche SFT se fusionaron de manera secuencial en los pesos base, generando un modelo unificado sin sobrecarga adicional en la inferencia.

Las métricas reportadas reflejan compromisos de diseño (trade-offs) más que una mejora generalizada en todos los frentes. En la Tabla 8, MCF Ambience marca 3.44 para la condición GRPO y 2.94 para la condición final con el parche. En la Tabla 7, la cobertura de acciones (Action coverage) desciende del 88% al 62%. Al mismo tiempo, la condición con el parche alcanza la puntuación más alta en siete de las ocho subdimensiones evaluadas por jueces LLM y obtiene los resultados más sólidos en múltiples métricas de palabras clave y de PLN.

Cómo el post-entrenamiento en navegación más que duplicó la puntuación en OCR-Bench

El hallazgo más impactante reside en lo ocurrido con las capacidades visuales generales del modelo.

Model	Parameters	OCR-Bench ANLS	TextVQA Accuracy	TextVQA ANLS
SmolVLM2-256M (base)	256M	16.49%	1.08%	3.09%
SmolVLM2-500M (base)	500M	32.54%	37.75%	47.52%
SmolVLM2-2.2B (base)	2.2B	25.44%	27.51%	29.64%
LLaVA-1.5-7B	7B	28.78%	47.79%	62.96%
PaliGemma-3B	3B	69.76%	76.09%	87.36%
Smol-VL-BLV (Ours)	500M	65.54%	54.47%	65.97%
Qwen2.5-VL-3B	3B	88.56%	81.12%	90.39%

La puntuación en OCR-Bench pasó del 32.54% en la línea base SmolVLM2-500M al 65.54% en Smol-VL-BLV. La precisión en TextVQA se incrementó del 37.75% al 54.47%.

El modelo ajustado superó al modelo base SmolVLM2 de 2.2B parámetros en OCR por aproximadamente 40 puntos porcentuales. También superó a LLaVA-1.5-7B tanto en OCR-Bench ANLS como en la precisión de TextVQA, si bien modelos de mayor escala como Qwen2.5-VL-3B se mantuvieron por encima en el balance general.

¿Por qué entrenar con descripciones de escenas espacialmente ancladas ayuda a una red a leer texto?

La discusión del artículo pone el foco en el contenido de los datos del profesor. Las descripciones generadas por Gemma incorporaban el estado del entorno, peligros cercanos, referencias direccionales, la posición de las personas, colores de ropa y movimiento. Los autores sostienen que esta supervisión con anclaje espacial estimula al modelo pequeño a construir mapas espaciales y promueve una alineación estructural capaz de afinar la delimitación de límites geométricos en caracteres y cadenas de texto.

Esa es la hipótesis explicativa que propone el artículo para esta transferencia. Los experimentos presentados evidencian las ganancias en OCR y VQA, pero no aíslan un mecanismo de atención específico ni demuestran que la navegación y el OCR dependan siempre de las mismas representaciones internas.

Análisis detallado de las mejoras en navegación

En un conjunto de evaluación de 458 muestras, los autores midieron la cobertura de palabras clave asociadas a BLV junto con métricas estándar de PLN. Los resultados acumulados reflejan contribuciones diferenciadas de cada etapa de entrenamiento, acompañadas de compromisos en ciertas dimensiones.

Metric	Condition A (Base)	Condition B (SFT)	Condition C (+GRPO)	Condition D (+Patch)	Change A→D
Spatial Coverage	79%	81%	97%	100%	+21
Directional Cues	29%	51%	88%	100%	+71
Distance Mentions	45%	20%	22%	100%	+55
Obstacle Mentions	77%	85%	92%	96%	+19
Moving Hazards	16%	21%	17%	66%	+50
Step Changes	4%	7%	7%	5%	+1
BLEU-4	0.74	1.66	1.97	13.53	+12.79
ROUGE-L	10.74	17.66	17.93	30.49	+19.75

El SFT estableció la estructura descriptiva básica, elevando ROUGE-L de 10.74 a 17.66 y el promedio de BLV (BLV Mean) del 79% al 86%. Luego, GRPO incrementó el BLV Mean al 93%, la cobertura de obstáculos del 85% al 92% y la cobertura direccional del 51% al 88%. No obstante, la cobertura de distancias permaneció en el 22%, y la de peligros en movimiento se redujo del 21% al 17%.

El parche produjo las métricas de PLN más destacadas y llevó la cobertura de dirección y distancia en la condición D al 100%, la de obstáculos al 96% y la de peligros en movimiento al 66%. Sin embargo, no todas las variables progresaron: la cobertura de acciones (Action coverage) cayó del 88% tras GRPO al 62%, y el BLV Mean se redujo del 93% al 90%.

En una evaluación humana paralela, veinte evaluadores videntes de plataformas de crowd-work examinaron cinco videos demostrativos en tiempo real. En una escala de 0 a 5, el sistema final obtuvo medias de 4.0 en Navigation Relevance, 3.5 en Caution/Alert Accuracy, 4.5 en Spatial and Directional Precision, 4.5 en Response Conciseness y 4.0 en Overall Trustworthiness. Estas valoraciones respaldan el objetivo del modelo orientado a la asistencia en navegación, pero no garantizan una navegación autónoma y segura.

Qué respalda la transferencia hacia el OCR

Para la investigación en modelos multimodales ligeros, el artículo aporta tres conclusiones concretas:

1. La supervisión con anclaje espacial puede transferirse a benchmarks de texto visual. El hallazgo no implica que esta metodología vaya a optimizar automáticamente cualquier sistema de procesamiento de PDF, recibos o documentos. Sí demuestra que, bajo este modelo y protocolo de evaluación, el post-entrenamiento enfocado en BLV mejoró OCR-Bench y TextVQA a la par de la calidad en la descripción espacial.

2. GRPO online superó a los métodos de preferencia offline evaluados en este entorno. En el conjunto de evaluación balanceado, DPO obtuvo 3.89 en MCF y RLAIF-V DPO alcanzó 3.88, ambos por debajo de los 4.38 logrados por SFT v2. GRPO alcanzó 4.18 en MCF y 4.20 en NAF. Los autores sostienen que su esquema de recompensa online resultó más efectivo para consolidar el lenguaje direccional, las menciones métricas y la advertencia de peligros.

3. La destilación profesor-alumno puede trasladar patrones descriptivos de accesibilidad a un modelo compacto. Gemma-4-31B-IT generó 9,646 descripciones alineadas con pautas de audiodescripción, que el alumno de 507.5M parámetros utilizó como supervisión sintética. El artículo aporta esto como prueba de que datos rigurosos provenientes de un profesor potente pueden inculcar un anclaje espacial más preciso en un VLM pequeño.

La estación del tren elevado estaba muy mal señalizada — por shankar s. vía flickr, BY 2.0.

Compresión hasta los 442 megabytes

El entrenamiento del modelo se llevó a cabo en una única GPU RTX A6000 de 48 GB. Su despliegue en un teléfono exigió un procedimiento independiente de conversión y cuantización.

Los autores integraron sus tres adaptadores LoRA entrenados dentro de los pesos base, produciendo un checkpoint en formato HuggingFace float16 de 969 MB. Al exportarlo a GGUF, el modelo se dividió en dos componentes operativos:

• El backbone del modelo de lenguaje: 783 MB en float16.
• El proyector visual, mmproj.gguf: 191 MB en float16.

La cuantización habitual en Q4_K_M comprimió el modelo de lenguaje a 290 MB; sin embargo, el artículo constata que una compresión uniforme a 4 bits degradaba el razonamiento posicional. Ante esto, los autores aplicaron IQ4_NL, una cuantización no lineal ponderada por importancia.

En primer término, ejecutaron llama-imatrix sobre un conjunto de calibración de aproximadamente 500 descripciones BLV. Con ello registraron los canales de pesos activados con mayor frecuencia y obtuvieron una matriz de importancia para distribuir los bits de forma no uniforme.

┌────────────────────────────────────────────────────────┐
│               Paquete desplegado (442 MB)              │
├────────────────────────────┬───────────────────────────┤
│ Backbone del LM (251 MB)   │ Proyector visual (191 MB) │
│ - Self-Attention: Q5_K     │ - Float16 nativo          │
│ - Otras capas: IQ4_NL      │ - Sin cuantizar           │
│ - Matriz de importancia    │                           │
└────────────────────────────┴───────────────────────────┘

En segundo término, aplicaron un esquema de precisión mixta (mixed-precision override): las proyecciones de autoatención (q_proj, k_proj y v_proj) se cuantizaron con la mayor precisión de Q5_K, mientras que la mayor parte restante de la red adoptó IQ4_NL. Los autores destacan que estos mecanismos de atención son fundamentales para preservar la coherencia direccional.

El apéndice documenta que esta modificación añade alrededor de 15 MB y da lugar a un backbone de lenguaje de 251 MB. Sumado al proyector visual de 191 MB en float16, el paquete completo para el dispositivo totaliza 442 MB.

La cruda realidad de la latencia en el dispositivo

Los autores desplegaron el paquete de 442 MB en un Samsung Galaxy A55 equipado con un procesador Exynos 1480 y 8 GB de RAM. Compilaron llama.cpp de forma nativa a través de Termux y ejecutaron la configuración final con cuatro hilos de CPU.

En el benchmark definitivo de 21 fotogramas, el modelo se cargó en RAM en un promedio de 291 milisegundos, registró un pico de consumo aproximado de 780 MB de RAM y no sufrió cierres ni errores por memoria insuficiente (OOM). La velocidad de generación promedió 39.3 tokens por segundo, tomando el proceso de generación alrededor de 1.4 segundos.

La mala noticia radicó en el tiempo total desde la entrada visual hasta la entrega de la descripción: 27.1 segundos.

La mayor parte de ese intervalo se debió a la evaluación del prompt. El procesamiento de la entrada visual y de los tokens de entrada en la CPU del A55 demandó una media de 25.1 segundos antes de iniciar la generación.

Platform	Hardware Backend	TTFT (Prompt Eval)	Generation Speed	Total Latency
Cloud	Nvidia T4 GPU	1.39 s	187.42 tok/s	1.70 s
MacBook	Apple Silicon (Metal)	1.95 s	132.6 tok/s	2.41 s
Samsung A55	Exynos 1480 (CPU Only)	25.10 s	42.9 tok/s	27.10 s

El artículo cita 39.3 tokens por segundo como media en su prueba final de 21 fotogramas y 42.9 tokens por segundo en la comparativa entre plataformas, reflejando distintas condiciones de medición. En ambos casos, la latencia en el A55 estuvo dominada por la evaluación del prompt procesada exclusivamente en CPU.

El mismo modelo cuantizado ejecutó la inferencia multimodal completa en 2.41 segundos en una Mac con Apple Silicon mediante Metal, y en 1.70 segundos en una GPU T4 en la nube. Los autores atribuyen la lentitud del A55 a la falta de soporte para aceleración por hardware y no a la velocidad intrínseca de generación del modelo.

El estudio examinó distintas alternativas de aceleración:

• Android NNAPI: La distribución de llama.cpp para Android no implementa un proveedor de ejecución NNAPI. Su soporte para GPU apunta a OpenCL y Vulkan, mientras que el controlador NNAPI de Samsung Exynos recurre con frecuencia a la GPU ante operaciones no soportadas.
• ONNX Runtime Mobile: Hugging Face Optimum falló al intentar exportar SmolVLM2; arrojó un error KeyError: 'smolvlm2' debido a que ni el codificador SigLIP ni la inyección intermedia de tokens visuales estaban registrados en el exportador.
• MLC-LLM: La vía de aceleración probada soporta arquitecturas LLaMA, Mistral y Qwen enfocadas en silicio Snapdragon. Al no incluir SmolVLM2, el chip Exynos debió recurrir a la CPU.
• Vulkan y OpenCL: Las cabeceras de Vulkan estaban presentes, pero faltaba el cargador ICD propietario de Mali. El controlador privado correspondiente de OpenCL tampoco se encontraba accesible desde Termux.
• Samsung ONE SDK: El acceso directo a la NPU del Exynos exigía firma de acuerdos de confidencialidad (NDA) y modelos en formato .nnc derivados de TFLite u ONNX. Dicho acceso no fue concedido durante la investigación.

A pesar de que el teléfono cuenta con una NPU dedicada, la configuración utilizada en Termux no pudo aprovecharla. El resultado es un modelo que se aloja holgadamente en la memoria del dispositivo, pero que debe delegar el exigente cálculo del prefijo visual en los núcleos de CPU de uso general.

Los puntos ciegos: lo que todavía falla

Los autores exponen con franqueza las limitaciones actuales. Al diseñar sistemas para accesibilidad o tareas espaciales críticas, estas carencias son esenciales de considerar:

• Los cambios de nivel siguen siendo infrecuentes: La condición D alcanzó un 100% de cobertura en direcciones, pero apenas un 5% en cambios de nivel (escalones o desniveles). Los autores atribuyen esto a la escasa presencia de escaleras, bordillos y desniveles en los conjuntos de datos originales.
• Peligros en movimiento incompletos: La cobertura de términos asociados a peligros en movimiento llegó al 66% en la condición final, dejando un amplio margen de mejora.
• Estimaciones métricas sintéticas: Mediciones como "tres metros hacia adelante" corresponden a aproximaciones visuales formuladas por el modelo profesor, no a lecturas de sensores físicos.
• Variedad restringida de escenas: Aunque el corpus reúne entornos interiores y exteriores, los autores destacan calles con tráfico, lugares concurridos y otros escenarios complejos de navegación como tareas pendientes.
• Baja visión frente a ceguera total: El proyecto se orienta primordialmente a usuarios con baja visión. Los autores advierten que el sistema no brinda todavía la fiabilidad requerida para una navegación autónoma y segura en personas con ceguera total.
• Evaluación humana con participantes videntes: El estudio con usuarios empleó a veinte evaluadores videntes en plataformas de microtareas. Los autores plantean como paso imprescindible validar el sistema con usuarios BLV reales.

Mirando hacia el futuro

Smol-VL-BLV demuestra que es posible especializar un VLM compacto para la narración de entornos con anclaje espacial enfocada en la navegación, funcionando sin conexión y ejecutable en un teléfono inteligente.

Al articular la supervisión de un profesor sintético con aprendizaje por refuerzo determinista, Choudhary y su equipo potenciaron tanto el anclaje espacial orientado a BLV como el desempeño global en benchmarks de texto visual en un modelo de 507.5 millones de parámetros.

Para la comunidad de investigación en OCR, el aporte central es una transferencia empíricamente validada: el índice ANLS en OCR-Bench creció un 101.5% frente a la base SmolVLM2-500M, mientras que la precisión en TextVQA progresó un 44.2%. La explicación de los autores plantea que las descripciones con anclaje espacial inducen una mejor estructuración espacial y análisis geométrico, si bien el artículo formula esto como una hipótesis de trabajo y no como una regla universal para el OCR.

Entre sus próximos pasos, los autores proyectan recopilar más datos sobre escaleras, bordillos, desniveles y riesgos en movimiento; formular una recompensa específica para cambios de nivel; evaluar cruces peatonales y avenidas de alto tránsito; concebir métricas de validez espacial fundamentadas en geometría; e incorporar mecanismos de verificación factual para evitar sentidos incorrectos, alertas falsas o distancias inventadas.