El benchmark de mapas que detecta a los modelos de IA fingiendo visión

Mira la Figura 1 de este artículo y verás algo extraño. Por un lado, hay una captura de pantalla de DocVQA, uno de los benchmarks estándar de comprensión de documentos: una tabla llena de datos de encuestas sobre fumadores, con una pregunta debajo que pregunta qué porcentaje siente la necesidad de encontrar más emoción en la vida. Por el otro lado, hay lo que parece una ilustración de un libro infantil: un vecindario verde simple con algunas casas, algunas carreteras sinuosas y árboles de dibujos animados. La pregunta pide qué casa verías a tu derecha si entras desde la izquierda y sigues conduciendo.

La tabla está etiquetada como "fácil de describir". El vecindario de dibujos animados está etiquetado como "difícil de describir". Eso es al revés de cómo se ve para un humano, y ese es exactamente el punto. Un modelo puede convertir la tabla de encuestas en un párrafo de texto y responder la pregunta sin problemas, porque las tablas ya están a mitad de camino para ser texto. Pero intenta escribir un párrafo que capture completamente qué casa está dónde en relación con un sistema de carreteras curvas, con suficiente detalle para responder cualquier pregunta posible sobre ello, y te encontrarás escribiendo un ensayo o dejando algo fuera. Esa brecha entre "parece simple" y "resiste la descripción" es lo que OmniMapBench, un nuevo benchmark del Shanghai AI Laboratory, la Universidad de Zhejiang y colaboradores, está diseñado para exponer.

Seattle Map 1914 — por Rob Ketcherside vía flickr, BY 2.0.

El truco que la mayoría de los benchmarks "visuales" no se dan cuenta que están jugando

Este es el secreto incómodo en el centro de este artículo. Muchos benchmarks que afirman evaluar el razonamiento visual en grandes modelos de lenguaje-visual (LVLM, por sus siglas en inglés, los modelos que pueden tomar tanto una imagen como texto como entrada) en realidad pueden resolverse sin mucho razonamiento visual. Si un gráfico puede convertirse sin pérdida en una tabla de datos, o un documento en texto OCR, o un diagrama geométrico en una lista de coordenadas, entonces un modelo no necesita mirar genuinamente la imagen. Solo necesita convertir la imagen a texto una vez y luego hacer lo que los LLM ya hacen bien: razonar sobre texto.

Esta no es una preocupación hipotética. Los investigadores señalan que las imágenes de documentos se convierten en markdown todo el tiempo en pipelines de recuperación, y que los gráficos y tablas se transforman rutinariamente en código o datos estructurados. Incluso los problemas de geometría, que parecen visuales a primera vista, a menudo son "completamente textuales", lo que significa que una descripción verbal de las formas es suficiente para resolverlos. Entonces, cuando un benchmark informa que un modelo obtuvo 90% en alguna tarea de "razonamiento visual", hay una pregunta real que vale la pena hacer: ¿el modelo realmente usó sus ojos, o simplemente leyó?

Los mapas son la respuesta de los autores a esa pregunta. El significado de un mapa reside en su disposición espacial: líneas de contorno, regiones codificadas por colores, símbolos cuyo significado depende de una leyenda y las posiciones relativas de las cosas entre sí. No puedes aplanar eso en un párrafo limpio como puedes aplanar una hoja de cálculo. Eso es lo que hace que los mapas sean una buena prueba de estrés, y por eso existe OmniMapBench.

Cómo demostrar que un benchmark realmente requiere visión

Lo ingenioso de este artículo no es solo "hemos creado un benchmark de mapas". Es que los autores construyeron una forma de medir, para cualquier benchmark, cuánto depende realmente de la imagen versus cuánto se puede manipular con texto.

Lo llaman Índice de Dependencia Visual (VDI, por sus siglas en inglés), y la idea es simple una vez que la ves. Toma un benchmark. Ejecuta un modelo potente en él normalmente, con la imagen real, y registra la precisión. Luego quita la imagen, pero permite que el mismo modelo primero genere una descripción escrita de esa imagen (limitada a un presupuesto fijo de tokens, para que no pueda simplemente volcar una transcripción infinitamente detallada). Alimenta esa descripción de vuelta al modelo en lugar de la imagen y mide la precisión nuevamente. El VDI es simplemente el porcentaje de caída entre esos dos números. Si un modelo funciona casi tan bien trabajando a partir de su propia descripción textual como lo hizo mirando la imagen real, el VDI es bajo, y el benchmark te está diciendo que no necesita visión real. Si la precisión se desploma sin la imagen, el VDI es alto.

Los resultados son contundentes. Con un presupuesto de descripción de 1.024 tokens, aproximadamente suficiente para unos pocos párrafos densos, benchmarks como AI2D (diagramas científicos) y MMBench básicamente se desmoronan: su VDI cae a cerca de cero, lo que significa que un párrafo lo suficientemente bueno te da casi la misma precisión que la imagen real. OmniMapBench se sitúa en el otro extremo, con un VDI de 0.338, el más alto de los once benchmarks probados, incluyendo nombres conocidos como DocVQA, ChartQA y MathVista. Los autores también rastrean una métrica complementaria llamada Índice de Saturación Descriptiva (DSI, por sus siglas en inglés), que mide si los modelos siguen utilizando todo su presupuesto de tokens intentando describir una imagen o se rinden temprano porque no hay nada más que decir. OmniMapBench obtiene 0.629 allí, el segundo más alto en la comparación, lo que significa que los modelos siguen esforzándose por encontrar más palabras para describir estos mapas incluso en el límite de tokens. Junta esos dos números y obtienes un benchmark que resiste el atajo de conversión de texto desde dos ángulos diferentes.

Construyendo 1.603 mapas que no se pueden esquivar

El propio conjunto de datos es más pequeño que algunos benchmarks famosos de VQA (DocVQA tiene alrededor de 50.000 pares de preguntas-respuestas; OmniMapBench tiene 2.096), pero el proceso de construcción merece una revisión porque explica por qué las preguntas son difíciles de resolver por atajos.

El equipo comenzó raspando y recopilando manualmente más de 5.000 imágenes de mapas, utilizando un LLM para generar consultas de búsqueda variadas en nueve categorías objetivo, además de una búsqueda dirigida en portales gubernamentales y plataformas sociales para tipos especializados de mapas, como diagramas de transporte. Filtraron ese conjunto hasta llegar a unas 2.000 imágenes, eliminando casi duplicados, escaneos de baja resolución y cualquier contenido relacionado con regiones políticamente sensibles. Los anotadores humanos escribieron luego los pares de preguntas-respuestas a mano, siguiendo reglas estrictas: cada pregunta debía poder responderse utilizando únicamente la información visual del mapa, sin necesidad de conocimiento externo, y se formatearon como preguntas de opción única, opción múltiple o de ordenamiento para mantener la objetividad en la calificación.

Los anotadores también tenían que alcanzar intencionalmente tres niveles de dificultad: las preguntas de Nivel 1 evalúan la percepción básica (¿puedes encontrar y leer un símbolo?), las de Nivel 2 evalúan el razonamiento espacial de un solo paso (¿cuál de estos dos puntos está más cerca del río?) y las de Nivel 3 evalúan el razonamiento relacional de múltiples pasos (traza una ruta a través de varias curvas e informa qué es visible a lo largo del camino). Esa primera pasada produjo 3.386 pares de preguntas-respuestas, que fueron filtrados y reequilibrados hasta llegar a 2.882, y luego sometidos a una segunda ronda independiente de validación cruzada donde un equipo diferente de anotadores verificó cada par por su corrección y precisión de categoría. Lo que no sobrevivió a esa verificación se descartó. Lo que quedó: 2.096 pares en 1.603 imágenes.

Las nueve categorías dan una idea de lo amplio que se estira el concepto de "mapa" aquí: Navegación Interior (18,3% de las imágenes), Educación e Historia (17,2%), Ingeniería e Instalaciones (16,8%), Transporte (15,7%), Turismo (13,2%), Topografía y Teledetección (7,3%), Entorno y Naturaleza (5,2%), Socioeconómico (3,9%) y, notablemente, Mapas de videojuegos (2,4%), lo que significa mapas ficticios de fantasía o de mundos de videojuegos. Esa última categoría es una crítica deliberada a los benchmarks que asumen que los mapas significan geografía del mundo real. Los benchmarks específicos de mapas anteriores tienden a especializarse estrechamente, como ReasonMap (solo mapas de transporte, alrededor de 30 imágenes) o MapQA (solo mapas coropléticos). La apuesta de OmniMapBench es que la variedad, desde diagramas de metro hasta directorios de centros comerciales y planos de rutas de evacuación, es lo que realmente pone a prueba el razonamiento espacial general de un modelo en lugar de su familiaridad con un solo estilo de mapa.

Mapa topográfico de las montañas Duck y Riding en el noroeste de Manitoba (1888) — por Manitoba Historical Maps vía flickr, BY 2.0.

El marcador: 25 modelos y un techo del 75%

El resultado principal es que el mejor modelo evaluado, Gemini-3.1-Pro, obtuvo un 75,03% en general. Para un benchmark construido a partir de preguntas de opción múltiple y ordenación, donde el azar ya te da algo, ese es un techo significativamente bajo para un modelo de vanguardia en 2026.

Algunas cosas destacan en el ranking completo de 25 modelos. En primer lugar, la brecha entre los principales modelos propietarios y los principales de código abierto es menor de lo que cabría esperar: Qwen3.5-397B-A17B alcanzó el 72,22%, a menos de tres puntos de Gemini-3.1-Pro, y claramente por delante de varios otros sistemas propietarios, incluidos GPT-5 (56,54%), Claude-Sonnet-4-5 (45,04%) y GPT-4o, que quedó último entre los 25 modelos con un 31,47%. Si has estado asumiendo que "bandera propietaria" significa automáticamente "mejor en razonamiento visual", este ranking dice lo contrario.

En segundo lugar, el rendimiento cae en picado a medida que el razonamiento se vuelve más difícil. Las propias puntuaciones de Gemini-3.1-Pro por nivel de dificultad cuentan la historia: 88,24% en Nivel 1 (percepción), 81,53% en Nivel 2 (razonamiento de un solo paso) y 62,88% en Nivel 3 (razonamiento de múltiples pasos). Leer un símbolo de un mapa es una cosa. Encadenar varios hechos espaciales para responder a una pregunta es una habilidad diferente, y es la que claramente aún está en desarrollo.

En tercer lugar, la categoría importa mucho. Los modelos se desempeñan relativamente bien en categorías como Turismo, donde los mapas suelen incluir texto etiquetado más convencional (nombres de puntos de interés, señales de calle) en el que los modelos pueden apoyarse. Se desempeñan peor en Topografía y Teledetección, donde la información está codificada en símbolos densos y no estándar, curvas de nivel y gradientes de color continuos en lugar de texto discreto y etiquetado. Esto es coherente con la tesis general del artículo: cuanto más difícil es describir un mapa con palabras, más difícil es para los modelos actuales.

También hay un experimento de control que vale la pena mencionar. Los autores ejecutaron una línea base "sin imagen": dieron al modelo solo la pregunta y las opciones de respuesta, sin imagen ni descripción alguna, para ver si el benchmark podía ser manipulado puramente a través del sesgo de las opciones de respuesta o del conocimiento general del mundo. La precisión promedio en tres modelos probados cayó del 58,87% con acceso normal al 23,35% a ciegas. Eso está cerca de lo que cabría esperar de algo entre el azar y un leve sesgo hacia respuestas que suenan plausibles, lo cual es buena noticia: significa que el benchmark no es secretamente resoluble por un modelo que simplemente sea bueno eligiendo la opción múltiple que suena menos rara.

Por qué importa para cualquiera que construya o elija una tubería OCR

Si su producto interactúa con documentos que son fundamentalmente espaciales en lugar de textuales, como planos de planta, mapas de transporte, diagramas de sitio, rutas de evacuación o superposiciones SIG, este artículo funciona como una advertencia. Una tubería que funcione ejecutando OCR o un paso de "describe esta imagen" y luego entregando el texto resultante a un LLM fallará silenciosamente en exactamente esta clase de documento, porque la información que importa (qué está cerca de qué, qué camino se conecta a qué habitación, qué región está sombreada de qué color) no sobrevive al ser aplanada en una descripción. Las cifras de los benchmarks de estilo DocVQA que los proveedores de OCR y document-AI les gusta publicar no le dicen nada sobre cómo su sistema maneja esta categoría, porque esos benchmarks son, según la propia medición de este artículo, en gran parte solucionables mediante atajos textuales.

La jugada práctica es probar teniendo en cuenta el modo de fallo real en lugar de confiar en una puntuación de precisión agregada. Pregunte si un motor puede trazar una ruta a través de un plano de planta e informar qué hay a lo largo de ella, no si puede transcribir texto dentro de un cuadro delimitador. Si está evaluando proveedores de OCR o document-AI para cualquier cosa que involucre mapas, planos técnicos, esquemas técnicos o diagramas, no tome "manejamos documentos visuales" a la ligera: solicite precisión específicamente en preguntas de múltiples pasos y espacialmente fundamentadas, porque ese es el lugar exacto donde las tuberías OCR de propósito general e incluso los LVLMs fuertes actualmente se esfuerzan. En este momento, incluso el mejor modelo del mundo alcanza un máximo de tres cuartos de precisión en esto. Si su caso de uso depende de obtener ese último cuarto correcto, planifique una revisión humana o un enfoque más estrecho y construido para un propósito específico, en lugar de asumir que un modelo de visión-lingüística genérico lo llevará allí de fábrica.

Dónde este benchmark es más delgado de lo que parece

Hay algunas advertencias que vale la pena tener en cuenta antes de tratar a OmniMapBench como la verdad absoluta. Con 2.096 pares de preguntas y respuestas, es pequeño en comparación con los más de 50.000 casos de DocVQA o las decenas de miles de algunos benchmarks de gráficos, y la distribución de categorías es desproporcionada: Navegación Interior, Educación e Historia, e Ingeniería e Instalaciones juntos representan más de la mitad de las imágenes, mientras que los mapas de videojuegos representan menos de 40 imágenes en total. Un benchmark tan delgado en sus categorías más pequeñas puede ser ruidoso a nivel de categoría, incluso si los números agregados son sólidos.

La métrica VDI en sí misma también depende de un único modelo de referencia (GPT-4.1) para generar las descripciones utilizadas para la comparación solo de texto. Los autores ejecutaron una ablation intercambiando un modelo de referencia diferente y encontraron tendencias consistentes, lo cual ayuda, pero la métrica sigue pidiendo fundamentalmente "qué tan bueno es este modelo para describir este benchmark en palabras", no alguna propiedad independiente del modelo de las imágenes en sí. Y el benchmark cubre solo inglés y chino (61% y 39% de las preguntas respectivamente), por lo que no dice nada sobre cómo podrían cambiar estos resultados para mapas anotados en otros idiomas o scripts.

Nada de eso socava el hallazgo central. Incluso con un conjunto de datos más pequeño y una métrica imperfecta, la brecha entre la VDI de OmniMapBench y todo lo demás probado es lo suficientemente grande como para ser convincente, y un techo del 75% del mejor modelo del mundo es un resultado real, no un error de redondeo. La contribución real del paper es menos "aquí está el benchmark definitivo de mapas" y más "aquí hay un método para saber si tu benchmark está probando visión o comprensión lectora disfrazada". Esa es una herramienta que vale la pena tener, y es una que se ha hecho esperar dado cuántos tableros de clasificación de "razonamiento visual" están actualmente, probablemente sin saberlo, midiendo algo más cercano a este último.