O benchmark de mapas que pega modelos de IA fingindo visão

Olhe a Figura 1 neste artigo e você verá algo estranho. De um lado, há uma captura de tela do DocVQA, um dos benchmarks padrão de compreensão de documentos: uma tabela cheia de dados de pesquisa sobre fumantes, com uma pergunta abaixo perguntando qual porcentagem sente a necessidade de encontrar mais emoção na vida. Do outro lado, há o que parece ser uma ilustração de livro infantil: um bairro verde simples com algumas casas, algumas estradas sinuosas e árvores desenhadas. A pergunta pergunta qual casa você veria à sua direita se entrar pela esquerda e continuar dirigindo.

A tabela é rotulada como "fácil de descrever". O bairro desenhado é rotulado como "difícil de descrever". Isso é o oposto do que parece para um humano, e esse é exatamente o ponto. Um modelo pode converter a tabela de pesquisa em um parágrafo de texto e responder à pergunta sem problemas, porque as tabelas já são meio texto. Mas tente escrever um parágrafo que capture completamente qual casa fica onde em relação a um sistema de estradas sinuosas, com detalhes suficientes para responder a qualquer pergunta possível sobre isso, e você se encontrará escrevendo um ensaio ou deixando algo de fora. Essa lacuna entre "parece simples" e "resiste à descrição" é o que o OmniMapBench, um novo benchmark do Shanghai AI Laboratory, Zhejiang University e colaboradores, foi construído para expor.

Seattle Map 1914 — by Rob Ketcherside via flickr, BY 2.0.

O truque que a maioria dos benchmarks "visuais" não percebe que está jogando

Aqui está o segredo desconfortável no centro deste artigo. Muitos benchmarks que afirmam testar o raciocínio visual em grandes modelos de visão e linguagem (LVLMs, os modelos que podem receber tanto uma imagem quanto texto como entrada) podem, na verdade, ser resolvidos sem muito raciocínio visual. Se um gráfico pode ser convertido sem perda em uma tabela de dados, ou um documento em texto OCR, ou um diagrama geométrico em uma lista de coordenadas, então um modelo não precisa realmente olhar para a imagem. Ele só precisa converter a imagem em texto uma vez e depois fazer o que os LLMs já fazem bem: raciocinar sobre texto.

Esta não é uma preocupação hipotética. Os pesquisadores apontam que imagens de documentos são frequentemente convertidas em markdown em pipelines de recuperação, e que gráficos e tabelas são rotineiramente transformados em código ou dados estruturados. Até mesmo problemas de geometria, que parecem visuais à primeira vista, são frequentemente "completamente textuais", o que significa que uma descrição verbal das formas é suficiente para resolvê-los. Então, quando um benchmark relata que um modelo obteve 90% em alguma tarefa de "raciocínio visual", há uma questão real que vale a pena perguntar: o modelo realmente usou seus olhos, ou apenas leu?

Mapas são a resposta dos autores a essa questão. O significado de um mapa reside em seu layout espacial: curvas de nível, regiões codificadas por cores, símbolos cujo significado depende de uma legenda e as posições relativas das coisas umas em relação às outras. Você não pode achatar isso em um parágrafo limpo da mesma forma que pode achatar uma planilha. É isso que torna os mapas um bom teste de estresse, e é por isso que o OmniMapBench existe.

Como provar que um benchmark realmente exige visão

A parte inteligente deste artigo não é apenas "criamos um benchmark de mapas". É que os autores construíram uma maneira de medir, para qualquer benchmark, o quanto ele realmente depende da imagem versus o quanto pode ser burlado com texto.

Eles chamam isso de Índice de Dependência Visual (VDI, na sigla em inglês), e a ideia é simples quando você a vê. Pegue um benchmark. Execute um modelo forte nele normalmente, com a imagem real, e registre a precisão. Em seguida, remova a imagem, mas permita que o mesmo modelo primeiro gere uma descrição escrita dessa imagem (limitada a um orçamento fixo de tokens, para que ele não possa apenas despejar uma transcrição infinitamente detalhada). Alimente essa descrição de volta ao modelo em vez da imagem e meça a precisão novamente. O VDI é simplesmente a queda percentual entre esses dois números. Se um modelo funciona quase tão bem trabalhando a partir de sua própria descrição textual quanto olhando para a imagem real, o VDI é baixo, e o benchmark está dizendo que não precisa de visão real. Se a precisão desmorona sem a imagem, o VDI é alto.

Os resultados são marcantes. Com um orçamento de descrição de 1.024 tokens, aproximadamente o suficiente para alguns parágrafos densos, benchmarks como AI2D (diagramas científicos) e MMBench basicamente se desmoronam: seu VDI cai para perto de zero, o que significa que um parágrafo bom o suficiente lhe dá quase a mesma precisão que a imagem real. O OmniMapBench fica na outra extremidade, com um VDI de 0,338, o mais alto entre onze benchmarks testados, incluindo nomes familiares como DocVQA, ChartQA e MathVista. Os autores também acompanham uma métrica companheira chamada Índice de Saturação Descritiva (DSI, na sigla em inglês), que mede se os modelos continuam usando todo o seu orçamento de tokens tentando descrever uma imagem ou desistem cedo porque não há mais nada a dizer. O OmniMapBench pontua 0,629 lá, o segundo mais alto na comparação, o que significa que os modelos continuam se esforçando por mais palavras para descrever esses mapas mesmo no limite de tokens. Junte esses dois números e você obtém um benchmark que resiste ao atalho de conversão de texto de dois ângulos diferentes.

Construindo 1.603 mapas que não podem ser contornados

O próprio conjunto de dados é menor do que alguns benchmarks famosos de VQA (DocVQA tem cerca de 50.000 pares de pergunta-resposta; OmniMapBench tem 2.096), mas o processo de construção vale a pena ser examinado porque explica por que as perguntas são difíceis de contornar.

A equipe começou raspando e coletando manualmente mais de 5.000 imagens de mapas, usando um LLM para gerar consultas de busca variadas em nove categorias-alvo, além de fontes direcionadas de portais governamentais e plataformas sociais para tipos especializados de mapas, como diagramas de transporte. Eles filtraram esse conjunto para cerca de 2.000 imagens, removendo duplicatas quase idênticas, digitalizações de baixa resolução e qualquer coisa que tocasse regiões politicamente sensíveis. Anotadores humanos então escreveram pares de pergunta-resposta à mão, seguindo regras estritas: cada pergunta tinha que ser respondível usando apenas as informações visuais no mapa, sem necessidade de conhecimento externo, e formatada como pergunta de escolha única, múltipla escolha ou ordenação para manter a avaliação objetiva.

Os anotadores também tinham que atingir três níveis de dificuldade propositalmente: perguntas de Nível 1 testam percepção básica (você consegue encontrar e ler um símbolo), Nível 2 testa raciocínio espacial de etapa única (qual desses dois pontos está mais perto do rio) e Nível 3 testa raciocínio relacional de múltiplas etapas (traçar uma rota através de várias curvas e relatar o que é visível ao longo do caminho). Essa primeira passagem produziu 3.386 pares de QA, que foram filtrados e reequilibrados para 2.882, depois passados por uma segunda rodada independente de validação cruzada onde uma equipe diferente de anotadores verificou cada par quanto à correção e precisão da categoria. Tudo o que não sobreviveu a essa verificação foi descartado. O que restou: 2.096 pares em 1.603 imagens.

As nove categorias dão uma ideia de como amplo "mapa" se estende aqui: Navegação Interna (18,3% das imagens), Educação & História (17,2%), Engenharia & Instalações (16,8%), Transporte (15,7%), Turismo (13,2%), Topografia & Sensoriamento Remoto (7,3%), Meio Ambiente & Natureza (5,2%), Socioeconômico (3,9%) e, notavelmente, Mapas de Jogos (2,4%), significando mapas fictícios de fantasia ou de mundos de videogame. Essa última categoria é um golpe deliberado em benchmarks que assumem que mapas significam geografia do mundo real. Benchmarks específicos de mapas anteriores tendem a se especializar estreitamente, como ReasonMap (apenas mapas de transporte, cerca de 30 imagens) ou MapQA (apenas mapas coropléticos). A aposta do OmniMapBench é que a variedade, desde diagramas de metrô até diretórios de shopping centers até plantas baixas de rotas de evacuação, é o que realmente estressa o raciocínio espacial geral de um modelo, em vez de sua familiaridade com um estilo de mapa.

Mapa topográfico das Montanhas Duck e Riding no noroeste de Manitoba (1888) — por Manitoba Historical Maps via flickr, BY 2.0.

O placar: 25 modelos e um teto de 75%

O resultado principal é que o melhor modelo testado, o Gemini-3.1-Pro, obteve 75,03% no total. Para um benchmark construído a partir de perguntas de múltipla escolha e ordenação, onde o chute aleatório já garante algum acerto, esse é um teto significativamente baixo para um modelo de ponta em 2026.

Alguns pontos se destacam no ranking completo dos 25 modelos. Primeiro, a lacuna entre os principais modelos proprietários e os principais modelos de código aberto é menor do que se esperaria: o Qwen3.5-397B-A17B atingiu 72,22%, ficando a apenas três pontos do Gemini-3.1-Pro e claramente à frente de vários outros sistemas proprietários, incluindo o GPT-5 (56,54%), Claude-Sonnet-4-5 (45,04%) e o GPT-4o, que ficou em último entre todos os 25 modelos, com 31,47%. Se você assumia que "modelo proprietário de referência" significava automaticamente "o melhor em raciocínio visual", este ranking sugere o contrário.

Em segundo lugar, o desempenho cai drasticamente à medida que o raciocínio se torna mais difícil. As próprias pontuações do Gemini-3.1-Pro por nível de dificuldade contam a história: 88,24% no Nível 1 (percepção), 81,53% no Nível 2 (raciocínio de etapa única) e 62,88% no Nível 3 (raciocínio de múltiplas etapas). Ler um símbolo em um mapa é uma coisa. Encadear vários fatos espaciais para responder a uma pergunta é uma habilidade diferente, e é aquela que claramente ainda está em desenvolvimento.

Em terceiro lugar, a categoria importa muito. Os modelos se saem relativamente bem em categorias como Turismo, onde os mapas tendem a incluir texto rotulado mais convencional (nomes de pontos de interesse, placas de rua) que os modelos podem utilizar. Eles se saem pior em Topografia e Sensoriamento Remoto, onde a informação é codificada em símbolos densos e não padrão, curvas de nível e gradientes de cor contínuos, em vez de texto rotulado discreto. Isso está em linha com a tese geral do artigo: quanto mais difícil for descrever um mapa em palavras, mais difícil ele será para os modelos atuais.

Há também um experimento de controle que vale a pena mencionar. Os autores executaram uma linha de base "sem imagem": fornecer ao modelo apenas a pergunta e as opções de resposta, sem imagem e sem descrição alguma, para ver se o benchmark poderia ser manipulado puramente por viés nas opções de resposta ou por conhecimento geral do mundo. A precisão média entre três modelos testados caiu de 58,87% com acesso normal para 23,35% cego. Isso está próximo do que se esperaria de algo entre o chute aleatório e um leve viés em direção a respostas que soam plausíveis, o que é uma boa notícia: significa que o benchmark não é secretamente solucionável por um modelo que apenas seja bom em escolher a opção de múltipla escolha que soa menos estranha.

Por que isso importa para quem está construindo ou escolhendo um pipeline de OCR

Se o seu produto lida com documentos que são fundamentalmente espaciais em vez de textuais — plantas baixas, mapas de transporte, diagramas de locais, rotas de evacuação, sobreposições de SIG — este artigo funciona como um aviso. Um pipeline que funcione executando OCR ou uma passagem de "descreva esta imagem" e, em seguida, passando o texto resultante para um LLM falhará silenciosamente exatamente nesta classe de documentos, porque a informação que importa (o que está perto do que, qual caminho se conecta a qual sala, qual região está sombreada em qual cor) não sobrevive ao processo de ser achatada em uma legenda. Os números de benchmark no estilo DocVQA que os fornecedores de OCR e IA de documentos gostam de publicar não dizem nada sobre como seu sistema lida com esta categoria, porque esses benchmarks, pela própria medição deste artigo, são em grande parte solucionáveis através de atalhos textuais.

A abordagem prática é testar tendo em mente o modo de falha real, em vez de confiar em uma pontuação agregada de precisão. Pergunte se um mecanismo pode traçar uma rota através de uma planta baixa e relatar o que está ao longo dela, e não se ele pode transcrever texto dentro de uma caixa delimitadora. Se você está avaliando fornecedores de OCR ou IA de documentos para qualquer coisa envolvendo mapas, plantas técnicas, esquemas técnicos ou diagramas, não leve a frase "nós lidamos com documentos visuais" ao pé da letra: peça a precisão especificamente em perguntas de múltiplas etapas e com base espacial, porque esse é exatamente o ponto em que os pipelines de OCR de uso geral e até mesmo LVLMs robustos atualmente têm dificuldade. No momento, mesmo o melhor modelo do mundo atinge no máximo três quartos de precisão nisso. Se o seu caso de uso depende de acertar esse último quarto, planeje uma revisão humana ou uma abordagem mais estreita e construída para o propósito, em vez de assumir que um modelo de visão-linguística genérico o levará lá prontamente.

Onde este benchmark é mais frágil do que parece

Algumas ressalvas merecem atenção antes de tratar o OmniMapBench como verdade absoluta. Com 2.096 pares de perguntas e respostas, ele é pequeno em comparação aos mais de 50.000 casos do DocVQA ou às dezenas de milhares presentes em alguns benchmarks de gráficos, e a distribuição das categorias é desequilibrada: Navegação Interna, Educação & História e Engenharia & Infraestruturas juntos representam mais da metade das imagens, enquanto mapas de jogos somam menos de 40 imagens no total. Um benchmark tão fino em suas menores categorias pode ser ruidoso ao nível da categoria, mesmo que os números agregados sejam sólidos.

A própria métrica VDI também depende de um único modelo de referência (GPT-4.1) para gerar as descrições usadas na comparação apenas textual. Os autores realizaram uma ablação substituindo o modelo de referência e observaram tendências consistentes, o que ajuda, mas a métrica ainda está fundamentalmente perguntando "o quão bom é este modelo específico em descrever este benchmark em palavras", e não alguma propriedade independente do modelo das próprias imagens. Além disso, o benchmark cobre apenas inglês e chinês (61% e 39% das perguntas, respectivamente), portanto, não diz nada sobre como esses resultados poderiam mudar para mapas anotados em outros idiomas ou scripts.

Nada disso invalida a descoberta central. Mesmo com um conjunto de dados menor e uma métrica imperfeita, a lacuna entre o VDI do OmniMapBench e tudo o mais testado é grande o suficiente para ser convincente, e um teto de 75% do melhor modelo do mundo é um resultado real, não um erro de arredondamento. A contribuição real do artigo é menos "aqui está o benchmark definitivo de mapas" e mais "aqui está um método para determinar se seu benchmark está testando visão ou testando compreensão de leitura disfarçada". Essa é uma ferramenta valiosa e que estava atrasada, considerando quantos rankings de "raciocínio visual" estão atualmente, provavelmente sem saber, medindo algo mais próximo do segundo caso.