Encontrado, mas não lido: por que modelos de visão e linguagem ainda se beneficiam de OCR

A ilusão de ótica da busca visual de documentos

Imagine o seguinte cenário: você constrói um pipeline de perguntas e respostas em documentos centrado em um retriever visual como o ColQwen2. Você renderiza páginas de PDF como imagens e recupera as páginas com base na pergunta do usuário. Seu recuperador seleciona as dezesseis melhores imagens de páginas e as entrega diretamente a um modelo de visão e linguagem — um VLM, como o Qwen2.5-VL ou o Qwen3-VL — para leitura e resposta.

A arquitetura parece elegante. Ao fornecer imagens de páginas diretamente a um modelo multimodal, você preserva a apresentação visual do documento sem exigir uma transcrição de OCR na entrada do leitor. A premissa subjacente parece óbvia: encontrar a página certa é a parte difícil; uma vez que a imagem da página está dentro da janela de contexto, ler a resposta deveria ser simples.

Um artigo de pesquisa do Harbin Institute of Technology, intitulado Found but Not Read: When Extracted Text Closes the Retrieval-Reading Gap in Document Vision-Language Models (Xia et al., 2 de outubro de 2026), coloca essa premissa à prova.

Os autores demonstram que, mesmo quando um retriever visual atinge recall quase perfeito — posicionando as páginas que contêm a resposta diretamente diante do modelo —, os VLMs testados ainda deixam de usar uma quantidade substancial de evidências. Eles denominam essa falha de retrieval-reading gap (lacuna entre recuperação e leitura): evidências encontradas pelo sistema de busca, mas não aproveitadas com êxito pelo leitor.

A parte surpreendente é a intervenção. Pegue essas mesmas imagens de páginas, execute OCR em CPU sobre elas e adicione blocos de texto selecionados ao prompt, junto com as imagens. No FoveDoc-Bench, a acurácia estrita da resposta sobe de 13 a 16 pontos percentuais no leitor principal. O modelo visual já dispunha dos pixels. Apresentar seu conteúdo textual separadamente o ajudou a utilizar o que já estava lá.

Encurralando o leitor: O protocolo pareado no FoveDoc-Bench

Em benchmarks de documentos, diagnosticar uma pergunta com falha pode ser desafiador. Se o seu pipeline retorna a resposta errada, foi o mecanismo de busca que recuperou as páginas erradas ou o modelo de linguagem que não conseguiu usar a página certa?

Para isolar o leitor do recuperador, Xia e seus coautores criaram um benchmark chamado FoveDoc-Bench. Ele consiste em 2.346 perguntas extraídas de 1.173 documentos digitais nativos (born-digital), cada um fornecendo um contexto de 16 a 24 páginas. Cada pergunta está vinculada a blocos de origem anotados e a trechos de texto exatos. Os documentos foram mantidos isolados dos pools auxiliares de treinamento e validação de QA do estudo.

Eles dividiram o benchmark em duas tarefas distintas:

1. V-NIAH: A resposta depende de um único bloco de evidência em uma única página.
2. V-MQAR: A resposta exige a combinação de dois blocos de evidência de páginas distintas.

Em seguida, estabeleceram um protocolo com recuperação saturada. Usando o ColQwen2 para recuperar as 16 melhores páginas para cada pergunta, o recall@16 total — a fração de perguntas para as quais todas as páginas de evidência de referência (gold) foram recuperadas — atingiu 1.000 (100%) no V-NIAH e 0.998 (99.8%) no V-MQAR. Ao longo de 2.346 perguntas, o modelo teve todas as páginas de evidência de referência em seu prompt em 2.344 delas. A falha de recuperação foi quase inteiramente eliminada da comparação.

Com a recuperação mantida constante, testaram o mesmo modelo congelado, a versão padrão do Qwen3-VL-2B-Instruct, sob duas condições:

• Braço A (Apenas imagens): O modelo recebeu a pergunta e as 16 imagens de páginas recuperadas.
• Braço B (Imagens + Memória textual): O modelo recebeu a pergunta, as mesmas 16 imagens de páginas e os 16 blocos de texto dessas páginas com maior pontuação léxica em relação à pergunta. Os blocos foram agrupados por página, identificados com o número da página e limitados a 300 caracteres cada.

Como o Braço B não remove nada e acrescenta apenas texto extraído de páginas já presentes, a diferença de acurácia mede o benefício de tornar esse conteúdo acessível separadamente.

As respostas foram avaliadas por um juiz LLM, com a acurácia estrita contabilizando apenas vereditos de correto. As comparações principais e externas utilizaram o GPT-5.4; os controles de localização e recuperação utilizaram o GPT-5.6 Luna. Os juízes concordaram em 98.8% dos vereditos estritos sobre 1.963 predições idênticas. Dois autores também verificaram 200 amostras selecionadas a partir de discordâncias entre os braços de imagem e OCR, concordando com o juiz em 96% dos casos.

O placar: Um salto de 13 a 16 pontos com OCR em CPU

O desempenho de baseline do pipeline baseado apenas em imagens foi surpreendentemente frágil.

Na tarefa de agulha única, V-NIAH, o Qwen3-VL-2B respondeu corretamente em 35.0% das vezes: 410 de 1.173 perguntas, apesar de ter recebido a página com a evidência. A adição de texto extraído pelo RapidOCR, usando modelos PP-OCR em CPU, elevou a acurácia para 50.6%, ou 594 de 1.173. Trata-se de um ganho de +15.7 pontos percentuais (p = 2.8e-24).

O salto relativo foi ainda mais expressivo na tarefa de duas páginas, V-MQAR. O leitor puramente visual obteve 15.3%, ou 180 de 1.173. A adição do texto extraído via CPU quase dobrou seu desempenho, elevando a acurácia para 28.7%, ou 337 de 1.173: um ganho de +13.4 pontos percentuais (p = 3.3e-26).

Quando os autores substituíram o texto de OCR pela camada de texto nativa do PDF — a referência born-digital exata dessas páginas —, a acurácia saltou para 69.1% no V-NIAH (+34.2 pontos em relação apenas às imagens) e 43.2% no V-MQAR (+27.9 pontos).

Considere um exemplo concreto apresentado no artigo. Na página 12 de um contexto de 23 páginas do blog da Cloudflare, um comentário no código afirma que o modelo TLS usa macros de pré-processador M4 para notação.

A pergunta indaga: "What specific type of preprocessor macros does the TLS model use for notation?"

Recebendo apenas as imagens das páginas, o Qwen3-VL-2B respondeu "Mk". Quando o prompt incluiu o bloco do RapidOCR (score 22.7, p12_b5) contendo uses M4 preprocessor macros, o modelo retornou "M4".

Da mesma forma, em uma pergunta de duas páginas sobre comandos de rastreamento do kernel Linux nas páginas 26 e 32, o modelo com apenas imagens respondeu tcp_sendmsg e tcp_write_timer. A adição de texto de OCR produziu o par correto: tcp_sendmsg e mod_timer.

Por que o OCR em CPU reteve cerca de metade do ganho obtido pela camada de texto do PDF — 46% no V-NIAH e 48% no V-MQAR?

Os autores verificaram se o OCR estava simplesmente fornecendo menos texto. Não estava. A camada nativa digital fragmentava-se em cerca de 53 blocos por página com mediana de seis caracteres, ao passo que o agrupamento do OCR gerou cerca de 17 blocos por página com mediana de 23 caracteres. Sob o orçamento fixo de blocos, a memória de OCR continha mais caracteres em 77.1% das amostras, com uma diferença média de +894 caracteres.

O fator limitante foi a fidelidade e a completude da evidência. Medido contra os trechos de referência (gold excerpts), o melhor bloco individual empacotável de OCR recuperou, em média, 76% dos tokens de um trecho. Ele recuperou pelo menos 90% dos tokens em 53% dos itens de evidência em ambas as tarefas. Os autores associam o ganho menor de acurácia do OCR à sua recuperação incompleta da evidência, a despeito do maior volume de texto.

Escala e truques de prompt não fecharam a lacuna

Uma reação natural é suspeitar que isso seja primariamente um sintoma do uso de um modelo compacto de 2 bilhões de parâmetros. Um leitor maior tornaria o texto complementar desnecessário?

Os pesquisadores testaram seis modelos de visão e linguagem off-the-shelf abrangendo três famílias:

• Qwen3-VL (2B, 4B e 8B)
• Qwen2.5-VL (7B)
• LLaVA-OneVision (7B)
• Idefics3 (8B)

Essa comparação utilizou a memória da camada de texto do PDF nas primeiras 400 amostras por tarefa, em vez do OCR em CPU em todo o benchmark. Todos os modelos apresentaram ganhos estatisticamente significativos em ambas as tarefas (p < 1e-13 em todas as doze combinações modelo-tarefa).

No LLaVA-OneVision-7B, a adição de texto melhorou a acurácia em 29.2 pontos no V-MQAR e em 38.5 pontos no V-NIAH. No Idefics3-8B, os ganhos atingiram 42.0 e 61.3 pontos. Esses números exigem uma ressalva: a divisão de imagem (image splitting) foi desativada ou os pixels foram limitados para que esses leitores conseguissem acomodar 16 páginas. Portanto, os autores comparam a direção do benefício entre famílias, em vez de tratar as magnitudes de ganho como diretamente comparáveis.

Dentro da linha Qwen3-VL, em que os três tamanhos foram avaliados sob configurações idênticas, o aumento de escala ajudou, mas não eliminou a lacuna:

• Leitor 2B: ganho de +28.2 pp no V-MQAR / +36.0 pp no V-NIAH
• Leitor 4B: ganho de +25.0 pp no V-MQAR / +30.7 pp no V-NIAH
• Leitor 8B: ganho de +23.0 pp no V-MQAR / +22.5 pp no V-NIAH

Um leitor maior beneficiou-se menos do texto adicional, mas, com 8 bilhões de parâmetros, a vantagem ainda ultrapassou 22 pontos percentuais em ambas as tarefas.

Os pesquisadores também testaram várias mudanças na seleção, na engenharia de prompt e no ajuste fino:

• Com o leitor 4B no V-MQAR, dobrar o orçamento de blocos, usar um seletor de união e alternar para um leitor em modo de raciocínio alteraram a acurácia em, no máximo, +3 pontos percentuais cada.
• A decomposição por autoquestionamento (self-ask) reduziu a acurácia em 4.3 pontos percentuais nessa configuração.
• O fine-tuning com LoRA recuperou 6 pontos no V-MQAR e 5 pontos no V-NIAH para o modelo 2B; o ganho reportado para o 4B com LoRA foi de 0.9 ponto.

As intervenções testadas foram modestas em comparação com a lacuna da camada de texto. Elas não provam que escala ou ajustes nunca resolverão a questão, mas mostram que as alternativas específicas tentadas aqui não a resolveram.

A descoberta diagnóstica: O modelo consegue ler, mas tem dificuldade para localizar

Para entender por que os leitores falham em páginas que já estão em seu poder, os autores realizaram três comparações diagnósticas.

Primeiro, forneceram a transcrição completa de OCR de todas as 16 páginas na ordem de leitura, sem selecionar blocos com base na pergunta. A acurácia melhorou 17.9 pontos no V-MQAR e 22.1 pontos no V-NIAH. Isso superou os ganhos da compilação de 16 blocos sob prompt neutro: 14.1 e 16.5 pontos, respectivamente. A seleção condicionada à pergunta, portanto, não era necessária para se obter um benefício substancial.

Segundo, forneceram esses blocos selecionados como recortes de imagem (image crops), anexados às páginas completas sem texto extraído. Os recortes utilizaram a densidade de pixels original da página do leitor, de modo que a intervenção isolou os blocos sem elevar a resolução deles.

Os recortes recuperaram 87% do ganho da compilação de texto com prompt neutro no V-MQAR (+12.3 pontos) e 92% no V-NIAH (+15.2 pontos).

Terceiro, desenharam caixas vermelhas ao redor dos mesmos blocos nas imagens de página inteira. As caixas não produziram recuperação comparável: +0.5 ponto no V-MQAR e uma queda de 3.0 pontos no V-NIAH.

Em conjunto, as comparações apresentam o seguinte quadro:

Intervention added to the 16-page input    V-MQAR gain    V-NIAH gain
Red boxes around selected blocks            +0.5 pp        -3.0 pp
Selected blocks as image crops             +12.3 pp       +15.2 pp
OCR digest under a neutral prompt          +14.1 pp       +16.5 pp
Full OCR text in reading order             +17.9 pp       +22.1 pp

Esses resultados sustentam a tese de um gargalo de acessibilidade da evidência. O leitor consegue utilizar grande parte da informação quando ela é extraída do entorno da página, mesmo quando essa informação permanece em pixels.

Os experimentos não identificam um componente específico de atenção como a causa. Tampouco provam por que as caixas vermelhas falham. O que eles estabelecem é a diferença comportamental: marcar regiões em uma página completa teve efeito quase nulo, enquanto apresentar essas regiões separadamente recuperou a maior parte do benefício da compilação textual.

Recuperação em nível de página não é recuperação em nível de evidência. Recuperar uma página traz o palheiro à tona; apresentar o texto selecionado ou recortes torna a agulha mais fácil de usar.

Salvaguarda um: A armadilha do fluxograma e a modalidade da evidência

Neste estágio, pode haver a tentação de concluir que toda pergunta sobre documentos deve receber uma transcrição de OCR. O artigo identifica dois limites que tornam essa conclusão ampla demais.

O primeiro envolve a modalidade da evidência: se a resposta depende de texto ou de estruturas gráficas, como tabelas, gráficos e figuras.

Os autores avaliaram o protocolo pareado no MMLongBench-Doc, que reúne 1.091 perguntas em 135 documentos de até 468 páginas. Ao contrário do FoveDoc-Bench, suas evidências são predominantemente gráficas, e a recuperação não é saturada: o recall@16 total é de 84.4%.

Dentre as 838 perguntas respondíveis com evidência anotada, adicionar memória de OCR produziu uma alteração agregada desprezível de +0.4 ponto percentual (+0.004, p = 0.86). Esse resultado aplica-se ao estrato respondível e anotado, e não ao conjunto de 1.091 perguntas, que também inclui itens deliberadamente sem resposta.

Quando os autores isolaram as 414 perguntas com exatamente uma marcação de evidência, um padrão diferente veio à tona:

• Evidência estritamente textual (129 perguntas): Adicionar texto extraído gerou um ganho de +8.5 pontos percentuais.
• Evidência em gráfico ou figura (285 perguntas): Adicionar texto extraído gerou uma variação de −4.6 pontos percentuais.

A diferença entre esses efeitos foi de 13.1 pontos percentuais (p = 0.0024), o contraste de modalidade externa que sobreviveu à correção do artigo para comparações múltiplas.

As categorias sobrepostas de evidência exibiram uma ordem semelhante:

• Plain text: +5.2 pp
• Tables: +1.9 pp
• Layout: +0.9 pp
• Figures: −2.8 pp
• Charts: −4.0 pp

Essas estimativas por categoria descrevem o padrão observado; não constituem, isoladamente, benefícios ou malefícios estabelecidos de forma independente.

Considere a amostra nº 44 do MMLongBench-Doc. A pergunta indaga: "According to the flowchart 'Analytics Value Chain', what comes between Reporting and Action?"

O modelo restrito a imagens respondeu corretamente: "Analysis".

A memória empacotada de OCR da página 13 omitiu Analysis e as setas, preservando fragmentos como Reporting, Value e Action. Com essa memória incluída, o modelo respondeu "Action".

O exemplo ilustra como uma transcrição pode omitir relações e rótulos necessários para a interpretação de um elemento gráfico. Ele não revela o raciocínio interno do modelo, mas o desfecho é inequívoco: o texto adicionado acompanhou uma transição de resposta de correta para incorreta.

Texto linearizado pode perder a estrutura espacial que confere sentido a um diagrama. Nesta avaliação, evidências em texto foram beneficiadas, ao passo que evidências em gráficos e figuras apresentaram efeito médio negativo.

Salvaguarda dois: O texto amplifica a recuperação, mas não a substitui

O segundo limite diz respeito à qualidade da recuperação. Se o seu retriever perder a página com a evidência, até que ponto o texto das páginas restantes pode ajudar?

Para descobrir, os pesquisadores degradaram a recuperação sob condições controladas. Eles removeram as páginas de referência dos 16 melhores resultados e inseriram páginas que o ColQwen2 havia classificado abaixo do top 16, mantendo fixo o volume de páginas.

O subconjunto elegível continha 938 perguntas do V-MQAR e 1.025 perguntas do V-NIAH cujos documentos tinham capacidade de fornecer substitutos em todos os níveis testados.

Retrieved gold pages	V-MQAR gain	V-NIAH gain
100% recall	+12.5 pp	+14.9 pp
50% recall	+6.6 pp	—
0% recall	+3.0 pp	+4.3 pp

À medida que o recall caiu para zero, a vantagem do texto recuou 9.5 pontos no V-MQAR e 10.6 pontos no V-NIAH. Ambas as variações dentro da amostra foram estatisticamente significativas (p < 1e-9). Aproximadamente três quartos da vantagem com recall total dependiam da presença real das páginas de referência.

Parte do ganho residual com recall zero decorreu de vazamento da string de resposta (answer-string leakage). A string de resposta de referência ainda aparecia na memória empacotada proveniente de páginas não-gold em 4.8% das amostras de V-MQAR e em 12.4% das do V-NIAH.

Após a filtragem desses casos por meio de correspondência normalizada de string de resposta, restou uma vantagem de 2.8 pontos em ambas as tarefas. O resíduo oscilou entre 2.5 e 3.1 pontos conforme o comprimento mínimo da resposta variava de quatro a doze caracteres no detector. Logo, o vazamento explicava apenas parte do benefício remanescente.

Para testar se o formato textual em si proporcionava auxílio, os autores substituíram a memória de cada documento por texto de outro documento sob a mesma regra de empacotamento. Nenhum documento recebeu o próprio texto, e os pares de documentos pertenciam a famílias de fontes distintas.

Com recall zero, texto de origem externa não produziu nenhum benefício detectável sobre as imagens isoladas: +0.0 ponto no V-MQAR e −0.9 ponto no V-NIAH. Com recall total, seus efeitos também foram estatisticamente indistinguíveis de zero: +1.9 e −1.7 ponto.

Esses controles dão suporte à interpretação dos autores de que o benefício restante se origina do contexto do próprio documento fora das páginas gold. Adicionar meramente texto na mesma estrutura formal mostrou-se insuficiente.

O texto extraído ajuda primariamente ao viabilizar o acesso à evidência recuperada, somando-se a uma contribuição secundária proveniente do contexto documental correlato. Ele funciona como um amplificador de uma recuperação eficaz, e não como um substituto para a localização da evidência.

Por que isso importa: Lições arquiteturais para IA de documentos em produção

Para equipes dedicadas ao projeto de sistemas de busca documental e perguntas e respostas, o artigo fornece diretrizes práticas de arquitetura. Seus ganhos quantificados vinculam-se a essas tarefas, leitores e parâmetros de entrada; transpor essas lições para outros domínios requer validação nos documentos e consultas pertinentes ao seu sistema.

1. Mantenha o texto extraído no radar para evidências textuais densas

O estudo oferece uma justificativa concreta para testar entradas de imagem com texto complementar, mesmo quando o VLM processa páginas diretamente. No FoveDoc-Bench, OCR em CPU agregou de 13 a 16 pontos com o Qwen3-VL-2B, e a memória da camada de texto de PDF beneficiou todos os seis leitores avaliados.

Esses ganhos não são promessas automáticas para contratos, relatórios financeiros ou outras bases em produção. Eles indicam que a recuperação correta da página e o processamento visual por si sós não asseguram que o leitor extrairá e utilizará a evidência com consistência.

2. Avalie o OCR sobre as páginas recuperadas

O padrão testado oferece um ponto de partida operacional:

• Recupere as imagens de páginas candidatas por meio de um retriever visual.
• Extraia texto dessas páginas; o estudo recorreu ao RapidOCR com modelos PP-OCR em CPU.
• Selecione e empacote os blocos de texto, fornecendo-os no prompt ao lado das imagens originais.

O experimento empregou 16 páginas recuperadas e um orçamento de memória de 16 blocos. O OCR em CPU reteve cerca de metade do ganho obtido pela camada de texto nativa do PDF no comparativo principal.

O artigo não mensura latência em tempo de inferência, custo global de indexação ou economia em escala de produção. Optar por extração on-demand, cache de inferências ou pré-processamento integral de páginas continua sendo uma decisão de engenharia a ser avaliada empiricamente.

3. Faça da modalidade da evidência parte da decisão

Os achados com gráficos e figuras recomendam cautela contra presumir que toda transcrição textual agregará valor. Diante de evidências gráficas, a representação pode precisar preservar estruturas espaciais e relacionais omitidas pelo texto corrido.

Torna-se recomendável avaliar um pipeline sensível à modalidade: aplique texto extraído quando a resposta residir em evidência textual, e avalie representações visuais ou que preservem estrutura espacial quando os vínculos em gráficos forem determinantes.

A pesquisa não prescreve um detector de layout ou modelo de roteamento específico. Sua contribuição é definir a fronteira que tal sistema deve levar em conta, em vez de ditar uma regra absoluta para desconsiderar todo texto proveniente de gráficos.

4. Cuidado com benchmarks agregados

No estrato respondível e anotado do MMLongBench-Doc, o ganho agregado foi de apenas +0.4 ponto percentual. No entanto, a análise por marcação única revelou ganho de 8.5 pontos em texto e queda de 4.6 pontos em gráficos e figuras.

Apresente métricas segmentadas por modalidade de evidência e recall de recuperação. Do contrário, alterações na distribuição das perguntas podem camuflar vantagens, mascarar perdas ou fazer do índice geral de um benchmark uma referência inadequada para a sua carga de trabalho.

5. Meça a recuperação e a leitura separadamente

Aproximadamente três quartos da vantagem do OCR no experimento de recall controlado dependeram da entrega efetiva das páginas gold. Esse fator torna a qualidade de recuperação determinante para definir em que pontos o texto extraído trará ganho.

Calcule o recall@k total isoladamente e, em seguida, confronte as respostas baseadas apenas em imagens versus imagem e texto sobre o mesmo conjunto de páginas recuperadas. A questão não é apenas se o sistema identificou a página certa, mas se o leitor soube utilizar a evidência uma vez colocada à sua disposição.