Treinar um modelo de visão de 500M para navegação mais que dobrou sua pontuação no OCR-Bench

Um modelo compacto de visão e linguagem treinado para assistência à navegação pode melhorar sua pontuação no OCR-Bench sem passar por uma etapa de treinamento dedicada a OCR. Esse é um dos resultados mais surpreendentes de Small yet Assistive: Spatially-Aware Post-Training for Low Vision, artigo de pesquisadores do IIT Mandi e da Mohamed bin Zayed University of Artificial Intelligence.

Publicado em 23 de setembro de 2026, o artigo descreve o trabalho liderado por Rishabh Choudhary e seus coautores para construir um narrador visual on-device para pessoas com cegueira e baixa visão (BLV). Eles utilizaram o SmolVLM2-500M, um modelo compacto com 507,5 milhões de parâmetros, e o submeteram a um pipeline de pós-treinamento voltado para grounding espacial, linguagem direcional, distâncias métricas e detecção de perigos.

Ao avaliarem o modelo finalizado em benchmarks padrão de visão e linguagem, o resultado foi impressionante. No OCR-Bench, a pontuação ANLS do modelo saltou de 32,54% para 65,54% — uma melhoria relativa de 101,5%. No TextVQA, a acurácia subiu de 37,75% para 54,47%, um ganho de 44,2%.

O artigo interpreta esses resultados como evidência de que o pós-treinamento espacial voltado para BLV pode se transferir para o raciocínio visual-textual geral. Esse avanço partiu do treinamento com descrições de vídeo espacialmente ancoradas, e não de uma etapa dedicada de reconhecimento de documentos.

O problema do corredor educado

Se você pedir a um modelo atual de visão e linguagem para descrever um cômodo, ele provavelmente gerará uma legenda genérica: "Um corredor com algumas portas e pessoas."

Isso pode ser suficiente para benchmarks de legendagem de imagens, mas o artigo argumenta que é inadequado para a navegação física. As diretrizes profissionais de audiodescrição, estabelecidas pela ITC e adotadas pela Netflix e pelo American Council of the Blind, prescrevem uma narração objetiva, no tempo presente, espacialmente ancorada e com prioridade absoluta para alertas de perigo.

Um narrador em conformidade com as diretrizes de audiodescrição diria: "Um corredor se estende por aproximadamente oito metros à frente. Uma porta parcialmente aberta está à sua esquerda, a três metros de distância. Uma pessoa caminha em sua direção a partir do final do corredor."

VLMs de grande porte conseguem gerar narrações de alta qualidade em conformidade com a audiodescrição, mas o artigo destaca que eles não conseguem rodar em dispositivos móveis. Já os VLMs pequenos oferecem uma latência competitiva, mas frequentemente carecem do detalhamento espacial, das pistas direcionais e da percepção de perigos necessárias para auxiliar a navegação de pessoas com BLV.

Os pesquisadores escolheram o SmolVLM2-500M-Video-Instruct como base. A arquitetura base é composta por três partes:

• Uma torre vision transformer SigLIP com aproximadamente 86,4 milhões de parâmetros, processando entradas de 384×384 pixels.
• Um conector de projeção linear com LayerNorm e aproximadamente 11,8 milhões de parâmetros, mapeando características visuais em tokens do modelo de linguagem.
• Um decodificador de linguagem SmolLM2 com arquitetura LLaMA, contendo aproximadamente 409,3 milhões de parâmetros, 32 blocos e uma janela de contexto de 8.192 tokens.

A contagem total de parâmetros é de aproximadamente 507,5 milhões. O artigo utiliza "500M" como a designação de classe do modelo, e não como um total literal de parâmetros. O objetivo era obter um modelo compacto capaz de produzir descrições espacialmente ancoradas para BLV e que, ao mesmo tempo, fosse viável para inferência on-device.

A linha de montagem do pós-treinamento

Os autores construíram um pipeline de quatro etapas combinando supervisão sintética de modelo professor (teacher), fine-tuning supervisionado em fases, aprendizado por reforço baseado em regras e um patch de recuperação.

[4 Video Keyframes (LUV Delta)] + [BLV Prompt]
                     │
                     ▼
         ┌───────────────────────┐
         │ Phase 1: SigLIP Only  │  (First 25% of training steps)
         └───────────┬───────────┘
                     ▼
         ┌───────────────────────┐
         │ Phase 2: LoRA Unfreeze│  (All LoRA adapters; Vision LR halved)
         └───────────┬───────────┘
                     ▼
         ┌───────────────────────┐
         │   GRPO Reinforcement  │  (6 rule rewards: distance, hazards, no hedging)
         └───────────┬───────────┘
                     ▼
         ┌───────────────────────┐
         │   SFT Recovery Patch  │  (50 curated samples)
         └───────────┬───────────┘
                     ▼
         [Fold 3 LoRAs into Base Weights] -> Single 969 MB FP16 Checkpoint

Etapa 1: Keyframes sem inferência extra de modelo

Para criar as entradas de treinamento, a equipe extraiu quatro keyframes por vídeo utilizando a diferença perceptual no espaço de cores LUV. Primeiro, eles subamostraram cada vídeo para no máximo 64 quadros igualmente espaçados, calcularam a diferença média absoluta entre os quadros e selecionaram os três quadros de maior diferença juntamente com o primeiro quadro.

Isso capturou transições de cena e eventos significativos de movimento sem exigir uma etapa adicional de inferência de modelo. O artigo contrasta o método LUV de baixo custo computacional com o DINOv2, apontando que este acrescentaria cerca de 86 milhões de parâmetros e um overhead de 50 a 100 milissegundos.

Etapa 2: Destilando o Gemma 4 com SFT de fases alternadas

Para gerar dados sintéticos de treinamento, a equipe utilizou o Gemma-4-31B-IT como professor. Seu system prompt incorporava as diretrizes profissionais de audiodescrição: tempo presente, conteúdo crítico de segurança em primeiro lugar, posições espaciais explícitas com distâncias, apenas características observáveis, tipo de ambiente identificado na primeira frase, sinalização de perigos e obstáculos, voz ativa e um limite máximo de quatro frases.

O modelo professor gerou legendas para 9.646 vídeos: 7.985 do Charades e 1.661 do AVCaps.

A alternância de fases mitiga um risco de treinamento que os autores identificam como overfitting precoce a características desalinhadas. Eles implementaram uma única execução de treinamento dividida em duas fases:

1. Alinhamento Visual, primeiros 25% dos passos: Apenas o codificador SigLIP e o conector multimodal eram treináveis. Os adaptadores LoRA permaneceram congelados para que as representações visuais pudessem primeiro se alinhar com a distribuição da audiodescrição.

2. Adaptação Completa, 75% restantes: Todos os adaptadores LoRA foram descongelados, e a taxa de aprendizado do codificador visual foi reduzida pela metade, para 5×10⁻⁶. Um DifferentialLRTrainer personalizado gerenciou os grupos de parâmetros separados no AdamW.

Os tokens de prompt — incluindo instruções de sistema, texto do usuário e tokens de imagem — foram mascarados com -100, de modo que a perda do modelo causal de linguagem foi calculada exclusivamente sobre os tokens de resposta do assistente.

Etapa 3: GRPO com recompensa determinística

O fine-tuning supervisionado ensina ao modelo a estrutura da audiodescrição. Em seguida, a equipe utilizou o Group Relative Policy Optimization (GRPO) para otimizar o comportamento específico voltado para BLV.

Para cada prompt, o GRPO gerou quatro conclusões (completions) e normalizou suas recompensas dentro do grupo. Em vez de usar um modelo de recompensa aprendido, os autores criaram seis componentes determinísticos baseados em regras que podiam ser calculados em menos de um milissegundo por amostra:

• Atenção ou percepção de perigos: +0,40 quando tanto a referência quanto a geração contêm o item de alerta; -0,30 quando a referência o contém, mas a geração o omite; -0,10 quando a geração o introduz sem respaldo na referência.
• Grounding direcional: +0,08 para cada palavra de {left, right, center, ahead, behind}, limitado a +0,24.
• Distância métrica: +0,20 para pelo menos uma distância métrica correspondente.
• Economia estrutural: +0,16 para duas a quatro frases; -0,10 para mais de seis frases.
• Penalidade por hesitação (hedging): -0,20 para expressões como "appears to be" ou "I cannot."
• Identificação do ambiente: +0,10 quando a primeira frase nomeia o tipo de cena utilizando um dos quatorze termos de ambiente catalogados.

Em conjunto, essas regras definem a recompensa específica para BLV proposta no artigo.

Etapa 4: O patch de recuperação

O artigo observa que o pós-treinamento em múltiplos estágios pode induzir o esquecimento catastrófico. Para restaurar a qualidade descritiva geral mantendo o grounding espacial voltado para BLV, os autores aplicaram um patch leve de SFT: três épocas sobre 50 legendas selecionadas do Gemma, utilizando o checkpoint do GRPO como base e um novo adaptador LoRA com rank 64, alpha 128, taxa de aprendizado de 5×10⁻⁵, batch size de 2 e gradient clipping em 1,0.

No momento da inferência, os adaptadores do SFTv2, do GRPO e do patch de SFT foram mesclados sequencialmente aos pesos base, resultando em um modelo unificado sem nenhum overhead adicional de inferência.

As métricas relatadas evidenciam um trade-off, em vez de um ganho irrestrito em todas as frentes. Na Tabela 8, o MCF Ambience é de 3,44 na condição GRPO e cai para 2,94 na condição final com o patch. Na Tabela 7, a cobertura de ações (Action coverage) cai de 88% para 62%. Ao mesmo tempo, a condição com patch atinge a pontuação máxima em sete de oito subdimensões avaliadas por LLM-judge e obtém os resultados mais expressivos em diversas métricas de palavras-chave e PLN.

Como o pós-treinamento de navegação mais que dobrou a pontuação no OCR-Bench

O resultado mais impressionante ocorreu nas capacidades visuais gerais do modelo.

Model	Parameters	OCR-Bench ANLS	TextVQA Accuracy	TextVQA ANLS
SmolVLM2-256M (base)	256M	16.49%	1.08%	3.09%
SmolVLM2-500M (base)	500M	32.54%	37.75%	47.52%
SmolVLM2-2.2B (base)	2.2B	25.44%	27.51%	29.64%
LLaVA-1.5-7B	7B	28.78%	47.79%	62.96%
PaliGemma-3B	3B	69.76%	76.09%	87.36%
Smol-VL-BLV (Ours)	500M	65.54%	54.47%	65.97%
Qwen2.5-VL-3B	3B	88.56%	81.12%	90.39%

A pontuação no OCR-Bench subiu de 32,54% na linha de base do SmolVLM2-500M para 65,54% no Smol-VL-BLV. A acurácia no TextVQA passou de 37,75% para 54,47%.

O modelo ajustado superou a linha de base do SmolVLM2 de 2,2 bilhões de parâmetros em OCR por cerca de 40 pontos percentuais. Ele também superou o LLaVA-1.5-7B tanto no OCR-Bench ANLS quanto na acurácia do TextVQA, embora modelos maiores como o Qwen2.5-VL-3B tenham permanecido à frente no cômputo geral.

Por que treinar com descrições de cenas espacialmente ancoradas ajuda uma rede neural a ler palavras?

A discussão do artigo aponta para o conteúdo dos dados do modelo professor. As descrições geradas pelo Gemma incluíam o estado do ambiente, perigos próximos, pistas direcionais, a posição das pessoas, cores das roupas e movimentos. Os autores argumentam que essa supervisão com forte grounding espacial estimula o modelo pequeno a construir mapas espaciais e estabelece um alinhamento estrutural que refina o parsing de limites geométricos de caracteres e sequências de texto.

Essa é a explicação proposta pelo artigo para essa transferência. Os experimentos relatados comprovam os ganhos em OCR e VQA, mas não isolam um mecanismo específico de atenção nem provam que navegação e OCR dependam invariavelmente das mesmas representações internas.

Analisando os ganhos de navegação

Em um conjunto de avaliação com 458 amostras, os autores mediram a cobertura de palavras-chave de BLV juntamente com métricas padrão de PLN. Os resultados cumulativos revelam contribuições distintas de cada estágio de treinamento, com alguns trade-offs em determinadas dimensões.

Metric	Condition A (Base)	Condition B (SFT)	Condition C (+GRPO)	Condition D (+Patch)	Change A→D
Spatial Coverage	79%	81%	97%	100%	+21
Directional Cues	29%	51%	88%	100%	+71
Distance Mentions	45%	20%	22%	100%	+55
Obstacle Mentions	77%	85%	92%	96%	+19
Moving Hazards	16%	21%	17%	66%	+50
Step Changes	4%	7%	7%	5%	+1
BLEU-4	0.74	1.66	1.97	13.53	+12.79
ROUGE-L	10.74	17.66	17.93	30.49	+19.75

O SFT estabeleceu a estrutura descritiva básica, elevando o ROUGE-L de 10,74 para 17,66 e o BLV Mean de 79% para 86%. Em seguida, o GRPO elevou o BLV Mean para 93%, a cobertura de obstáculos de 85% para 92% e a cobertura direcional de 51% para 88%. No entanto, a cobertura de distâncias permaneceu em 22%, e a de perigos em movimento caiu de 21% para 17%.

O patch produziu as pontuações mais altas de PLN e elevou a cobertura de direção e de distância da condição D para 100%, a de obstáculos para 96% e a de perigos em movimento para 66%. Contudo, ele não melhorou todas as métricas: a cobertura de ações (Action coverage) caiu de 88% após o GRPO para 62%, e o BLV Mean recuou de 93% para 90%.

Em uma avaliação humana separada, vinte avaliadores videntes recrutados via crowd-work analisaram cinco vídeos de demonstração em tempo real. Em uma escala de 0 a 5, o sistema final recebeu pontuações médias de 4,0 para Relevância de Navegação, 3,5 para Acurácia de Alertas/Atenção, 4,5 para Precisão Espacial e Direcional, 4,5 para Concisão de Resposta e 4,0 para Confiabilidade Geral. Essas notas respaldam o propósito assistivo voltado à navegação do modelo, mas não garantem uma navegação independente e segura.

O que a transferência para OCR comprova

Para a pesquisa em modelos multimodais compactos, o artigo oferece três conclusões pontuais:

1. A supervisão espacialmente ancorada pode se transferir para benchmarks visual-textuais. O resultado não indica que essa receita vá aprimorar automaticamente todo pipeline de documentos, recibos ou PDFs. Ele demonstra que, neste modelo e arranjo de testes, o pós-treinamento focado em BLV melhorou o OCR-Bench e o TextVQA concomitantemente com a qualidade da descrição espacial.

2. O GRPO online superou os métodos offline de preferência testados neste cenário. No conjunto balanceado de avaliação, o DPO obteve 3,89 no MCF e o RLAIF-V DPO obteve 3,88, ambos abaixo da pontuação de 4,38 do SFT v2. O GRPO alcançou 4,18 no MCF e 4,20 no NAF. Os autores sustentam que a sua recompensa online foi mais eficiente para reforçar a linguagem direcional, as referências de distância e a identificação de perigos.

3. A destilação professor-aluno consegue transferir o comportamento de descrição voltado à acessibilidade para um modelo compacto. O Gemma-4-31B-IT gerou 9.646 legendas em conformidade com as normas de audiodescrição, que o aluno de 507,5M de parâmetros utilizou como supervisão sintética. O artigo apresenta isso como prova de que dados robustos produzidos por um modelo professor podem instilar um grounding espacial mais apurado em um VLM de pequeno porte.

A estação de sky train estava muito mal sinalizada — por shankar s. via flickr, BY 2.0.

Compactando para 442 Megabytes

O treinamento do modelo utilizou uma única GPU RTX A6000 de 48 GB. Executar o resultado em um smartphone exigiu um processo próprio de conversão e quantização.

Os autores fundiram seus três adaptadores LoRA treinados nos pesos base, produzindo um checkpoint HuggingFace em float16 de 969 MB. A exportação para GGUF separou o modelo em dois componentes de implantação:

• O backbone do modelo de linguagem: 783 MB em float16.
• O projetor visual, mmproj.gguf: 191 MB em float16.

A quantização padrão Q4_K_M reduziu o modelo de linguagem para 290 MB, mas o artigo relata que a compressão uniforme de 4 bits degradou o raciocínio posicional. Por esse motivo, os autores adotaram a quantização não linear ponderada por importância IQ4_NL.

Primeiro, executaram o llama-imatrix em um conjunto de calibração de aproximadamente 500 legendas de BLV. O procedimento registrou quais canais de pesos eram ativados com maior frequência e gerou uma matriz de importância para a distribuição não uniforme de bits.

┌────────────────────────────────────────────────────────┐
│               Deployed Package (442 MB)                │
├────────────────────────────┬───────────────────────────┤
│ LM Backbone (251 MB)       │ Vision Projector (191 MB) │
│ - Self-Attention: Q5_K     │ - Native Float16          │
│ - Other Layers: IQ4_NL     │ - Unquantized             │
│ - Importance-Matrix Tuned  │                           │
└────────────────────────────┴───────────────────────────┘

Em segundo lugar, aplicaram uma sobreposição de precisão mista (mixed-precision override): as projeções de autoatenção (q_proj, k_proj e v_proj) foram quantizadas com a precisão mais alta Q5_K, enquanto a maior parte restante da rede operou em IQ4_NL. Os autores apontam esses mecanismos de atenção como cruciais para preservar a coerência direcional.

O apêndice registra que essa sobreposição custa cerca de 15 MB e resulta em um backbone de linguagem de 251 MB. Somado ao projetor visual de 191 MB em float16, o pacote on-device completo totaliza 442 MB.

A dura realidade da latência on-device

Os autores implantaram o pacote de 442 MB em um Samsung Galaxy A55 com processador Exynos 1480 e 8 GB de RAM. Eles compilaram o llama.cpp nativamente por meio do Termux e executaram a configuração final com quatro threads de CPU.

No benchmark final com 21 quadros, o modelo foi carregado na memória RAM em uma média de 291 milissegundos, atingiu um pico de aproximadamente 780 MB de RAM e não apresentou travamentos nem erros de falta de memória (OOM). A velocidade média de geração foi de 39,3 tokens por segundo, com a geração em si levando cerca de 1,4 segundo.

A notícia desfavorável foi o tempo total transcorrido desde a entrada visual até a conclusão da descrição: 27,1 segundos.

A maior parte desse intervalo foi consumida pela avaliação de prompt (prompt evaluation). O processamento da entrada visual e dos tokens de prompt na CPU do A55 demandou uma média de 25,1 segundos antes do início da geração.

Platform	Hardware Backend	TTFT (Prompt Eval)	Generation Speed	Total Latency
Cloud	Nvidia T4 GPU	1.39 s	187.42 tok/s	1.70 s
MacBook	Apple Silicon (Metal)	1.95 s	132.6 tok/s	2.41 s
Samsung A55	Exynos 1480 (CPU Only)	25.10 s	42.9 tok/s	27.10 s

O artigo cita 39,3 tokens por segundo como a média no seu benchmark final de 21 quadros e 42,9 tokens por segundo no comparativo entre diferentes hardwares; portanto, esses números dizem respeito a sínteses de benchmarks distintas. Em ambos os casos, a latência do A55 é amplamente dominada pela avaliação de prompt executada apenas na CPU.

O mesmo modelo quantizado concluiu o fluxo multimodal completo em 2,41 segundos em um Mac Apple Silicon com Metal e em 1,70 segundo em uma GPU T4 em nuvem. Os autores atribuem a lentidão no A55 à indisponibilidade de suporte para aceleração por hardware, e não à velocidade intrínseca de geração do modelo.

O trabalho investigou diversas alternativas de aceleração:

• Android NNAPI: O build do llama.cpp para Android não expõe um provedor de execução NNAPI. Sua rota de GPU tem como foco OpenCL e Vulkan, enquanto o driver NNAPI do Exynos da Samsung frequentemente recorre à GPU para operações sem suporte.
• ONNX Runtime Mobile: O Hugging Face Optimum não conseguiu exportar o SmolVLM2; o exportador disparou KeyError: 'smolvlm2' porque o codificador SigLIP do modelo e a injeção de tokens visuais no meio da sequência não estavam cadastrados para exportação.
• MLC-LLM: A trilha de aceleração testada suporta modelos LLaMA, Mistral e Qwen com foco em hardware Snapdragon. O SmolVLM2 não fazia parte da lista, fazendo com que o chip Exynos recorresse à CPU.
• Vulkan e OpenCL: Os cabeçalhos do Vulkan estavam presentes, mas o carregador ICD Mali da fabricante não estava. O driver proprietário correspondente de OpenCL também se mostrou inacessível via Termux.
• Samsung ONE SDK: A programação direta da NPU do Exynos demandava assinatura de termo de confidencialidade (NDA) e modelos no formato .nnc convertidos a partir de TFLite ou ONNX. O acesso não foi concedido ao longo do projeto.

O aparelho dispõe de uma NPU dedicada, mas a instalação testada via Termux não pôde utilizá-la. O resultado é um modelo que cabe confortavelmente na memória do dispositivo, mas que depende de núcleos comuns de CPU para processar o oneroso prefixo visual.

Os pontos cegos: o que ainda falha

Os autores expõem com franqueza as limitações do modelo. Para quem desenvolve sistemas de acessibilidade ou soluções para tarefas espaciais críticas, compreender essas lacunas é indispensável:

• Mudanças de nível continuam raras: A condição D alcançou 100% de cobertura para direções, mas apenas 5% para mudanças de nível (degraus, desníveis). Os autores atribuem esse comportamento sobretudo à escassez de escadas, meios-fios, alterações de cota e situações semelhantes nos conjuntos de dados de origem.
• Perigos em movimento continuam incompletos: A cobertura de termos referentes a perigos móveis atingiu 66% na condição final, deixando ampla margem para aprimoramento.
• Estimativas sintéticas de distância: Indicações como "três metros à frente" constituem julgamentos visuais aproximados produzidos pelo modelo professor, não medições aferidas por sensores.
• Cobertura limitada de ambientes: O conjunto de dados inclui alguns cenários internos e externos, mas os autores identificam vias públicas, locais com multidões e outros ambientes complexos de navegação como frentes necessárias para trabalhos futuros.
• Baixa visão versus cegueira total: A pesquisa foca prioritariamente em usuários com baixa visão. Os autores ressaltam que o sistema ainda não atende ao patamar de confiabilidade indispensável para a navegação autônoma e segura de pessoas com cegueira total.
• Avaliação humana restrita a videntes: O teste humano relatado recorreu a vinte avaliadores videntes recrutados via crowd-work. Os autores indicam que a condução de testes diretamente com usuários com BLV é o próximo passo essencial.

Olhando para o futuro

O Smol-VL-BLV comprova que um VLM compacto pode se especializar na narração de cenas orientada à navegação e com forte ancoragem espacial, preservando a capacidade de operar offline em um smartphone.

Ao associar supervisão gerada por modelo professor a aprendizado por reforço determinístico, Choudhary e seus colaboradores aumentaram o grounding espacial focado em BLV e o rendimento geral em benchmarks visual-textuais dentro de um modelo de 507,5 milhões de parâmetros.

Para os estudos de OCR, o dado mais relevante é uma transferência empírica nítida: o ANLS no OCR-Bench melhorou 101,5% em comparação à linha de base do SmolVLM2-500M, acompanhado por um salto de 44,2% na acurácia do TextVQA. A hipótese dos autores é de que descrições espacialmente ricas estimulam mapas espaciais superiores e refinam o parsing geométrico; no entanto, o artigo trata isso como um resultado e uma hipótese de trabalho, não como um princípio geral definitivo sobre OCR.

Os autores planejam coletar mais registros contendo escadas, meios-fios, aclives/declives e perigos móveis; criar uma recompensa dedicada à detecção de desníveis; avaliar faixas de pedestres congestionadas e cruzamentos intensos; formular métricas de exatidão espacial amparadas em geometria; e integrar rotinas de checagem de factualidade contra indicações direcionais erradas, avisos falsos de perigo e distâncias fictícias.