Um Patch é Suficiente: Como um Modelo de 2B Parâmetros Supera o GPT-5.4 na Leitura de Placas de Rua

Aponte o Claude Sonnet 4.6 para uma foto de uma fachada de loja bagunçada e peça que ele transcreva todos os letreiros, com limites exatos ao redor de cada palavra. Ele obtém 14,1% de precisão ponta a ponta no benchmark padrão Total-Text. O GPT-5.4 faz um pouco melhor, com 17,2%. O Gemini 3.1 Flash chega aos altos 50%. Estes são três dos modelos de propósito geral mais capazes que existem atualmente, e em uma tarefa que soa quase trivial (ler o letreiro, dizer onde está) eles são amplamente superados por um modelo com 2 bilhões de parâmetros que a maioria das pessoas nunca ouviu falar.

Esse modelo vem de um novo artigo da South China University of Technology chamado "One Patch Is Enough". O nome é toda a proposta: em vez de fazer um modelo reunir um punhado de patches de imagem para representar cada palavra que lê, dê exatamente um. O artigo é uma boa desculpa para falar sobre por que ler texto em fotos é um problema genuinamente diferente de ler uma página escaneada, e por que aplicar um modelo de linguagem maior e mais inteligente não corrige a lacuna.

Restauração do letreiro da CVS Pharmacy — por pixeljones via flickr, BY-SA 2.0.

Por que ler uma placa de rua é mais difícil do que ler uma página

"Scene text spotting" é a tarefa de encontrar e transcrever texto que ocorre naturalmente em uma foto: fachadas de lojas, rótulos de produtos, placas de trânsito, grafites, o adesivo em um extintor de incêndio. É diferente do OCR de documentos de uma maneira importante. Uma página digitalizada é plana, de alto contraste e organizada em linhas ordenadas. Uma foto de uma placa de restaurante é pequena, tem baixo contraste em alguns lugares, envolve um logotipo, está apertada contra outras três placas e muitas vezes é tirada de um ângulo.

O modelo precisa fazer duas coisas ao mesmo tempo e alinhá-las exatamente: descobrir onde cada pedaço de texto está localizado (detecção) e descobrir o que ele diz (reconhecimento). Errar a fronteira em alguns pixels e você cortou uma letra. Acertar a fronteira, mas atribuí-la à palavra errada, e toda a previsão é inútil, mesmo que as letras estejam corretas.

Modelos de linguagem multimodais grandes (MLLMs, a família de modelos GPT-4V e Gemini que podem olhar imagens e falar sobre elas) abordam isso dividindo uma imagem em uma grade de pequenos tiles, chamados patches, e tratando cada patch como um token, o mesmo tipo de unidade que o modelo usa para palavras. Para apontar para algo na imagem, o modelo pode ou gerar coordenadas brutas como texto, ou apontar diretamente para um desses tokens de patch. Apontar para um patch é mais confiável, porque vincula a resposta do modelo a algo que ele realmente observou, em vez de fazer o modelo adivinhar quatro números do nada.

A abordagem antiga: lançar vários patches em cada palavra

Uma vez que você está apontando para patches em vez de digitar coordenadas, um próximo passo razoável é fazer o modelo selecionar vários patches por palavra, na teoria de que mais evidências significam uma resposta mais confiante. É isso que os métodos anteriores faziam, e o artigo SPaTS argumenta que isso tem efeito contrário especificamente para texto.

A Figura 1 deles mostra o porquê com uma placa real lendo algo como "MANOEI-HEATHER, PLEASE, FOREVER." Com múltiplos patches atribuídos por palavra, três tipos de falha aparecem constantemente: um patch cai no fundo irrelevante em vez do texto, vários patches são atribuídos à mesma palavra, então não está claro qual é autoritativo, e patches de palavras vizinhas se misturam em um sinal ambíguo. Texto pequeno, denso e curvo é exatamente a situação onde patches próximos têm mais probabilidade de interferir uns nos outros.

A solução: escolher exatamente um patch e deixar o resto da imagem ajudar com a forma

A ideia central do artigo, Single-Patch Text Spotting (SPaTS), encaminha cada instância de texto por meio de um único patch âncora, em vez de um cluster. Esse patch âncora estabelece a identidade: é nele que a palavra "FOREVER" reside. No entanto, o patch âncora sozinho não carrega informações suficientes para desenhar uma fronteira precisa ao redor de textos curvos ou irregulares, por isso o SPaTS divide a tarefa em duas partes.

Um componente chamado Patch-Enhanced Decoding (PED) pega o único patch âncora selecionado, combina-o com o estado de linguagem do modelo e, em seguida, realiza cross-attention sobre o mapa de características de toda a imagem, não apenas do patch âncora, para regressar a geometria final: uma caixa delimitadora, uma curva de Bézier para textos que contornam um logotipo ou um conjunto de pontos. Pense nisso como uma testemunha identificando um rosto em uma linha de suspeitos e, em seguida, um artista de esboços redesenhando o retrato completo ao olhar para a foto inteira, não apenas para o dedo apontando. Um token diz o que é e aproximadamente onde está; o resto da imagem fornece a forma precisa.

Ensinando um modelo a escolher qual patch selecionar, sem nunca lhe dizer a resposta certa

Aqui está a parte complicada: nenhum conjunto de dados diz "o patch nº 4.281 é o âncora correto para esta palavra". A verdade fundamental (ground truth) fornece uma caixa delimitadora e uma transcrição, não uma classificação de qual patch individual representa melhor essa instância. Escolher o âncora é uma decisão discreta sem um rótulo direto para aprendizado.

Os autores resolvem isso com aprendizado por reforço, em uma estrutura que chamam de Single-Patch Selective Optimization (SPaSO), construída sobre o GRPO (Group Relative Policy Optimization), a mesma receita que a DeepSeek usou para treinar raciocínio matemático em seus modelos. O modelo amostra várias escolhas candidatas de patches, e aquelas que levam a melhores resultados são reforçadas em relação às outras do grupo. Não é necessária uma rede crítica separada.

Duas recompensas fazem o trabalho. A Recompensa de Geração de Patch verifica o resultado final: a seleção deste patch levou a uma transcrição correta com boa sobreposição geométrica em relação à verdade fundamental? A Recompensa de Dominância de Patch é a mais interessante. Como o modelo raramente encontrará a resposta perfeita no início do treinamento, essa recompensa principal é frequentemente zero, o que não dá ao modelo nada para aprender. A recompensa de dominância concede crédito parcial apenas por classificar o patch correto como altamente relevante entre seus candidatos, mesmo quando a previsão final ainda falha. É a diferença entre recompensar apenas o centro do alvo e também recompensar "se aproximar do alvo".

Duas ideias menores fazendo mais trabalho do que seus nomes sugerem

Dois componentes de suporte completam a arquitetura.

O Alinhamento de Incorporação Direcional (DEA) aborda um modo de falha sutil: os patches são representados como vetores, e vetores com grande magnitude podem dominar o processo de seleção, mesmo quando um vetor menor é, na verdade, a correspondência semântica mais adequada. O DEA divide cada vetor de patch em magnitude (quão forte é o sinal) e direção (o que ele realmente representa), e, após um período de aquecimento, bloqueia a magnitude, forçando a seleção a depender do alinhamento direcional em vez de qual patch acontece de ser o mais "forte". Em sua ablação, a remoção do DEA fez com que a seleção fosse dominada por normas de características em vez de relevância semântica.

Remover o PED e decodificar a geometria apenas a partir do estado interno do modelo de linguagem, em vez de reancorar no patch de imagem selecionado, causou o que os autores descrevem como um colapso na precisão. Esse é um resultado negativo útil: mostra que o modelo começará a alucinar localizações de texto com aparência plausível se você não o obrigar a continuar verificando sua resposta contra os pixels reais.

Os números

Os resultados são reportados em três benchmarks: Total-Text (texto curvo e multi-orientado), CTW1500 (também curvo, mais denso) e ICDAR2015 (fotos reais de cenas de rua, geralmente o mais difícil dos três). O SPaTS vem em dois tamanhos, 2B e 4B parâmetros, e é comparado contra três categorias de concorrentes: modelos de ponta de código fechado (Claude Sonnet 4.6, GPT-5.4, Gemini 3.1 Flash, Seed 2.0 Pro), grandes modelos de pesos abertos (Qwen3.5, um modelo mixture-of-experts de 397B; InternVL3.5 com 241B; GLM-4.6V; Kimi K2.5) e MLLMs especializados em OCR (HunyuanOCR, PaddleOCR-VL-1.5, dots.ocr).

No Total-Text, o SPaTS-4B atinge um F-score end-to-end de 64,9% sob a configuração estrita sem dicionário e 74,9% com um léxico para ajudar a desambiguar palavras, contra os 14,1% e 15,9% do Claude Sonnet 4.6. Os modelos de ponta de código fechado simplesmente não são competitivos aqui, independentemente de quão bons sejam em tudo o mais. No CTW1500, a pontuação end-to-end do SPaTS-4B atinge 79,6% sob o protocolo de léxico completo. No ICDAR2015, o artigo afirma claramente que o SPaTS aumenta a precisão end-to-end em aproximadamente 50% em relação ao melhor resultado anterior.

Uma ablação direta merece destaque porque isola a afirmação central do artigo de tudo o mais que acontece na arquitetura: no mesmo backbone, eles compararam saída de coordenadas-texto, grounding multi-patch e grounding single-patch entre si. O single-patch venceu claramente. Isso é uma boa evidência de que o ganho vem da ideia do título, e não apenas de um treinamento maior ou de um backbone melhor.

A etapa de reinforcement learning importa mais do que você poderia esperar. Passar do supervised fine-tuning sozinho para adicionar o SPaSO produziu o que os autores chamam de um salto de 20,7 pontos na F-measure end-to-end no CTW1500 sob a configuração de léxico completo, de 58,9% para 79,6%. O treinamento supervisionado obtém um modelo que transcreve caracteres com precisão; a etapa de RL é o que ensina a ele a realmente escolher bons âncoras.

Por que isso importa para quem está construindo ou escolhendo OCR

O ponto mais útil aqui não é a arquitetura específica, mas sim o que a tabela de comparação diz sobre o estado dos modelos de uso geral. Claude Sonnet 4.6, GPT-5.4 e Gemini 3.1 Flash são excelentes em raciocínio, codificação e manter uma conversa sobre uma imagem. Eles são atualmente ruins em localização de texto denso e precisa, pontuando na casa dos dez e vinte em uma tarefa que um modelo especializado de 2B parâmetros executa com 60 a 80%. Se o seu produto precisa que alguém desenhe uma caixa ajustada ao redor de cada palavra em uma foto de um recibo ou de uma prateleira bagunçada, um modelo de chat geral é a ferramenta errada, não importa o quão novo ou caro ele seja.

O segundo ponto é que a contagem de parâmetros é um sinal fraco para identificar qualidade. Um modelo de 2B superou um modelo mixture-of-experts de 397B e um modelo de 241B nesta tarefa. Se um fornecedor diz que seu OCR é bom porque é "impulsionado por" um modelo de fronteira enorme, essa afirmação diz muito pouco sobre como ele se sairá em um logotipo curvo ou em uma foto desfocada de uma fachada. Peça números de precisão em imagens reais e desordenadas especificamente, não em documentos digitalizados limpos, porque esses são dois problemas diferentes com duas curvas de dificuldade distintas.

O terceiro ponto é realmente um argumento para não apostar em um único mecanismo. O modelo certo para um scan limpo de uma fatura não é necessariamente o modelo certo para um recibo distorcido ou uma foto de uma placa de rua, e este artigo é uma ilustração clara de quão grande pode ser essa lacuna entre modelos que afirmam "ler imagens". Passar um documento por vários mecanismos e escolher o melhor resultado custa menos do que assumir que um modelo gigante lidará bem com todos os casos.

Uma ressalva importante: tudo aqui é texto de cena em script latino, sem caligrafia, sem formulários densos, sem scripts não latinos e sem documentos de papel genuínos. É um resultado forte no problema em que foi testado. Se a mesma ideia de âncora única se sustenta em uma pilha de faturas ou em uma nota manuscrita é uma pergunta diferente que o artigo não responde.

As arestas ásperas que ninguém está disfarçando

Os autores são francos sobre duas limitações reais. Primeiro, a etapa de RL adiciona uma sobrecarga de treinamento significativa e depende de um ajuste cuidadoso da formação de recompensa para manter a estabilidade. Isso não é uma vantagem de eficiência simples em comparação com o treinamento supervisionado; é uma receita mais complicada que troca a simplicidade do treinamento por precisão.

Segundo, o DEA bloqueia a ramificação de magnitude de suas representações de patch após um período de aquecimento, e os autores alertam que isso pode prejudicar a robustez sob mudanças extremas de iluminação, onde a escala bruta dos recursos de um patch pode, na verdade, conter informações úteis que o modelo congelado agora está ignorando. Esse é um modo de falha específico e plausível, não um aviso vago.

Há também a questão prática de que o código está apenas "previsto para lançamento em breve", então, no momento, este é apenas um artigo, não algo que você possa instalar e testar contra seus próprios documentos. Vale a pena acompanhar quando for lançado, especialmente considerando o quanto ele afirma estar à frente tanto dos modelos de chat de ponta quanto dos sistemas de OCR dedicados, mas, por enquanto, os números existem apenas nas tabelas acima.