Modelos Pequenos, Dados Estruturados: VLMs Leves Podem Substituir APIs em Nuvem na Extração de Documentos Complexos?
Baseado em: From Pixels to Structure: Lightweight Vision-Language Models for Document OCR and Structured JSON Extraction — Uddipan Basu Bir, Vincent Christlein, Andreas Maier, Mathias Zinnen
Entregue uma fatura digital legível a um modelo multimodal e extrair pares chave-valor pode parecer simples. Mas tente entregar a esse mesmo modelo um registro arqueológico histórico alemão escrito em letra cursiva, ou um levantamento arquitetônico que mistura rótulos impressos, anotações manuscritas e caixas de seleção técnicas. Ler as palavras é apenas parte do trabalho.
As abordagens tradicionais combinam múltiplos estágios: binarização de imagens, segmentação de layout, motores externos de Reconhecimento Óptico de Caracteres (OCR) como o Tesseract e modelos downstream de Extração de Informações-Chave (KIE) como o LayoutLM. Grandes Modelos de Visão e Linguagem (VLMs) comerciais oferecem outro caminho, mas trazem suas próprias restrições de implantação.
Para instituições do setor GLAM (Galerias, Bibliotecas, Arquivos e Museus), APIs em nuvem podem representar barreiras substanciais. O envio de registros de arquivo a provedores comerciais levanta preocupações sobre autonomia de dados, gera custos recorrentes e suscita dúvidas sobre a pegada ambiental da computação em larga escala. Essas preocupações motivam alternativas locais; elas não são medições de custo ou energia realizadas neste estudo.
Uma equipe de pesquisa da Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) abordou esse gargalo em seu artigo, From Pixels to Structure: Lightweight Vision-Language Models for Document OCR and Structured JSON Extraction (Uddipan Basu Bir, Vincent Christlein, Andreas Maier e Mathias Zinnen, 8 de outubro de 2026, arXiv:2610.11818). Os autores fizeram uma pergunta direta de engenharia: VLMs leves com 7 bilhões de parâmetros ou menos conseguem transcrever documentos históricos e gerar JSON orientado por esquema adequado para processamento controlado por instituições?
Os pesquisadores avaliaram oito modelos em três coleções de arquivo alemãs especializadas. No processo, descobriram percepções práticas que complicam as recomendações convencionais de processamento de documentos, especialmente no que diz respeito a demonstrações em prompts, filtros clássicos de imagem e ao treinamento de um único checkpoint em múltiplas coleções.
Três Coleções, Três Pesadelos: Letra Cursiva, Fichas de Catálogo e Escadarias Aninhadas
Avaliar a extração estruturada de documentos exige testar os modelos diante de desafios arquivísticos realistas. Os autores reuniram um benchmark de 1,062 documentos distribuídos em três coleções distintas, utilizando divisões aproximadas de 70% para treino, 15% para validação e 15% para teste:
+------------------------+-------+-------+-----+------+-------------------+--------------------------------+
| Dataset | Total | Train | Val | Test | Text Type | Schema Complexity |
+------------------------+-------+-------+-----+------+-------------------+--------------------------------+
| Erlangen-Prehistoric | 308 | 216 | 46 | 46 | Handwritten | Medium (8 top-level fields) |
| Pforzheim Jewelry | 590 | 413 | 88 | 89 | Mostly printed | Medium (17 flat fields) |
| Regensburg Scalalogy | 164 | 114 | 25 | 25 | Mixed (print/pen) | High (deeply nested, booleans) |
| Total | 1,062 | 743 | 159 | 160 | — | — |
+------------------------+-------+-------+-----+------+-------------------+--------------------------------+
Cada coleção representa um obstáculo estrutural distinto:
- Erlangen-Prehistoric Dataset: Originárias do Inventarbuch der Anthropologisch Prähistorischen Sammlung da FAU, essas 308 páginas contêm escrita manuscrita histórica ao lado de cabeçalhos ou rótulos impressos. O esquema JSON alvo ilustrado contém oito campos de nível superior, incluindo um identificador de imagem e as dimensões do artefato (
Maße) aninhadas emL,BeD. Outros campos incluem local de descoberta (Fundort), data do achado (Fundzeit) e notas descritivas (Beschreibungstext). As transcrições de referência (ground-truth) foram geradas com o Gemini e verificadas manualmente antes da publicação no Zenodo. - Pforzheim Jewelry Dataset: Proveniente do projeto de pesquisa KUPFER na HS Pforzheim, esta coleção contém 590 fichas históricas de inventário que descrevem joias adquiridas entre 1879 e 1970. As fichas foram criadas a partir de livros históricos quando os objetos foram transferidos por empréstimo permanente para o Museu de Joalheria de Pforzheim por volta de 1980. Os documentos são majoritariamente impressos, mas exigem a extração em um esquema denso de 17 campos, abrangendo material, peso, preço de compra e valor de seguro (
Vers.-Wert). - Regensburg Scalalogy Dataset: O teste de estresse estrutural. Provenientes do Instituto Friedrich Mielke para Escalalogia (FMIS) na OTH Regensburg, esses 164 formulários de levantamento documentam a arquitetura de escadarias utilizando terminologia especializada. O esquema JSON alvo é profundamente aninhado, apresentando flags booleanas para características estruturais, incluindo categorias de caixa interna e externa (
GEHÄUSE), sentido de rotação (LAUF) e posicionamento do corrimão (HANDLAUF), além de medições em números inteiros e contagem de degraus (STUFEN).
Se um campo do documento estivesse ilegível ou ausente, a tarefa exigia que os campos de texto fossem strings vazias ("") e os campos booleanos fossem false. Cada coleção possuía um esquema alvo fixo; assim, o sucesso dependia tanto de reconhecer o conteúdo extraído quanto de alocá-lo nos campos apropriados.
O Confronto de 8 Modelos e a Divisão no Prompting
Os autores avaliaram oito modelos, descritos no artigo como VLMs open-source, variando de 200M a 7B parâmetros:
- Donut-Base (200M) e Donut-CORD (200M): Modelos encoder-decoder sem OCR (OCR-free).
- Florence-2-Large (0.77B): Um modelo unificado de visão e linguagem.
- PaddleOCR-VL (0.9B): Um modelo de visão e linguagem especializado em OCR.
- Nanonets-OCR-s (4B): Um VLM especializado em OCR.
- Gemma-3-4B (4B): Um VLM instruction-tuned.
- Phi-3.5-Vision (4.2B): Um VLM instruction-tuned.
- Qwen2.5-VL-7B (7B): Um VLM instruction-tuned.
Uma contribuição crucial deste estudo é seu protocolo de avaliação ciente das restrições (constraint-aware). Fazer benchmark de múltiplos VLMs é desafiador porque as interfaces suportadas por eles diferem.
Sob o protocolo do estudo, Donut, Florence-2-Large e PaddleOCR-VL utilizaram prompts fixos no estilo OCR ou tokens específicos da tarefa, como <OCR> ou <s_cord-v2>. Eles não receberam instruções conversacionais arbitrárias nem demonstrações few-shot. Os autores aplicaram um pós-processamento mínimo — removendo wrappers, prefixos de chat, espaços em branco e blocos de código — antes de tentar o parsing de JSON.
Em contrapartida, Gemma-3-4B, Phi-3.5-Vision, Qwen2.5-VL-7B e Nanonets-OCR-s foram avaliados com prompts personalizados em linguagem natural. Na avaliação zero-shot, esses prompts incluíam o esqueleto do JSON alvo e solicitavam uma saída que seguisse esse esquema.
Essa distinção é importante na interpretação dos resultados: o benchmark mede o desempenho de OCR-para-JSON por meio das interfaces utilizadas no estudo, em vez de fornecer a todos os modelos um prompt idêntico contendo o esquema.
Por que as Métricas Padrão de OCR Podem Ignorar Falhas em JSON Estruturado
Avaliar IA para documentos estruturados exige medir tanto a fidelidade da saída quanto a confiabilidade estrutural. Um texto reconhecível ainda pode ser inutilizável para ingestão direta se o modelo retornar um JSON malformado ou atribuir valores aos campos errados.
Os autores acompanharam três métricas complementares:
- Character Error Rate (CER): Mede erros de edição no nível de caracteres em relação à string JSON canônica de referência (ground-truth), normalizada pelo comprimento da referência; quanto menor, melhor. As predições analisadas com sucesso são serializadas no mesmo formato canônico antes da comparação. Se o parsing falhar, a saída bruta é comparada contra a referência canônica. Isso mede a fidelidade do texto JSON, incluindo a estrutura, e não apenas a precisão da transcrição.
- Approximate Normalized Levenshtein Similarity (ANLS*): Uma métrica de similaridade estruturada que utiliza um limiar de $\tau = 0.5$, com similaridades abaixo desse limiar definidas como zero. Se a saída for analisada com sucesso como JSON, ela avalia os objetos aninhados; se o parsing falhar, recorre à similaridade em nível de string contra a string JSON canônica de referência.
- Mean Average Precision F1 (mAP-F1): A métrica do estudo com foco primário em estrutura. Inspirada em protocolos de avaliação de detecção de objetos e no mAPCER da DAN, ela converte predições e ground-truth em chaves-folha com notação de ponto, como
GEHÄUSE.innen.1. Pontuações de sobreposição por campo ($1 - \text{CER}$) são avaliadas em quatro limiares: $\theta \in {0.3, 0.5, 0.7, 0.8}$. Precisão e revocação (recall) são calculadas por macro-média entre os campos para obter uma pontuação F1 em cada limiar, e o mAP-F1 é a média entre os quatro.
Crucialmente, se a saída não puder ser convertida em um dicionário Python por meio de json.loads, o mAP-F1 recebe pontuação de 0.0%. O CER e o ANLS* ainda podem conceder créditos parciais por meio de suas comparações de texto bruto.
Os autores também monitoraram a validade do JSON separadamente. Gemma-3, Phi-3.5-Vision e Qwen2.5-VL mantiveram uma validade de aproximadamente 95%–100% em todos os datasets e configurações, embora as tabelas principais omitam essas taxas. Ter o parsing concluído com sucesso não comprova, por si só, que cada campo ou valor esteja correto.
Enquanto isso, Donut, Florence-2 e PaddleOCR-VL tiveram uma validade de JSON muito inferior. Todos pontuaram 0.0% de mAP-F1 na avaliação zero-shot, mesmo onde o CER ou o ANLS* indicavam que suas saídas retinham parte do conteúdo de referência.
Zero-Shot, Few-Shot e a Armadilha do Prompting In-Context
No cenário zero-shot, os modelos com flexibilidade de prompt lideraram os resultados de extração estruturada. O Qwen2.5-VL-7B alcançou os maiores valores de ANLS* e mAP-F1 em todos os três datasets. No Pforzheim Jewelry, atingiu 2.6% de CER, 96.0% de ANLS* e 96.3% de mAP-F1, embora o Nanonets-OCR-s tenha registrado um CER menor, de 1.9%. Nos registros manuscritos do Erlangen-Prehistoric, o Qwen alcançou 21.4% de CER e 56.2% de mAP-F1.
Todos os valores métricos nas tabelas de resultados abaixo são porcentagens.
+------------------+--------------------------+--------------------------+--------------------------+
| | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| Zero-Shot Model | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+------------------+--------------------------+--------------------------+--------------------------+
| Donut-Base | 93.4 0.0 0.0 | 97.2 0.0 0.0 | 90.1 0.0 0.0 |
| Donut-CORD | 78.8 0.0 0.0 | 91.9 0.0 0.0 | 93.1 0.0 0.0 |
| Florence-2-Large | 45.6 50.4 0.0 | 33.6 66.4 0.0 | 75.6 0.0 0.0 |
| Nanonets-OCR-s | 25.7 49.4 28.5 | 1.9 86.5 86.5 | 39.3 22.8 15.2 |
| PaddleOCR-VL | 69.2 20.1 0.0 | 51.3 57.0 0.0 | 78.1 0.0 0.0 |
| Gemma-3-4B | 33.6 41.8 34.6 | 4.4 92.1 87.4 | 37.6 26.3 22.5 |
| Phi-3.5-Vision | 50.9 28.1 23.4 | 7.3 85.3 67.9 | 28.7 57.1 27.9 |
| Qwen2.5-VL-7B | 21.4 54.0 56.2 | 2.6 96.0 96.3 | 21.3 67.0 33.3 |
+------------------+--------------------------+--------------------------+--------------------------+
Quando os autores testaram aprendizado em contexto (few-shot in-context learning), forneceram demonstrações no formato imagem–JSON amostradas do conjunto de treino: uma para o Pforzheim Jewelry e duas para o Erlangen-Prehistoric e o Regensburg Scalalogy. Apenas os quatro modelos com flexibilidade de prompt participaram.
O resultado foi um alerta valioso: o prompting few-shot não melhorou de forma consistente a extração em documentos complexos.
+------------------+--------------------------+--------------------------+--------------------------+
| Few-Shot Model | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (1-2 Examples) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+------------------+--------------------------+--------------------------+--------------------------+
| Nanonets-OCR-s | 61.9 53.3 44.7 | 1.7 93.1 90.7 | 33.3 44.5 44.9 |
| Gemma-3-4B | 26.8 61.7 53.6 | 2.0 97.3 92.1 | 34.9 33.8 20.2 |
| Phi-3.5-Vision | 59.3 40.7 38.9 | 7.2 85.9 71.1 | 52.7 27.5 23.1 |
| Qwen2.5-VL-7B | 18.9 79.0 74.7 | 0.9 98.9 99.4 | 24.1 55.6 30.7 |
+------------------+--------------------------+--------------------------+--------------------------+
O prompting few-shot beneficiou todos os quatro modelos no Pforzheim Jewelry em todas as métricas reportadas. O CER do Qwen2.5-VL caiu de 2.6% para 0.9%, enquanto o mAP-F1 subiu para 99.4%. Em outros cenários, o panorama foi misto:
- O Nanonets-OCR-s viu seu CER na escrita manuscrita do Erlangen-Prehistoric subir de 25.7% para 61.9%, mesmo com a melhora de ANLS* e mAP-F1.
- O mAP-F1 do Gemma-3-4B no Regensburg Scalalogy caiu de 22.5% para 20.2%, apesar de melhorias no CER e no ANLS*.
- O CER do Phi-3.5-Vision no Scalalogy piorou de 28.7% para 52.7%, acompanhado de quedas nas outras duas métricas.
- Qwen e Gemma melhoraram em todas as três métricas no Erlangen-Prehistoric, enquanto o Nanonets melhorou em todas as três no Scalalogy.
Por que as demonstrações ajudaram em alguns cenários e prejudicaram em outros? Os autores sugerem que prompts mais longos podem aumentar a complexidade da instrução, mas os experimentos não comprovam um mecanismo específico de atenção ou codificação visual. A lição sustentada pelas evidências é mais restrita: exemplos são uma estratégia de adaptação a ser testada, não uma melhoria garantida.
Fine-Tuning Local: QLoRA em uma GPU de 32GB
Os autores também realizaram fine-tuning em cada modelo avaliado.
Para modelos com menos de 1B de parâmetros, eles realizaram fine-tuning de parâmetros completos (full-parameter). Para os modelos maiores, utilizaram Quantized Low-Rank Adaptation (QLoRA), combinando quantização de 4 bits com adaptadores LoRA nas camadas de atenção e MLP, mantendo os pesos-base congelados. A seção de metodologia especifica uma NVIDIA V100 com 32GB de VRAM para essa configuração de QLoRA.
A seleção de checkpoints utilizou o menor CER de validação autorregressivo, e a avaliação de teste utilizou geração autorregressiva. Trata-se de uma geração de imagem para JSON, e não de um único forward pass produzindo a saída de um documento inteiro de uma só vez.
+------------------+--------------------------+--------------------------+--------------------------+
| Fine-Tuning | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| Baseline Results | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+------------------+--------------------------+--------------------------+--------------------------+
| Donut-Base | 16.4 78.0 0.0 | 6.3 93.6 0.0 | 59.5 0.0 0.0 |
| Donut-CORD | 20.6 75.0 0.0 | 6.9 92.9 0.0 | 66.0 0.0 0.0 |
| Florence-2-Large | 10.7 75.5 45.4 | 11.1 89.9 0.0 | 57.4 4.3 0.0 |
| Nanonets-OCR-s | 23.0 82.5 81.2 | 0.5 96.7 87.2 | 20.2 79.9 50.7 |
| PaddleOCR-VL | 13.7 90.1 85.3 | 1.1 98.7 84.7 | 65.1 0.0 0.0 |
| Gemma-3-4B | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Phi-3.5-Vision | 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Qwen2.5-VL-7B | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
+------------------+--------------------------+--------------------------+--------------------------+
O fine-tuning proporcionou ganhos substanciais em relação à avaliação zero-shot para os modelos mais fortes de extração estruturada:
- O Qwen2.5-VL-7B atingiu 5.8% de CER e 90.0% de mAP-F1 nos registros manuscritos do Erlangen-Prehistoric.
- O Phi-3.5-Vision liderou os resultados de baseline do fine-tuning no Regensburg Scalalogy, alcançando 6.3% de CER, 90.1% de ANLS* e 72.0% de mAP-F1, subindo dos 27.9% de mAP-F1 obtidos na avaliação zero-shot.
- O Gemma-3-4B alcançou 99.4% de mAP-F1 nos registros de joias e 83.1% nos registros pré-históricos, embora seu mAP-F1 de 46.9% no Scalalogy tenha demonstrado que a extração aninhada permaneceu difícil.
O fine-tuning não resolveu todas as falhas estruturais. Ambas as variantes do Donut continuaram com 0.0% de mAP-F1 nos três datasets. Por outro lado, o PaddleOCR-VL alcançou 85.3% de mAP-F1 no Erlangen-Prehistoric, demonstrando que os modelos especializados em OCR não foram uniformemente malsucedidos.
Com base no desempenho nos cenários zero-shot, few-shot e fine-tuning, somado à geração estável de JSON, os autores selecionaram Gemma-3-4B, Phi-3.5-Vision e Qwen2.5-VL-7B para três estudos secundários.
Testando o Senso Comum em Document AI: Pré-processamento e HPO Não Trazem Vitórias Automáticas
Os autores testaram otimização de hiperparâmetros, pré-processamento de imagem e treinamento em múltiplos estágios contra o baseline de fine-tuning padrão. Cada intervenção foi avaliada de forma independente, de modo que esses resultados não descrevem um pipeline que combine as três.
Estudo 1: Otimização de Hiperparâmetros (HPO)
Utilizando o Optuna com um amostrador Tree-structured Parzen Estimator (TPE), os autores executaram 20 experimentos de 5 épocas cada, otimizando o CER de validação. Eles então usaram os hiperparâmetros selecionados em uma rodada completa de treinamento com o código de baseline de fine-tuning. O artigo não especifica o espaço de busca nem os valores de parâmetros selecionados.
+-------------------------+--------------------------+--------------------------+--------------------------+
| Hyperparameter Tuning | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (Optuna vs Default) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (Default) | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Gemma-3-4B (HPO) | 9.3 88.8 65.4 | 0.4 99.2 99.5 | 3.4 92.3 77.9 |
| Phi-3.5-Vision (Default)| 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Phi-3.5-Vision (HPO) | 17.7 84.0 81.2 | 0.3 99.5 99.7 | 3.2 91.8 73.8 |
| Qwen2.5-VL-7B (Default) | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
| Qwen2.5-VL-7B (HPO) | 4.3 93.4 91.2 | 0.5 99.3 99.5 | 3.1 89.4 67.1 |
+-------------------------+--------------------------+--------------------------+--------------------------+
As descobertas foram impressionantes:
- No Regensburg Scalalogy, o HPO melhorou todas as três métricas para os três modelos. O CER do Gemma-3-4B caiu de 14.6% para 3.4%, enquanto seu mAP-F1 subiu de 46.9% para 77.9%. O CER do Qwen2.5-VL caiu de 7.6% para 3.1%, e o do Phi, de 6.3% para 3.2%.
- No Pforzheim Jewelry, as melhorias absolutas foram comparativamente pequenas porque as pontuações de baseline já eram altas.
- No Erlangen-Prehistoric, o HPO ajudou o Qwen em todas as três métricas. O CER do Gemma melhorou de 10.4% para 9.3%, mas o mAP-F1 caiu de 83.1% para 65.4%. O CER do Phi melhorou ligeiramente, enquanto o ANLS* e o mAP-F1 caíram.
Essa divergência é relevante: selecionar hiperparâmetros pelo CER de validação não garantiu uma melhor extração estruturada no conjunto de teste. Os resultados demonstram uma disparidade entre os desfechos das métricas, sem identificar exatamente quais erros de campo a causaram.
Estudo 2: A Armadilha do Pré-processamento de Imagens
Os autores construíram um pipeline clássico de pré-processamento em quatro etapas:
- Nivelamento de Iluminação (Illumination Flattening): Conversão para escala de cinza, abertura morfológica para estimar a iluminação de fundo e normalização para reduzir a iluminação irregular.
- Redução de Ruído (Denoising): Filtro bilateral por padrão, ou redução de ruído por Non-Local Means, para atenuar o ruído preservando as bordas.
- Equalização Adaptativa de Histograma com Contraste Limitado (CLAHE): Realce do contraste local no canal de luminância.
- Redimensionamento Letterbox (Letterbox Resizing): Redimensionamento para uma tela fixa com preenchimento (padding) para preservar a proporção da imagem; a metodologia cita $1024 \times 1024$ como exemplo.
Eles avaliaram o pipeline completo sobre o baseline de fine-tuning em comparação com uma linha de base com imagens brutas (raw). “Bruto” aqui significa sem esse pipeline adicional de limpeza; as imagens ainda passavam pelo pré-processamento específico de cada modelo.
+-------------------------+--------------------------+--------------------------+--------------------------+
| Image Preprocessing | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (Raw vs Preprocessed) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (Raw) | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Gemma-3-4B (Preproc ✓) | 10.4 88.8 85.3 | 1.2 97.6 97.7 | 16.4 69.7 43.6 |
| Phi-3.5-Vision (Raw) | 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Phi-3.5-Vision (Pre ✓) | 19.0 80.4 76.5 | 0.3 99.2 99.3 | 5.5 89.5 61.1 |
| Qwen2.5-VL-7B (Raw) | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
| Qwen2.5-VL-7B (Pre ✓) | 5.2 90.0 87.4 | 0.7 99.1 99.3 | 12.0 81.7 53.6 |
+-------------------------+--------------------------+--------------------------+--------------------------+
O pipeline de pré-processamento testado reduziu o mAP-F1 em oito das nove combinações de modelo e dataset, embora algumas outras métricas tenham melhorado.
No Regensburg Scalalogy:
- O CER do Qwen2.5-VL piorou de 7.6% para 12.0%, e seu mAP-F1 caiu de 62.8% para 53.6%.
- O CER do Phi-3.5-Vision melhorou de 6.3% para 5.5%, mas o mAP-F1 caiu de 72.0% para 61.1%.
- O CER do Gemma-3-4B piorou de 14.6% para 16.4%, registrando também quedas no ANLS* e no mAP-F1.
Houve exceções em outros casos. O mAP-F1 do Gemma no Erlangen-Prehistoric subiu de 83.1% para 85.3%, enquanto o CER do Qwen no mesmo dataset melhorou de 5.8% para 5.2%, apesar das pontuações estruturadas mais baixas.
O experimento avaliou o pipeline completo, e não cada filtro isoladamente. Portanto, não é possível apontar se a redução de ruído, o ajuste de contraste, a correção de iluminação, o redimensionamento ou a combinação deles causou uma alteração específica. Também não estabelece um mecanismo neural para as regressões. A lição prática é comparar o pré-processamento com um baseline de imagens brutas utilizando tanto métricas de fidelidade quanto de extração estruturada.
Estudo 3: Treinamento em Currículo em Múltiplos Estágios
Os autores testaram um cronograma em dois estágios: um breve aquecimento (warm-up) utilizando teacher forcing sobre alvos supervisionados em JSON a $3\times$ a taxa de aprendizado base, seguido de refinamento no mesmo dataset à taxa de aprendizado base.
A validação foi executada a cada época, com seleção de checkpoints pelo menor CER de validação e early stopping após um período de paciência sem melhorias. A comparação utilizou um baseline de estágio único com o mesmo orçamento total de épocas e decaimento cosseno da taxa de aprendizado.
+-------------------------+--------------------------+--------------------------+--------------------------+
| Multi-Stage Training | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (Single vs Multi-Stage) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (Single) | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Gemma-3-4B (Multi-stage)| 8.1 89.9 86.5 | 0.4 99.3 99.5 | 10.3 80.2 63.8 |
| Phi-3.5-Vision (Single) | 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Phi-3.5-Vision (Multi) | 18.0 86.7 83.0 | 0.3 99.5 99.7 | 4.9 90.5 72.5 |
| Qwen2.5-VL-7B (Single) | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
| Qwen2.5-VL-7B (Multi) | 5.8 91.4 89.1 | 0.7 88.5 90.2 | 7.8 86.0 57.8 |
+-------------------------+--------------------------+--------------------------+--------------------------+
O treinamento em múltiplos estágios produziu resultados dependentes do modelo. Beneficiou o Gemma-3-4B em todas as três métricas e coleções, reduzindo o CER no conjunto pré-histórico de 10.4% para 8.1% e elevando o mAP-F1 no Scalalogy de 46.9% para 63.8%.
O Phi melhorou em todas as três métricas no Scalalogy, com alterações menores ou mistas nos demais. O Qwen apresentou apenas uma leve melhora no ANLS* no Erlangen-Prehistoric, com CER inalterado e mAP-F1 inferior. Seus resultados pioraram em todas as três métricas tanto no Jewelry quanto no Scalalogy. O estudo comprova essas diferenças de desempenho, sem demonstrar que a instabilidade no treinamento as tenha causado.
O Dilema Multi-Dataset: Os Ganhos do Gemma e a Transferência Negativa do Qwen
Em produção, equipes de engenharia podem preferir um único checkpoint em vez de modelos separados para cada coleção de documentos. Os autores testaram isso realizando o fine-tuning de cada modelo selecionado uma única vez nos conjuntos de treino combinados de todas as três coleções — 743 documentos no total — utilizando a receita padrão de fine-tuning.
Em seguida, avaliaram esse checkpoint no conjunto de teste de cada coleção e o compararam com o respectivo checkpoint específico de cada dataset:
+-------------------------+--------------------------+--------------------------+--------------------------+
| Single-Dataset vs | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| Multi-Dataset Checkpoint| CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (Single) | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Gemma-3-4B (Multi-Joint)| 8.7 90.6 87.9 | 0.3 99.4 99.7 | 9.1 81.5 68.0 |
| Phi-3.5-Vision (Single) | 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Phi-3.5-Vision (Multi) | 19.7 84.0 45.4 | 0.5 99.2 99.4 | 7.4 84.3 54.1 |
| Qwen2.5-VL-7B (Single) | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
| Qwen2.5-VL-7B (Multi) | 7.1 89.3 91.9 | 1.6 98.2 99.1 | 24.9 65.2 41.4 |
+-------------------------+--------------------------+--------------------------+--------------------------+
Este experimento revelou comportamentos nitidamente diferentes entre os três modelos:
- O Gemma-3-4B beneficiou-se de forma consistente do treinamento conjunto. Seu checkpoint multi-dataset superou os checkpoints específicos de dataset em todas as métricas relatadas. No Regensburg Scalalogy, o CER caiu de 14.6% para 9.1% e o mAP-F1 subiu de 46.9% para 68.0%. Esses resultados respaldam o treinamento conjunto para o Gemma neste benchmark, sem definir como ele se comportaria em uma coleção não vista.
- O Qwen2.5-VL-7B apresentou transferência negativa substancial no Scalalogy. O CER subiu de 7.6% para 24.9%, e o mAP-F1 despencou de 62.8% para 41.4%. O CER e o ANLS* pioraram em todas as três coleções, embora o mAP-F1 no Erlangen-Prehistoric tenha melhorado de 90.0% para 91.9%.
- O Phi-3.5-Vision também sofreu quedas em todas as três coleções, com perdas de extração estruturada particularmente elevadas: o mAP-F1 pré-histórico caiu de 82.2% para 45.4%, e o mAP-F1 no Scalalogy, de 72.0% para 54.1%. As alterações no Jewelry foram bem menores.
Os autores interpretam as quedas como sinais de transferência negativa entre coleções com esquemas e modalidades textuais distintas. O estudo não isola interferência de gradientes, conflitos de layout ou qualquer outra causa específica. As decisões de implantação, portanto, exigem avaliação individual por coleção: o treinamento conjunto beneficiou um modelo em todo o benchmark e prejudicou outros em configurações importantes.
Onde os Modelos Ainda Falham: Modos de Falha Qualitativos
Examinar amostras de saídas evidencia tanto as melhorias que o fine-tuning pode proporcionar quanto os erros que persistem.
Na Figura 4, os autores comparam as predições zero-shot e pós-fine-tuning do Gemma-3-4B para uma página manuscrita do Erlangen-Prehistoric. Os trechos abreviados a seguir reproduzem essa comparação; as reticências e as notas entre colchetes são ilustrativas, não representando as saídas completas dos modelos.
Predição zero-shot, CER de amostra: 26.8%.
{
"Überschrift": "Anthropologisch-prähistorifche ...",
"Inventarnummer": "J.-Nr. E024",
"Maße": {"L": "", "B": "", "D": ""},
"Objektbezeichnung": "Primitiver Kratzer",
"Fundort": "Spay, Belgien",
"Fundzeit": "Aumente Helin",
"Beschreibungstext": "Flacher Stein ... [many OCR errors]"
}
Predição com fine-tuning, CER de amostra: 13.9%.
{
"Überschrift": "Anthropologisch=prähistorische ...",
"Inventarnummer": "Eo 24",
"Maße": {"L": "6,25", "B": "3,95", "D": "1,7"},
"Objektbezeichnung": "Primitiver Kratzer ...",
"Fundort": "Spy, Belgien Ausbeute Helin",
"Fundzeit": "",
"Beschreibungstext": "Flacher Stein ... [partially correct]"
}
O fine-tuning aprimorou várias partes da predição:
- O cabeçalho mudou de
Anthropologisch-prähistorifcheparaAnthropologisch=prähistorische. - O número de inventário mudou de
J.-Nr. E024paraEo 24, o que os autores identificam como uma correção. - As dimensões aninhadas passaram a ser
"L": "6,25", "B": "3,95", "D": "1,7", recuperando medições deixadas em branco na saída zero-shot.
No entanto, o artigo destaca explicitamente a dificuldade contínua com textos manuscritos mais longos e com a separação entre Fundort e Fundzeit. O trecho com fine-tuning aloca "Spy, Belgien Ausbeute Helin" em Fundort e deixa Fundzeit vazio. O trecho não estabelece a atribuição correta de cada termo nem explica seu significado histórico.
Esse exemplo resume o desafio mais amplo: uma taxa de erro geral mais baixa e um objeto JSON analisável (parsable) podem coexistir com erros não resolvidos de delimitação de campos.
Por que Isso Importa para a Engenharia de Documentos e Pipelines do Setor GLAM
Para arquitetos de software, engenheiros de ML e equipes de digitalização de arquivos, este estudo oferece orientações práticas dentro do escopo de suas três coleções:
- Avalie VLMs instruction-tuned quando precisar de extração direta de JSON: Gemma-3-4B, Phi-3.5-Vision e Qwen2.5-VL-7B foram os candidatos gerais mais sólidos para geração estruturada confiável. Isso não significa que motores de OCR especializados devam ser descartados: o benchmark testou modelos e interfaces específicos, e alguns modelos especializados tiveram bom desempenho após o fine-tuning em coleções individuais.
- Teste o prompting few-shot em vez de presumir que ele trará melhorias: As demonstrações beneficiaram todos os quatro modelos avaliados no Jewelry, mas os resultados foram mistos na escrita manuscrita e em formulários aninhados. Compare os resultados zero-shot e few-shot em documentos representativos antes de definir uma estratégia de prompt.
- Mantenha uma linha de base com imagens brutas ao testar a limpeza: O pipeline completo de pré-processamento frequentemente reduziu as pontuações de extração estruturada, mas seu efeito variou conforme o modelo, o dataset e a métrica. Essas constatações defendem a comparação empírica, e não uma proibição generalizada da redução de ruído ou do ajuste de contraste.
- Considere o HPO para formulários complexos, acompanhando múltiplas métricas: Configurações selecionadas pelo Optuna melhoraram substancialmente os resultados no Scalalogy. O CER caiu de 14.6% para 3.4% no Gemma, de 6.3% para 3.2% no Phi e de 7.6% para 3.1% no Qwen. Na escrita manuscrita, contudo, um CER mais baixo às vezes veio acompanhado de um mAP-F1 pior.
- Audite checkpoints multi-dataset para identificar transferência negativa: Avalie cada coleção separadamente antes de consolidar modelos em um único checkpoint. Checkpoints específicos por dataset tiveram desempenho substancialmente melhor para Phi e Qwen em algumas coleções, enquanto o Gemma beneficiou-se consistentemente do treinamento conjunto.
Limitações Honestas e o que Acompanhar a Seguir
Os resultados trazem evidências úteis, mas seu escopo é relevante:
- Estudos Independentes vs. Combinados: Os autores testaram HPO, pré-processamento e treinamento em múltiplos estágios de maneira independente. Se a combinação dessas intervenções gera ganhos adicionais permanece algo não testado.
- Decodificação Restrita (Constrained Decoding) Permanece como Trabalho Futuro: As avaliações utilizaram greedy decoding, reportado com temperatura 0. Os autores propõem constrained decoding para JSON válido como uma direção futura, mas não demonstram seu efeito aqui. A validade sintática ainda precisaria ser diferenciada de campos e valores corretos.
- Paridade Computacional: Modelos maiores foram adaptados com QLoRA, enquanto modelos abaixo de 1B passaram por fine-tuning completo. Comparações controladas dessas abordagens sob orçamentos computacionais equivalentes permanecem como trabalho futuro.
- Cobertura de Coleções e Modelos: O benchmark cobre três coleções especializadas, com conjuntos de teste de 46, 89 e 25 documentos. Os autores alertam que o ecossistema de modelos evolui rapidamente e demandam avaliações multilíngues mais amplas, adaptações específicas para escrita manual e vinculação de campos ciente do layout (layout-aware field binding).
- Substituição da Nuvem Não Foi Diretamente Avaliada em Benchmark: Os experimentos não comparam esses modelos com sistemas de APIs comerciais ou transcrição manual, e não quantificam economia de custos ou energia. Eles demonstram resultados de extração de modelos locais, e não uma superioridade medida em relação a essas alternativas.
A conclusão geral é promissora: VLMs leves cuidadosamente adaptados podem viabilizar a extração de OCR para JSON sob o controle de instituições em registros arquivísticos especializados. Os resultados reportados com QLoRA nos modelos de 4B–7B mostram ganhos substanciais, sobretudo nas fichas impressas de joias, embora a escrita manual e formulários aninhados ainda preservem erros significativos. Para instituições que consideram uma alternativa às APIs comerciais, este estudo fornece modelos candidatos e estratégias de adaptação — além de um motivo claro para avaliar conjuntamente a precisão do conteúdo, a atribuição dos campos e a validade do JSON.