Modelos pequeños, datos estructurados: ¿pueden los VLM ligeros sustituir a las API en la nube en la extracción de documentos complejos?
Basado en: From Pixels to Structure: Lightweight Vision-Language Models for Document OCR and Structured JSON Extraction — Uddipan Basu Bir, Vincent Christlein, Andreas Maier, Mathias Zinnen
Si le entregas una factura digital nítida a un modelo multimodal, extraer pares clave-valor puede parecer una tarea sencilla. Sin embargo, intenta darle a ese mismo modelo un registro arqueológico histórico alemán escrito en letra cursiva, o un relevamiento arquitectónico que combine etiquetas impresas, anotaciones manuscritas y casillas de verificación técnicas. Leer las palabras es solo una parte del trabajo.
Los enfoques tradicionales combinan múltiples etapas: binarización de imágenes, segmentación de maquetación (layout), motores externos de reconocimiento óptico de caracteres (OCR) como Tesseract y modelos downstream de extracción de información clave (KIE) como LayoutLM. Los grandes modelos comerciales de visión y lenguaje (VLM) ofrecen otra alternativa, pero conllevan sus propias restricciones de despliegue.
Para las instituciones del sector GLAM (galerías, bibliotecas, archivos y museos, por sus siglas en inglés: Galleries, Libraries, Archives, and Museums), las API en la nube pueden suponer barreras considerables. Enviar registros archivísticos a proveedores comerciales genera inquietudes sobre la soberanía de los datos, introduce costes recurrentes y suscita interrogantes sobre el impacto ambiental del cómputo a gran escala. Estas preocupaciones motivan la búsqueda de alternativas locales; no constituyen mediciones de coste o consumo energético realizadas en este estudio.
Un equipo de investigación de la Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) abordó este cuello de botella en su artículo, From Pixels to Structure: Lightweight Vision-Language Models for Document OCR and Structured JSON Extraction (Uddipan Basu Bir, Vincent Christlein, Andreas Maier y Mathias Zinnen, 8 de octubre de 2026, arXiv:2610.11818). Los autores plantearon una pregunta directa de ingeniería: ¿pueden los VLM ligeros de 7 mil millones de parámetros o menos transcribir documentos históricos y generar JSON guiado por esquemas adecuado para un procesamiento controlado internamente por las instituciones?
Los investigadores evaluaron ocho modelos en tres colecciones de archivos alemanas especializadas. En el proceso, descubrieron conclusiones prácticas que ponen en tela de juicio las recomendaciones habituales de procesamiento de documentos, especialmente en lo relativo a demostraciones en el prompt, filtros de imagen clásicos y el entrenamiento de un único checkpoint a través de múltiples colecciones.
Tres colecciones, tres pesadillas: cursiva, fichas de catálogo y escaleras anidadas
Evaluar la extracción estructurada de documentos exige poner a prueba los modelos frente a desafíos archivísticos realistas. Los autores reunieron un benchmark de 1.062 documentos distribuidos en tres colecciones distintas, utilizando particiones de aproximadamente 70% para entrenamiento, 15% para validación y 15% para prueba:
+------------------------+-------+-------+-----+------+-------------------+--------------------------------+
| Dataset | Total | Train | Val | Test | Tipo de texto | Complejidad del esquema |
+------------------------+-------+-------+-----+------+-------------------+--------------------------------+
| Erlangen-Prehistoric | 308 | 216 | 46 | 46 | Manuscrito | Media (8 campos nivel sup.) |
| Pforzheim Jewelry | 590 | 413 | 88 | 89 | Mayoría impreso | Media (17 campos planos) |
| Regensburg Scalalogy | 164 | 114 | 25 | 25 | Mixto (imp./man.) | Alta (muy anidado, booleanos) |
| Total | 1,062 | 743 | 159 | 160 | — | — |
+------------------------+-------+-------+-----+------+-------------------+--------------------------------+
Cada colección representa un obstáculo estructural diferente:
- Erlangen-Prehistoric Dataset: Procedente del Inventarbuch der Anthropologisch Prähistorischen Sammlung de la FAU, estas 308 páginas combinan escritura manuscrita histórica con encabezados o etiquetas impresas. El esquema JSON objetivo ilustrado contiene ocho campos de nivel superior, incluido un identificador de imagen y dimensiones del artefacto (
Maße) anidadas enL,ByD. Otros campos incluyen el lugar de hallazgo (Fundort), la fecha de hallazgo (Fundzeit) y notas descriptivas (Beschreibungstext). Las transcripciones ground-truth se generaron utilizando Gemini y fueron verificadas manualmente antes de su publicación en Zenodo. - Pforzheim Jewelry Dataset: Procedente del proyecto de investigación KUPFER en HS Pforzheim, esta colección contiene 590 fichas de inventario históricas que describen joyas adquiridas entre 1879 y 1970. Las fichas se extrajeron de libros históricos cuando los objetos pasaron en préstamo permanente al Museo de Joyería de Pforzheim hacia 1980. Los documentos son en su mayoría impresos, pero requieren extracción en un denso esquema de 17 campos que cubre material, peso, precio de compra y valor del seguro (
Vers.-Wert). - Regensburg Scalalogy Dataset: La prueba de estrés estructural. Procedente del Friedrich Mielke Institute for Scalalogy (FMIS) en OTH Regensburg, estos 164 formularios de encuesta documentan la arquitectura de escaleras mediante terminología especializada. El esquema JSON objetivo está profundamente anidado y cuenta con indicadores booleanos para rasgos estructurales, incluidas categorías de caja interior y exterior (
GEHÄUSE), dirección de giro (LAUF) y ubicación del pasamanos (HANDLAUF), junto con medidas enteras y recuentos de escalones (STUFEN).
Si un campo de archivo era ilegible o no estaba presente, la tarea exigía que los campos de texto fueran cadenas vacías ("") y los campos booleanos fueran false. Cada colección contaba con un esquema objetivo fijo, por lo que el éxito requería ubicar el contenido extraído en los campos apropiados además de reconocerlo.
El duelo de 8 modelos y la división del prompting
Los autores evaluaron ocho modelos, descritos en el artículo como VLM de código abierto, con tamaños que van desde 200M hasta 7B parámetros:
- Donut-Base (200M) y Donut-CORD (200M): Modelos encoder-decoder libres de OCR (OCR-free).
- Florence-2-Large (0.77B): Un modelo unificado de visión y lenguaje.
- PaddleOCR-VL (0.9B): Un modelo de visión y lenguaje especializado en OCR.
- Nanonets-OCR-s (4B): Un VLM especializado en OCR.
- Gemma-3-4B (4B): Un VLM ajustado por instrucciones (instruction-tuned).
- Phi-3.5-Vision (4.2B): Un VLM ajustado por instrucciones.
- Qwen2.5-VL-7B (7B): Un VLM ajustado por instrucciones.
Una contribución crucial de este estudio es su protocolo de evaluación consciente de las restricciones. Evaluar diversos VLM resulta complejo porque sus interfaces compatibles difieren entre sí.
Bajo el protocolo del estudio, Donut, Florence-2-Large y PaddleOCR-VL emplearon prompts fijos de tipo OCR o tokens específicos de tarea, tales como <OCR> o <s_cord-v2>. No recibieron instrucciones conversacionales arbitrarias ni demostraciones few-shot. Los autores aplicaron un posprocesamiento mínimo —eliminando envoltorios, prefijos de chat, espacios en blanco y bloques de código— antes de intentar el parseo de JSON.
Por contra, Gemma-3-4B, Phi-3.5-Vision, Qwen2.5-VL-7B y Nanonets-OCR-s se evaluaron con prompts personalizados en lenguaje natural. En la evaluación zero-shot, dichos prompts incluían el esqueleto del JSON objetivo y solicitaban que la salida siguiera ese esquema.
Esta distinción es fundamental al interpretar los resultados: el benchmark mide el rendimiento de OCR a JSON mediante las interfaces utilizadas en el estudio, en lugar de proporcionar a cada modelo un prompt idéntico que incorpore el esquema.
Por qué las métricas estándar de OCR pueden pasar por alto los fallos en JSON estructurado
Evaluar la IA para documentos estructurados exige medir tanto la fidelidad de la salida como la fiabilidad estructural. Un texto reconocible puede seguir siendo inutilizable para la ingesta directa si el modelo devuelve un JSON malformado o asigna valores a los campos incorrectos.
Los autores monitorizaron tres métricas complementarias:
- Character Error Rate (CER): Mide los errores de edición a nivel de carácter en relación con la cadena JSON canónica del ground-truth, normalizados por la longitud de referencia; cuanto menor sea, mejor. Las predicciones parseadas se serializan en el mismo formato canónico antes de la comparación. Si el parseo falla, la salida en bruto se compara directamente contra la referencia canónica. Esto mide la fidelidad del texto JSON, incluida su estructura, en lugar de evaluar únicamente la precisión de la transcripción.
- Approximate Normalized Levenshtein Similarity (ANLS*): Una métrica de similitud estructurada que emplea un umbral de $\tau = 0.5$, fijando en cero las similitudes por debajo de ese umbral. Si la salida se parsea como JSON, evalúa los objetos anidados; si el parseo falla, recurre a la similitud a nivel de cadena frente a la cadena JSON canónica del ground-truth.
- Mean Average Precision F1 (mAP-F1): La métrica del estudio enfocada prioritariamente en la estructura. Inspirada en los protocolos de evaluación de detección de objetos y en mAPCER de DAN, aplana las predicciones y el ground-truth en claves hoja con notación de punto, como
GEHÄUSE.innen.1. Las puntuaciones de solapamiento por campo ($1 - \text{CER}$) se evalúan en cuatro umbrales: $\theta \in {0.3, 0.5, 0.7, 0.8}$. La precisión y el recall se promedian de forma macro entre campos para calcular una puntuación F1 en cada umbral, siendo mAP-F1 la media de los cuatro.
De forma determinante, si la salida no se puede parsear como un diccionario de Python mediante json.loads, mAP-F1 se califica con un 0.0%. CER y ANLS* aún pueden conceder crédito parcial mediante sus comparaciones de texto en bruto.
Los autores también registraron la validez del JSON de forma independiente. Gemma-3, Phi-3.5-Vision y Qwen2.5-VL mantuvieron una validez de aproximadamente 95%–100% en todos los conjuntos de datos y configuraciones, aunque las tablas principales omiten dichas tasas. Parsear correctamente no determina, por sí mismo, que cada campo o valor sea correcto.
Mientras tanto, Donut, Florence-2 y PaddleOCR-VL presentaron una validez de JSON sustancialmente inferior. Todos obtuvieron un 0.0% de mAP-F1 en evaluación zero-shot, incluso cuando CER o ANLS* indicaban que sus salidas retenían parte del contenido de referencia.
Zero-Shot, Few-Shot y la trampa del prompting en contexto
En el escenario zero-shot, los modelos con flexibilidad de prompting lideraron los resultados de extracción estructurada. Qwen2.5-VL-7B obtuvo el ANLS* y mAP-F1 más altos en los tres conjuntos de datos. En Pforzheim Jewelry, alcanzó 2.6% de CER, 96.0% de ANLS* y 96.3% de mAP-F1, si bien Nanonets-OCR-s registró un CER más bajo, con 1.9%. En los registros manuscritos de Erlangen-Prehistoric, Qwen alcanzó un 21.4% de CER y un 56.2% de mAP-F1.
Todos los valores métricos en las tablas de resultados que figuran a continuación son porcentajes.
+------------------+--------------------------+--------------------------+--------------------------+
| | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| Modelo Zero-Shot | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+------------------+--------------------------+--------------------------+--------------------------+
| Donut-Base | 93.4 0.0 0.0 | 97.2 0.0 0.0 | 90.1 0.0 0.0 |
| Donut-CORD | 78.8 0.0 0.0 | 91.9 0.0 0.0 | 93.1 0.0 0.0 |
| Florence-2-Large | 45.6 50.4 0.0 | 33.6 66.4 0.0 | 75.6 0.0 0.0 |
| Nanonets-OCR-s | 25.7 49.4 28.5 | 1.9 86.5 86.5 | 39.3 22.8 15.2 |
| PaddleOCR-VL | 69.2 20.1 0.0 | 51.3 57.0 0.0 | 78.1 0.0 0.0 |
| Gemma-3-4B | 33.6 41.8 34.6 | 4.4 92.1 87.4 | 37.6 26.3 22.5 |
| Phi-3.5-Vision | 50.9 28.1 23.4 | 7.3 85.3 67.9 | 28.7 57.1 27.9 |
| Qwen2.5-VL-7B | 21.4 54.0 56.2 | 2.6 96.0 96.3 | 21.3 67.0 33.3 |
+------------------+--------------------------+--------------------------+--------------------------+
Cuando los autores evaluaron el aprendizaje en contexto few-shot, proporcionaron demostraciones de imagen–JSON extraídas del conjunto de entrenamiento: una para Pforzheim Jewelry y dos para Erlangen-Prehistoric y Regensburg Scalalogy. Solo participaron los cuatro modelos con soporte para prompting flexible.
El resultado supuso una advertencia útil: el prompting few-shot no mejoró sistemáticamente la extracción en documentos complejos.
+------------------+--------------------------+--------------------------+--------------------------+
| Modelo Few-Shot | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (1-2 ejemplos) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+------------------+--------------------------+--------------------------+--------------------------+
| Nanonets-OCR-s | 61.9 53.3 44.7 | 1.7 93.1 90.7 | 33.3 44.5 44.9 |
| Gemma-3-4B | 26.8 61.7 53.6 | 2.0 97.3 92.1 | 34.9 33.8 20.2 |
| Phi-3.5-Vision | 59.3 40.7 38.9 | 7.2 85.9 71.1 | 52.7 27.5 23.1 |
| Qwen2.5-VL-7B | 18.9 79.0 74.7 | 0.9 98.9 99.4 | 24.1 55.6 30.7 |
+------------------+--------------------------+--------------------------+--------------------------+
El prompting few-shot benefició a los cuatro modelos en Pforzheim Jewelry en todas las métricas evaluadas. El CER de Qwen2.5-VL se redujo de 2.6% a 0.9%, mientras que mAP-F1 se elevó a 99.4%. En otros escenarios, el panorama fue dispar:
- Nanonets-OCR-s vio aumentar su CER en la escritura manuscrita de Erlangen-Prehistoric de 25.7% a 61.9%, a pesar de que ANLS* y mAP-F1 mejoraron.
- El mAP-F1 de Gemma-3-4B en Regensburg Scalalogy cayó de 22.5% a 20.2%, pese a las mejoras en CER y ANLS*.
- El CER de Phi-3.5-Vision en Scalalogy empeoró de 28.7% a 52.7%, junto con reducciones en las otras dos métricas.
- Qwen y Gemma mejoraron en las tres métricas en Erlangen-Prehistoric, mientras que Nanonets progresó en las tres en Scalalogy.
¿Por qué las demostraciones ayudaron en algunos casos y perjudicaron en otros? Los autores sugieren que unos prompts más extensos pueden incrementar la complejidad de las instrucciones, pero los experimentos no establecen un mecanismo concreto de atención o codificación visual. La lección respaldada es más acotada: los ejemplos representan una estrategia de adaptación que debe validarse, no una mejora garantizada de antemano.
Fine-Tuning local: QLoRA en una GPU de 32GB
Los autores también aplicaron fine-tuning a cada modelo evaluado.
Para los modelos de menos de 1B parámetros, realizaron un fine-tuning de parámetros completos. Para los modelos de mayor tamaño, recurrieron a Quantized Low-Rank Adaptation (QLoRA), combinando cuantización de 4 bits con adaptadores LoRA en las capas de atención y MLP, manteniendo congelados los pesos base. La sección de métodos especifica una NVIDIA V100 con 32GB de VRAM para esta configuración de QLoRA.
La selección de checkpoints se realizó mediante el CER de validación autorregresivo más bajo, y la evaluación de prueba empleó generación autorregresiva. Se trata de generación de imagen a JSON, no de un único paso hacia adelante que produzca la salida completa del documento de una sola vez.
+------------------+--------------------------+--------------------------+--------------------------+
| Fine-Tuning | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| Resultados base | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+------------------+--------------------------+--------------------------+--------------------------+
| Donut-Base | 16.4 78.0 0.0 | 6.3 93.6 0.0 | 59.5 0.0 0.0 |
| Donut-CORD | 20.6 75.0 0.0 | 6.9 92.9 0.0 | 66.0 0.0 0.0 |
| Florence-2-Large | 10.7 75.5 45.4 | 11.1 89.9 0.0 | 57.4 4.3 0.0 |
| Nanonets-OCR-s | 23.0 82.5 81.2 | 0.5 96.7 87.2 | 20.2 79.9 50.7 |
| PaddleOCR-VL | 13.7 90.1 85.3 | 1.1 98.7 84.7 | 65.1 0.0 0.0 |
| Gemma-3-4B | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Phi-3.5-Vision | 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Qwen2.5-VL-7B | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
+------------------+--------------------------+--------------------------+--------------------------+
El fine-tuning aportó ganancias sustanciales respecto a la evaluación zero-shot en los modelos más potentes para extracción estructurada:
- Qwen2.5-VL-7B alcanzó 5.8% de CER y 90.0% de mAP-F1 en los registros manuscritos de Erlangen-Prehistoric.
- Phi-3.5-Vision lideró los resultados base de fine-tuning en Regensburg Scalalogy, alcanzando 6.3% de CER, 90.1% de ANLS* y 72.0% de mAP-F1, frente al 27.9% de mAP-F1 en evaluación zero-shot.
- Gemma-3-4B logró 99.4% de mAP-F1 en joyería y 83.1% en registros prehistóricos, aunque su 46.9% de mAP-F1 en Scalalogy evidenció que la extracción anidada continuaba siendo compleja.
El fine-tuning no resolvió todos los fallos estructurales. Ambas variantes de Donut siguieron marcando 0.0% de mAP-F1 en los tres conjuntos de datos. Por el contrario, PaddleOCR-VL alcanzó 85.3% de mAP-F1 en Erlangen-Prehistoric, demostrando que los modelos especializados en OCR no fueron uniformemente infructuosos.
Partiendo del rendimiento en las configuraciones zero-shot, few-shot y fine-tuning, sumado a una generación estable de JSON, los autores seleccionaron Gemma-3-4B, Phi-3.5-Vision y Qwen2.5-VL-7B para tres estudios secundarios.
Poniendo a prueba la sabiduría popular en IA documental: el preprocesamiento y la HPO no son victorias automáticas
Los autores evaluaron la optimización de hiperparámetros, el preprocesamiento de imágenes y el entrenamiento multietapa frente a la línea base estándar de fine-tuning. Cada intervención se evaluó de forma independiente, por lo que estos resultados no describen un pipeline que combine las tres.
Estudio 1: Optimización de hiperparámetros (HPO)
Utilizando Optuna con un muestreador Tree-structured Parzen Estimator (TPE), los autores ejecutaron 20 ensayos de 5 épocas cada uno, optimizando el CER de validación. Posteriormente, aplicaron los hiperparámetros seleccionados en una ejecución de entrenamiento completa mediante el código base de fine-tuning. El artículo no detalla el espacio de búsqueda ni los valores finales seleccionados.
+-------------------------+--------------------------+--------------------------+--------------------------+
| Ajuste hiperparámetros | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (Optuna vs Default) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (Default) | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Gemma-3-4B (HPO) | 9.3 88.8 65.4 | 0.4 99.2 99.5 | 3.4 92.3 77.9 |
| Phi-3.5-Vision (Default)| 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Phi-3.5-Vision (HPO) | 17.7 84.0 81.2 | 0.3 99.5 99.7 | 3.2 91.8 73.8 |
| Qwen2.5-VL-7B (Default) | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
| Qwen2.5-VL-7B (HPO) | 4.3 93.4 91.2 | 0.5 99.3 99.5 | 3.1 89.4 67.1 |
+-------------------------+--------------------------+--------------------------+--------------------------+
Los hallazgos fueron llamativos:
- En Regensburg Scalalogy, la HPO mejoró las tres métricas en los tres modelos. El CER de Gemma-3-4B se redujo de 14.6% a 3.4%, mientras que su mAP-F1 aumentó de 46.9% a 77.9%. El CER de Qwen2.5-VL disminuyó de 7.6% a 3.1%, y el de Phi de 6.3% a 3.2%.
- En Pforzheim Jewelry, las mejoras absolutas fueron comparativamente reducidas debido a que las puntuaciones base ya eran sólidas.
- En Erlangen-Prehistoric, la HPO benefició a Qwen en las tres métricas. El CER de Gemma mejoró de 10.4% a 9.3%, pero su mAP-F1 descendió de 83.1% a 65.4%. El CER de Phi mejoró levemente, mientras que ANLS* y mAP-F1 retrocedieron.
Esa discrepancia resulta relevante: seleccionar hiperparámetros mediante el CER de validación no garantizó una mejor extracción estructurada en el conjunto de prueba. Los resultados demuestran un desfase entre los desenlaces métricos, sin identificar con precisión qué errores de campo lo ocasionaron.
Estudio 2: La trampa del preprocesamiento de imágenes
Los autores construyeron un pipeline clásico de preprocesamiento estructurado en cuatro etapas:
- Aplanamiento de iluminación (Illumination Flattening): Conversión a escala de grises, apertura morfológica para estimar la iluminación de fondo y normalización para mitigar la iluminación desigual.
- Reducción de ruido (Denoising): Filtrado bilateral por defecto, o reducción de ruido Non-Local Means, para mitigar el ruido preservando los bordes.
- Contrast Limited Adaptive Histogram Equalization (CLAHE): Realce del contraste local en el canal de luminancia.
- Redimensionamiento Letterbox (Letterbox Resizing): Redimensionamiento hacia un lienzo fijo con padding para preservar la relación de aspecto; los métodos señalan $1024 \times 1024$ como ejemplo.
Evaluaron el pipeline completo sobre la línea base de fine-tuning frente a una referencia de imágenes sin procesar ("raw"). "Raw" denota aquí la ausencia de esta cadena de limpieza complementaria; las imágenes continuaron recibiendo el preprocesamiento propio de cada modelo.
+-------------------------+--------------------------+--------------------------+--------------------------+
| Preproc. de imagen | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (Raw vs Preprocesado) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (Raw) | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Gemma-3-4B (Preproc ✓) | 10.4 88.8 85.3 | 1.2 97.6 97.7 | 16.4 69.7 43.6 |
| Phi-3.5-Vision (Raw) | 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Phi-3.5-Vision (Pre ✓) | 19.0 80.4 76.5 | 0.3 99.2 99.3 | 5.5 89.5 61.1 |
| Qwen2.5-VL-7B (Raw) | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
| Qwen2.5-VL-7B (Pre ✓) | 5.2 90.0 87.4 | 0.7 99.1 99.3 | 12.0 81.7 53.6 |
+-------------------------+--------------------------+--------------------------+--------------------------+
El pipeline de preprocesamiento analizado redujo el mAP-F1 en ocho de las nueve combinaciones de modelo y dataset, pese a que algunas otras métricas mejoraron.
En Regensburg Scalalogy:
- El CER de Qwen2.5-VL empeoró de 7.6% a 12.0%, y su mAP-F1 se redujo de 62.8% a 53.6%.
- El CER de Phi-3.5-Vision mejoró de 6.3% a 5.5%, pero su mAP-F1 cayó de 72.0% a 61.1%.
- El CER de Gemma-3-4B empeoró de 14.6% a 16.4%, experimentando descensos también en ANLS* y mAP-F1.
Hubo excepciones en otros casos. El mAP-F1 de Gemma en Erlangen-Prehistoric aumentó de 83.1% a 85.3%, mientras que el CER de Qwen en esa misma colección mejoró de 5.8% a 5.2%, a pesar de registrar puntuaciones estructuradas inferiores.
El experimento examinó el pipeline en bloque, sin aislar cada filtro individualmente. En consecuencia, no permite precisar si la reducción de ruido, el ajuste de contraste, la corrección de iluminación, el escalado o su interacción causaron una alteración concreta. Tampoco postula un mecanismo neural causante de los retrocesos. La recomendación práctica radica en contrastar cualquier preprocesamiento contra una referencia de imagen sin procesar evaluando tanto la fidelidad como la extracción estructurada.
Estudio 3: Entrenamiento curricular multietapa
Los autores evaluaron un esquema en dos fases: una fase breve de calentamiento mediante teacher forcing sobre esquemas JSON supervisados a $3\times$ la tasa de aprendizaje base, continuada por una etapa de refinamiento sobre la misma colección a la tasa de aprendizaje base.
La validación se ejecutó en cada época, seleccionando checkpoints en función del CER de validación más bajo e implementando parada temprana (early stopping) tras un umbral de paciencia sin avances. La referencia empleó una sola etapa con idéntico cómputo total de épocas y decaimiento del learning rate por coseno.
+-------------------------+--------------------------+--------------------------+--------------------------+
| Entren. multietapa | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (Simple vs Multietapa) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (Single) | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Gemma-3-4B (Multi-stage)| 8.1 89.9 86.5 | 0.4 99.3 99.5 | 10.3 80.2 63.8 |
| Phi-3.5-Vision (Single) | 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Phi-3.5-Vision (Multi) | 18.0 86.7 83.0 | 0.3 99.5 99.7 | 4.9 90.5 72.5 |
| Qwen2.5-VL-7B (Single) | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
| Qwen2.5-VL-7B (Multi) | 5.8 91.4 89.1 | 0.7 88.5 90.2 | 7.8 86.0 57.8 |
+-------------------------+--------------------------+--------------------------+--------------------------+
El entrenamiento multietapa produjo variaciones ligadas a cada modelo. Resultó favorable para Gemma-3-4B en las tres métricas y colecciones, recortando el CER en manuscritos prehistóricos de 10.4% a 8.1% y elevando el mAP-F1 en Scalalogy de 46.9% a 63.8%.
Phi progresó en las tres métricas dentro de Scalalogy, con variaciones mínimas o mixtas en las restantes. Qwen evidenció únicamente un leve avance de ANLS* en Erlangen-Prehistoric, con CER invariable y un mAP-F1 inferior. Sus registros empeoraron en las tres métricas tanto en Jewelry como en Scalalogy. El estudio constata estas discrepancias de desempeño, sin probar que se debieran a inestabilidades durante el entrenamiento.
El dilema multiconjunto de datos: las ganancias de Gemma y la transferencia negativa de Qwen
En producción, los equipos de ingeniería a menudo buscan desplegar un único checkpoint en lugar de mantener modelos independientes para cada conjunto documental. Los autores pusieron esto a prueba ajustando cada modelo seleccionado una sola vez con los datos combinados de entrenamiento de las tres colecciones —743 documentos en total— siguiendo la configuración estándar de fine-tuning.
Posteriormente, evaluaron dicho checkpoint en el conjunto de prueba de cada colección y lo contrastaron con el checkpoint específico de cada dataset:
+-------------------------+--------------------------+--------------------------+--------------------------+
| Checkpoint por dataset | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| vs. multi-dataset | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (Single) | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Gemma-3-4B (Multi-Joint)| 8.7 90.6 87.9 | 0.3 99.4 99.7 | 9.1 81.5 68.0 |
| Phi-3.5-Vision (Single) | 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Phi-3.5-Vision (Multi) | 19.7 84.0 45.4 | 0.5 99.2 99.4 | 7.4 84.3 54.1 |
| Qwen2.5-VL-7B (Single) | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
| Qwen2.5-VL-7B (Multi) | 7.1 89.3 91.9 | 1.6 98.2 99.1 | 24.9 65.2 41.4 |
+-------------------------+--------------------------+--------------------------+--------------------------+
Este experimento sacó a relucir patrones radicalmente divergentes entre los tres modelos:
- Gemma-3-4B se benefició de forma consistente del entrenamiento conjunto. Su checkpoint multi-dataset superó a los específicos en la totalidad de las métricas reportadas. En Regensburg Scalalogy, el CER bajó de 14.6% a 9.1% y mAP-F1 trepó de 46.9% a 68.0%. Estos datos apoyan el entrenamiento conjunto para Gemma dentro de este benchmark, sin definir su comportamiento frente a colecciones inéditas.
- Qwen2.5-VL-7B reflejó una notable transferencia negativa en Scalalogy. El CER ascendió de 7.6% a 24.9%, y mAP-F1 retrocedió de 62.8% a 41.4%. CER y ANLS* empeoraron en las tres colecciones, a pesar de que el mAP-F1 en Erlangen-Prehistoric aumentó de 90.0% a 91.9%.
- Phi-3.5-Vision también decayó en las tres colecciones, con retrocesos especialmente marcados en la extracción estructurada: el mAP-F1 en manuscritos prehistóricos cayó de 82.2% a 45.4%, y en Scalalogy de 72.0% a 54.1%. Las variaciones en Jewelry fueron sensiblemente menores.
Los autores interpretan estos descensos como muestras de transferencia negativa entre colecciones con esquemas y modalidades textuales dispares. El estudio no aísla interferencias de gradiente, conflictos de layout ni ninguna otra causa concreta. En consecuencia, las decisiones de arquitectura exigen evaluación por colección: el entrenamiento conjunto benefició plenamente a un modelo en este benchmark y perjudicó a otros en escenarios clave.
Dónde siguen teniendo dificultades los modelos: modos de fallo cualitativos
Examinar muestras de salida evidencia tanto los avances que aporta el fine-tuning como los fallos que aún persisten.
En la Figura 4, los autores contrastan las predicciones zero-shot y con fine-tuning de Gemma-3-4B sobre una página manuscrita de Erlangen-Prehistoric. Los siguientes fragmentos abreviados reflejan dicha comparación; los puntos suspensivos y las notas entre corchetes son ilustrativos y no salidas íntegras del modelo.
Predicción zero-shot, CER de muestra: 26.8%.
{
"Überschrift": "Anthropologisch-prähistorifche ...",
"Inventarnummer": "J.-Nr. E024",
"Maße": {"L": "", "B": "", "D": ""},
"Objektbezeichnung": "Primitiver Kratzer",
"Fundort": "Spay, Belgien",
"Fundzeit": "Aumente Helin",
"Beschreibungstext": "Flacher Stein ... [muchos errores de OCR]"
}
Predicción con fine-tuning, CER de muestra: 13.9%.
{
"Überschrift": "Anthropologisch=prähistorische ...",
"Inventarnummer": "Eo 24",
"Maße": {"L": "6,25", "B": "3,95", "D": "1,7"},
"Objektbezeichnung": "Primitiver Kratzer ...",
"Fundort": "Spy, Belgien Ausbeute Helin",
"Fundzeit": "",
"Beschreibungstext": "Flacher Stein ... [parcialmente correcto]"
}
El fine-tuning perfeccionó diversos apartados de la predicción:
- El encabezado cambió de
Anthropologisch-prähistorifcheaAnthropologisch=prähistorische. - El número de inventario pasó de
J.-Nr. E024aEo 24, lo que los autores catalogan como corrección acertada. - Las dimensiones anidadas pasaron a ser
"L": "6,25", "B": "3,95", "D": "1,7", rescatando mediciones que habían quedado desiertas en la salida zero-shot.
Sin embargo, el artículo señala explícitamente dificultades continuadas ante pasajes manuscritos extensos y en la demarcación entre Fundort y Fundzeit. La muestra con fine-tuning asigna "Spy, Belgien Ausbeute Helin" a Fundort y mantiene Fundzeit vacío. El fragmento no define la correspondencia certera de cada segmento ni desentraña su sentido histórico.
Este caso refleja el reto global: un menor error global y una estructura JSON parseable pueden convivir con fallos no resueltos en los límites entre campos.
Por qué es relevante para la ingeniería documental y los pipelines GLAM
Para arquitectos de software, ingenieros de ML y equipos de digitalización archivística, este estudio ofrece orientación práctica en el contexto de sus tres colecciones:
- Evaluar VLM adaptados por instrucciones si se busca extracción directa a JSON: Gemma-3-4B, Phi-3.5-Vision y Qwen2.5-VL-7B fueron las alternativas globales más sólidas para una generación estructurada fiable. Esto no descarta el uso de motores OCR especializados: el benchmark analizó modelos e interfaces específicos, y algunos sistemas especializados respondieron con solvencia tras afinarse en colecciones individuales.
- Validar el prompting few-shot en vez de dar por sentado que sumará: Las demostraciones favorecieron a los cuatro modelos en Jewelry, pero arrojaron resultados dispares en manuscritos y formularios anidados. Compare rendimientos zero-shot y few-shot sobre muestras representativas antes de adoptar una política de prompting.
- Mantener una referencia de imágenes sin procesar al probar rutinas de limpieza: El pipeline de preprocesamiento completo disminuyó frecuentemente las puntuaciones de extracción estructurada, si bien su impacto varió según modelo, dataset y métrica. Los hallazgos respaldan la contrastación empírica, no un veto absoluto al filtrado de ruido o al ajuste de contraste.
- Considerar HPO en formularios con esquemas complejos, rastreando múltiples métricas: Los parámetros determinados mediante Optuna mejoraron sustancialmente los registros en Scalalogy. El CER bajó de 14.6% a 3.4% en Gemma, de 6.3% a 3.2% en Phi y de 7.6% a 3.1% en Qwen. En manuscritos, no obstante, un menor CER coexistió en ocasiones con un peor mAP-F1.
- Auditar checkpoints multi-dataset ante posibles efectos de transferencia negativa: Evalúe cada colección de manera aislada antes de consolidar la arquitectura en un solo modelo. Los checkpoints específicos superaron con holgura al modelo conjunto en Phi y Qwen dentro de ciertas colecciones, mientras que Gemma progresó sistemáticamente con el entrenamiento unificado.
Limitaciones honestas y qué observar a continuación
Los resultados aportan evidencia de gran utilidad, pero su alcance debe ponderarse con precisión:
- Estudios independientes vs. combinados: Los autores ensayaron HPO, preprocesamiento y entrenamiento multietapa por separado. La hipótesis de que combinar estas intervenciones produzca mejoras acumulativas no ha sido evaluada.
- La decodificación restringida continúa como vía futura: Las evaluaciones operaron bajo decodificación voraz (greedy decoding), consignada con temperatura 0. Los autores sugieren decodificación restringida hacia esquemas JSON válidos como línea futura, sin ensayar sus efectos en este trabajo. La corrección sintáctica requeriría además diferenciarse de la exactitud en los campos y valores.
- Paridad en cómputo: Los modelos mayores se adaptaron mediante QLoRA, mientras que los modelos de menos de 1B recibieron fine-tuning total. El cotejo controlado de ambas opciones bajo presupuestos de cómputo equivalentes queda pendiente.
- Alcance de modelos y colecciones: El benchmark se concentra en tres colecciones específicas, con conjuntos de prueba de 46, 89 y 25 documentos. Los investigadores alertan sobre el vertiginoso avance en este terreno e instan a extender las pruebas a marcos multilingües más amplios, adaptación dedicada a caligrafía manuscrita y vinculación de campos atenta a la distribución espacial (layout-aware).
- El reemplazo de la nube no se midió de forma directa: Los ensayos no enfrentan estos modelos con sistemas comerciales vía API ni con procesos de transcripción manual, y tampoco tasan ahorros de coste o energía. Acreditan rendimientos de extracción con modelos locales, sin certificar una superioridad contrastada frente a tales alternativas.
La perspectiva general resulta prometedora: los VLM ligeros adaptados minuciosamente pueden habilitar una extracción OCR a JSON controlada internamente por las instituciones sobre fondos documentales especializados. Los desempeños reportados con QLoRA en la franja de 4B–7B reflejan avances notables, ante todo en fichas tipográficas de joyería, si bien los manuscritos y las estructuras profundamente anidadas conservan errores sustanciales. Para aquellas entidades que sopesen prescindir de API comerciales, este estudio proporciona modelos candidatos y directrices de adaptación —junto con un argumento inequívoco para evaluar en conjunto la fidelidad del texto, la correspondencia de campos y la validez sintáctica del JSON.