小模型与结构化数据：轻量级 VLM 能否替代云端 API 完成复杂文档抽取？
参考论文： From Pixels to Structure: Lightweight Vision-Language Models for Document OCR and Structured JSON Extraction — Uddipan Basu Bir, Vincent Christlein, Andreas Maier, Mathias Zinnen
给多模态模型一张清晰的电子发票，抽取键值对看似轻而易举。但如果换成一份用草书手写体的德国历史考古登记册，或者一份混合了印刷标签、手写记录和专业勾选框的建筑勘测表，情况就截然不同了——单纯识别出文字不过是任务的一小部分。
传统方案通常由多个阶段拼装而成：图像二值化、版面分析与分割、外接光学字符识别（OCR）引擎（如 Tesseract），以及下游的关键信息抽取（KIE）模型（如 LayoutLM）。大型商业视觉-语言模型（VLM）虽然提供了另一条路径，但也伴随着自身的部署限制。
对于 GLAM 领域（美术馆、图书馆、档案馆和博物馆）的机构而言，云端 API 面临诸多现实阻碍。将档案记录上传至商业服务商不仅会引发数据自主权方面的担忧，还会产生持续的调用成本，并带来大规模计算所引发的环境足迹等问题。这些考量是促使人们寻求本地替代方案的动因，并非本项研究所测算的成本或能耗数据。
针对这一痛点，埃尔朗根-纽伦堡大学（Friedrich-Alexander-Universität Erlangen-Nürnberg，FAU）的研究团队在论文《From Pixels to Structure: Lightweight Vision-Language Models for Document OCR and Structured JSON Extraction》（作者：Uddipan Basu Bir、Vincent Christlein、Andreas Maier 与 Mathias Zinnen，2026年10月8日，arXiv:2610.11818）中展开了探索。作者提出了一个直截了当的工程问题：参数量在 70 亿（7B）及以下的轻量级 VLM 能否转录历史文档，并生成符合 Schema 规范的结构化 JSON，从而满足机构自主可控的处理需求？
研究人员在三个极具代表性的德国馆藏专业档案数据集上评估了 8 款模型。在此过程中，他们发现了一些颠覆传统文档处理常识的实践经验，尤其是在提示词示例（few-shot demonstrations）、传统图像滤波预处理以及跨多数据集联合训练单一模型权重方面。
三个数据集，三重挑战：手写草书、目录卡片与深度嵌套的楼梯测绘表
评估结构化文档抽取能力，需要在贴近真实的档案挑战中检验模型。作者整合了来自三个不同馆藏的 1,062 份文档基准数据集，并按约 70% 训练集、15% 验证集和 15% 测试集进行划分：
+------------------------+-------+-------+-----+------+-------------------+--------------------------------+
| 数据集 (Dataset) | 总量 | 训练 | 验证| 测试 | 文本类型 | Schema 复杂度 |
+------------------------+-------+-------+-----+------+-------------------+--------------------------------+
| Erlangen-Prehistoric | 308 | 216 | 46 | 46 | 手写体 | 中等（8 个顶层字段） |
| Pforzheim Jewelry | 590 | 413 | 88 | 89 | 大部分印刷体 | 中等（17 个平铺字段） |
| Regensburg Scalalogy | 164 | 114 | 25 | 25 | 混合（印刷/手写） | 高（深度嵌套、布尔值） |
| 总计 | 1,062 | 743 | 159 | 160 | — | — |
+------------------------+-------+-------+-----+------+-------------------+--------------------------------+
每个数据集代表了一类独特的结构性阻碍：
- Erlangen-Prehistoric 数据集：来源于 FAU 的《史前人类学藏品登记簿》（Inventarbuch der Anthropologisch Prähistorischen Sammlung），共 308 页，包含历史手写体以及印刷的表头与标签。其对应的目标 JSON Schema 包含 8 个顶层字段，包括图像标识符以及嵌套在
L（长）、B（宽）、D（厚/深）中的文物尺寸（Maße）。其余字段包括出土地点（Fundort）、出土时间（Fundzeit）和描述性文本（Beschreibungstext）。基准转录数据由 Gemini 生成，并在 Zenodo 发布前经过了人工校对核实。 - Pforzheim Jewelry 数据集：来源于普福尔茨海姆应用技术大学（HS Pforzheim）的 KUPFER 研究项目，包含 590 张历史库存卡片，记录了 1879 年至 1970 年间收购的珠宝饰品。这批卡片源于 1980 年代文物永久借展至普福尔茨海姆珠宝博物馆时整理的历史登记簿。文档绝大多数为印刷体，但需要提取密集分布的 17 个平铺字段，涵盖材质、重量、购入价格以及保险价值（
Vers.-Wert）等。 - Regensburg Scalalogy 数据集：结构抽取能力的“极限压力测试”。来源于雷根斯堡东巴伐利亚应用技术大学（OTH Regensburg）弗里德里希·米尔克楼梯学研究所（FMIS），共 164 份勘测表格，使用大量专业术语记录楼梯建筑结构。目标 JSON Schema 呈现高度嵌套特征，包含针对结构特性的布尔标记，例如内外楼梯间类别（
GEHÄUSE）、旋转方向（LAUF）和扶手位置（HANDLAUF），此外还包含尺寸度量数值与台阶数（STUFEN）。
若档案中的某一字段字迹不清或缺失，任务规范要求文本字段填充为空字符串（""），布尔字段设为 false。每个数据集都对应固定的目标 Schema，因此成功的抽取不仅要求准确识别内容，还要求将抽取出的内容归入正确的字段。
8 款模型横评与提示词接口差异
论文评估了 8 款被定义为开源权重的 VLM 模型，参数规模跨越 200M 到 7B：
- Donut-Base (200M) 与 Donut-CORD (200M)：无须外接 OCR 的 Encoder-Decoder 架构模型。
- Florence-2-Large (0.77B)：统一视觉-语言模型。
- PaddleOCR-VL (0.9B)：专为 OCR 优化的视觉-语言模型。
- Nanonets-OCR-s (4B)：专为 OCR 优化的 VLM。
- Gemma-3-4B (4B)：经过指令微调的通用 VLM。
- Phi-3.5-Vision (4.2B)：经过指令微调的通用 VLM。
- Qwen2.5-VL-7B (7B)：经过指令微调的通用 VLM。
本研究的一项关键贡献在于其兼顾接口约束的评估协议（constraint-aware evaluation protocol）。对不同类型的 VLM 进行横向评测非常棘手，因为它们原生支持的交互接口存在差异。
在该评测协议下，Donut、Florence-2-Large 和 PaddleOCR-VL 使用了固定的 OCR 风格提示词或任务专有 Token（例如 <OCR> 或 <s_cord-v2>）。这些模型并未被赋予任意的自然语言对话指令或少样本示例（few-shot demonstrations）。作者在尝试解析 JSON 前仅执行了最基础的后处理——去除外层包装、对话前缀、首尾空白以及代码块围栏标记（code fences）。
相比之下，Gemma-3-4B、Phi-3.5-Vision、Qwen2.5-VL-7B 和 Nanonets-OCR-s 则采用自定义自然语言提示词进行评估。在零样本（zero-shot）评测中，这些提示词直接包含了目标 JSON 框架骨架，并要求模型严格遵循该 Schema 输出。
在解读实验结果时，理解这一差异至关重要：该基准测试衡量的是各模型在其自身对应接口下的“端到端 OCR-to-JSON”表现，而非向所有模型输入完全相同且包含 Schema 的统一提示词。
传统 OCR 评估指标为何会掩盖结构化 JSON 的抽取失效
评估结构化文档 AI 系统，需要兼顾输出内容的保真度（fidelity）与结构可靠性（structural reliability）。即使文本识别完全正确，但若模型输出了格式错误的非法 JSON，或是把字段值填错了位置，整个结果在工程下游系统中依然无法直接入库使用。
作者追踪了三项互为补充的指标：
- 字符错误率（CER，Character Error Rate）：衡量模型预测输出相对于标准真实值（ground-truth）JSON 字符串的字符级编辑距离误差，并按参考文本长度归一化；数值越低越好。成功解析的预测结果会在比对前序列化为相同的规范格式。若解析失败，则直接将原始输出文本与标准参考字符串进行比对。该指标反映的是包含结构在内的整个 JSON 文本保真度，而不仅仅是文字转录的准确率。
- 近似归一化莱文斯坦相似度（ANLS*，Approximate Normalized Levenshtein Similarity）：一种结构化相似度指标，采用 $\tau = 0.5$ 作为截断阈值，低于该阈值的相似度直接置为 0。若输出能够成功解析为 JSON，则评估嵌套对象层级；若解析失败，则退回至与规范真实值 JSON 字符串进行纯文本层面的相似度计算。
- 全类平均精确率 F1（mAP-F1，Mean Average Precision F1）：本研究所采用的“结构优先”核心指标。受目标检测评估协议及 DAN 的 mAPCER 启发，该指标将预测结果与真实标签展平为点分路径表示的叶子键（如
GEHÄUSE.innen.1）。在四个阈值 $\theta \in {0.3, 0.5, 0.7, 0.8}$ 下分别评估每个字段的重合度得分（$1 - \text{CER}$）。在每个阈值下对各字段的精确率（Precision）和召回率（Recall）进行宏平均（macro-average）以计算 F1 分数，最终四个阈值下 F1 分数的平均值即为 mAP-F1。
至关重要的一点是：如果输出无法通过 json.loads 解析为 Python 字典，mAP-F1 将直接被判定为 0.0%。相比之下，CER 和 ANLS* 仍可通过原始文本比对给予部分分数。
作者还单独统计了 JSON 的合法有效率（JSON validity）。Gemma-3、Phi-3.5-Vision 和 Qwen2.5-VL 在各个数据集和评测设置下基本保持了约 95%–100% 的有效率（主表省略了该比率）。然而，能成功解析本身并不代表每个字段或数值都准确无误。
与此同时，Donut、Florence-2 和 PaddleOCR-VL 的 JSON 有效率则低得多。在零样本评估中，它们的 mAP-F1 得分全为 0.0%，哪怕 CER 或 ANLS* 显示其输出保留了部分参考内容。
零样本、少样本与上下文提示词陷阱
在零样本设置下，提示词接口灵活的模型在结构化抽取结果上全面领先。Qwen2.5-VL-7B 在全部三个数据集上均取得了最高的 ANLS* 与 mAP-F1。在普福尔茨海姆珠宝（Pforzheim Jewelry）数据集上，它取得了 2.6% 的 CER、96.0% 的 ANLS* 和 96.3% 的 mAP-F1（尽管 Nanonets-OCR-s 的 CER 更低，为 1.9%）。在纯手写的埃尔朗根史前（Erlangen-Prehistoric）档案上，Qwen 达到了 21.4% 的 CER 和 56.2% 的 mAP-F1。
下表中的所有评测指标数值均为百分比（%）。
+------------------+--------------------------+--------------------------+--------------------------+
| | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| 零样本模型 | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+------------------+--------------------------+--------------------------+--------------------------+
| Donut-Base | 93.4 0.0 0.0 | 97.2 0.0 0.0 | 90.1 0.0 0.0 |
| Donut-CORD | 78.8 0.0 0.0 | 91.9 0.0 0.0 | 93.1 0.0 0.0 |
| Florence-2-Large | 45.6 50.4 0.0 | 33.6 66.4 0.0 | 75.6 0.0 0.0 |
| Nanonets-OCR-s | 25.7 49.4 28.5 | 1.9 86.5 86.5 | 39.3 22.8 15.2 |
| PaddleOCR-VL | 69.2 20.1 0.0 | 51.3 57.0 0.0 | 78.1 0.0 0.0 |
| Gemma-3-4B | 33.6 41.8 34.6 | 4.4 92.1 87.4 | 37.6 26.3 22.5 |
| Phi-3.5-Vision | 50.9 28.1 23.4 | 7.3 85.3 67.9 | 28.7 57.1 27.9 |
| Qwen2.5-VL-7B | 21.4 54.0 56.2 | 2.6 96.0 96.3 | 21.3 67.0 33.3 |
+------------------+--------------------------+--------------------------+--------------------------+
当作者测试少样本上下文学习（in-context learning）时，他们从训练集中采样了图像-JSON 示例：普福尔茨海姆珠宝提供 1 个示例，埃尔朗根史前和雷根斯堡楼梯学各提供 2 个示例。只有具备自然语言提示词能力的 4 款模型参与了此项实验。
实验结果给出了一个极有价值的警示：少样本提示（few-shot prompting）并不能稳定提升复杂文档的抽取效果。
+------------------+--------------------------+--------------------------+--------------------------+
| 少样本模型 | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (1-2 个示例) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+------------------+--------------------------+--------------------------+--------------------------+
| Nanonets-OCR-s | 61.9 53.3 44.7 | 1.7 93.1 90.7 | 33.3 44.5 44.9 |
| Gemma-3-4B | 26.8 61.7 53.6 | 2.0 97.3 92.1 | 34.9 33.8 20.2 |
| Phi-3.5-Vision | 59.3 40.7 38.9 | 7.2 85.9 71.1 | 52.7 27.5 23.1 |
| Qwen2.5-VL-7B | 18.9 79.0 74.7 | 0.9 98.9 99.4 | 24.1 55.6 30.7 |
+------------------+--------------------------+--------------------------+--------------------------+
在普福尔茨海姆珠宝数据集上，少样本提示确实帮助全部 4 款模型提升了各项指标。Qwen2.5-VL 的 CER 从 2.6% 降至 0.9%，而 mAP-F1 跃升至 99.4%。然而在其他两个数据集上，情况却喜忧参半：
- Nanonets-OCR-s 在埃尔朗根史前手写数据集上的 CER 从 25.7% 恶化至 61.9%，即便其 ANLS* 和 mAP-F1 有所改善。
- Gemma-3-4B 在雷根斯堡楼梯学数据集上的 mAP-F1 从 22.5% 跌至 20.2%，尽管其 CER 和 ANLS* 有所好转。
- Phi-3.5-Vision 在楼梯学数据集上的 CER 从 28.7% 恶化至 52.7%，其余两项指标也全面下滑。
- Qwen 与 Gemma 在埃尔朗根史前数据集上三项指标全面提升，而 Nanonets 在楼梯学数据集上三项指标全面好转。
为什么示例提示在某些场景下奏效，在另一些场景下却适得其反？作者推测，更长的提示词可能会增加指令的理解复杂度，但实验并未定论具体的注意力或视觉编码机制。由此得出的可靠经验更为克制：少样本示例仅是一种值得测试的适配策略，绝非稳赚不赔的灵丹妙药。
本地微调：在 32GB GPU 上运用 QLoRA
作者还对所有参评模型进行了微调。
对于参数量小于 1B 的模型，他们采用了全参数微调。对于更大的模型，则使用量化低秩自适应（QLoRA），在冻结基座权重的同时，结合 4-bit 量化，并在注意力层（Attention）和 MLP 层中注入 LoRA 适配器。方法章节明确指出，该 QLoRA 实验环境基于单张拥有 32GB 显存的 NVIDIA V100 GPU。
检查点（Checkpoint）的选择依据是自回归验证集 CER 的最低值，测试集评估同样采用自回归生成。这是“图像到 JSON”的序列生成过程，而非通过单次前向传播一次性输出整份文档。
+------------------+--------------------------+--------------------------+--------------------------+
| 微调基线结果 | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (Fine-Tuning) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+------------------+--------------------------+--------------------------+--------------------------+
| Donut-Base | 16.4 78.0 0.0 | 6.3 93.6 0.0 | 59.5 0.0 0.0 |
| Donut-CORD | 20.6 75.0 0.0 | 6.9 92.9 0.0 | 66.0 0.0 0.0 |
| Florence-2-Large | 10.7 75.5 45.4 | 11.1 89.9 0.0 | 57.4 4.3 0.0 |
| Nanonets-OCR-s | 23.0 82.5 81.2 | 0.5 96.7 87.2 | 20.2 79.9 50.7 |
| PaddleOCR-VL | 13.7 90.1 85.3 | 1.1 98.7 84.7 | 65.1 0.0 0.0 |
| Gemma-3-4B | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Phi-3.5-Vision | 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Qwen2.5-VL-7B | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
+------------------+--------------------------+--------------------------+--------------------------+
对于表现最出色的几款结构化抽取模型，微调相比零样本评估带来了显著跃升：
- Qwen2.5-VL-7B 在手写埃尔朗根史前档案上达到了 5.8% 的 CER 和 90.0% 的 mAP-F1。
- Phi-3.5-Vision 在雷根斯堡楼梯学数据集的微调基线中拔得头筹，取得了 6.3% 的 CER、90.1% 的 ANLS* 和 72.0% 的 mAP-F1，相较零样本下的 27.9% mAP-F1 大幅攀升。
- Gemma-3-4B 在珠宝数据集上取得了 99.4% 的 mAP-F1，在史前档案上达到 83.1%，但在楼梯学数据集上的 46.9% mAP-F1 表明深度嵌套抽取依然充满挑战。
然而，微调未能消除所有的结构性失效。两款 Donut 变体在三个数据集上的 mAP-F1 依旧全部为 0.0%。相反，PaddleOCR-VL 在埃尔朗根史前数据集上取得了 85.3% 的 mAP-F1，证明专精于 OCR 的模型并非全军覆没。
综合考虑零样本、少样本和微调各阶段的表现，以及稳定的 JSON 输出生成能力，作者最终遴选出 Gemma-3-4B、Phi-3.5-Vision 和 Qwen2.5-VL-7B 参与后续的三项深入探索实验。
检验文档 AI 的“经验法则”：预处理与超参数优化并非稳赚不赔
作者针对标准微调基线，分别对比了超参数优化（HPO）、图像预处理和多阶段训练策略。各项改进措施均独立进行评估，因此这些结果并不代表三者叠加的组合效果。
实验一：超参数优化（HPO）
作者借助基于树状帕森估计器（TPE）采样器的 Optuna，以验证集 CER 最低为优化目标，运行了 20 次试验（每次 5 个 epoch）。随后，他们将挑选出的最优超参数代入基线微调代码中进行完整训练。论文未详细披露具体的搜索空间及最终选定的超参数数值。
+-------------------------+--------------------------+--------------------------+--------------------------+
| 超参数调优 | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (Optuna 对比 默认参数) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (默认) | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Gemma-3-4B (HPO) | 9.3 88.8 65.4 | 0.4 99.2 99.5 | 3.4 92.3 77.9 |
| Phi-3.5-Vision (默认) | 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Phi-3.5-Vision (HPO) | 17.7 84.0 81.2 | 0.3 99.5 99.7 | 3.2 91.8 73.8 |
| Qwen2.5-VL-7B (默认) | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
| Qwen2.5-VL-7B (HPO) | 4.3 93.4 91.2 | 0.5 99.3 99.5 | 3.1 89.4 67.1 |
+-------------------------+--------------------------+--------------------------+--------------------------+
实验结论令人瞩目：
- 在雷根斯堡楼梯学数据集上，HPO 推动 3 款模型的全部三项指标齐齐向好。Gemma-3-4B 的 CER 从 14.6% 骤降至 3.4%，mAP-F1 则从 46.9% 飙升至 77.9%。Qwen2.5-VL 的 CER 从 7.6% 降至 3.1%，Phi 则从 6.3% 降至 3.2%。
- 在普福尔茨海姆珠宝数据集上，由于基线得分本身已处于极高水平，绝对增益相对较小。
- 在埃尔朗根史前手写数据集上，HPO 全面提升了 Qwen 的三项指标。然而 Gemma 的 CER 虽然从 10.4% 改善至 9.3%，mAP-F1 却从 83.1% 暴跌至 65.4%；Phi 的 CER 略微改善，但 ANLS* 和 mAP-F1 均出现倒退。
这种背离发人深省：仅仅根据验证集 CER 挑选出的超参数，并不能保证在测试集上取得更好的结构化抽取表现。实验结果暴露了不同指标走势之间的脱节，不过并未进一步定论具体是哪些字段的错误导致了这一现象。
实验二：图像预处理的潜在陷阱
作者构建了一个经典的四步预处理管线：
- 光照均匀化（Illumination Flattening）：灰度化后利用形态学开运算估计背景光照，并进行归一化以抑制光照不均。
- 去噪（Denoising）：默认采用双边滤波（Bilateral filtering），或非局部均值去噪（Non-Local Means），在保留边缘的同时平滑噪声。
- 限制对比度自适应直方图均衡化（CLAHE）：在亮度通道上增强局部对比度。
- 保比例填充缩放（Letterbox Resizing）：在保持宽高比的前提下缩放并填充至固定尺寸画布，方法部分给出了 $1024 \times 1024$ 的示例。
作者在基线微调的基础上，将这套完整的预处理管线与“原始图像（Raw）”基线进行了对比。这里的“原始”是指不加这套额外的清洗管线，图像仍会经历各模型自身特定的默认预处理。
+-------------------------+--------------------------+--------------------------+--------------------------+
| 图像预处理 | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (原始 对比 预处理) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (原始) | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Gemma-3-4B (预处理 ✓) | 10.4 88.8 85.3 | 1.2 97.6 97.7 | 16.4 69.7 43.6 |
| Phi-3.5-Vision (原始) | 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Phi-3.5-Vision (预处理✓)| 19.0 80.4 76.5 | 0.3 99.2 99.3 | 5.5 89.5 61.1 |
| Qwen2.5-VL-7B (原始) | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
| Qwen2.5-VL-7B (预处理 ✓)| 5.2 90.0 87.4 | 0.7 99.1 99.3 | 12.0 81.7 53.6 |
+-------------------------+--------------------------+--------------------------+--------------------------+
在全部 9 组“模型–数据集”组合中，这套受测预处理管线在多达 8 组中拉低了 mAP-F1，尽管部分其他指标偶有回升。
在雷根斯堡楼梯学数据集上：
- Qwen2.5-VL 的 CER 从 7.6% 恶化至 12.0%，mAP-F1 从 62.8% 跌落至 53.6%。
- Phi-3.5-Vision 的 CER 虽从 6.3% 改善至 5.5%，但 mAP-F1 却从 72.0% 下滑到 61.1%。
- Gemma-3-4B 的 CER 从 14.6% 恶化至 16.4%，ANLS* 与 mAP-F1 同样双双下降。
其他数据集上偶有例外：Gemma 在埃尔朗根史前数据集上的 mAP-F1 从 83.1% 微增至 85.3%；Qwen 在该数据集上的 CER 从 5.8% 改善至 5.2%，尽管其结构化抽取指标有所回落。
由于该实验评估的是整套组合管线，并未对各个滤波操作进行消融隔离，因而无法断定究竟是去噪、对比度拉伸、光照校正、画布填充，还是它们的某种组合引发了性能下滑；实验同样未从神经网络机理层面论证衰减根因。由此带来的实践启示十分明确：引入任何图像预处理前，都必须以未经清洗的原始图像为基线，同时结合文本保真度与结构抽取指标进行严格对照。
实验三：多阶段课程训练（Multi-Stage Curriculum Training）
作者测试了一种两阶段训练方案：首先以基础学习率的 3 倍（$3\times$）在有监督 JSON 目标上通过 Teacher Forcing 展开短暂的预热（warm-up），随后在同一数据集上以基础学习率进行精细微调（refinement）。
训练过程每个 epoch 评估一次验证集，依据验证集最低 CER 选取权重，并在性能未提升达到 patience 容忍周期后触发早停（early stopping）。对比对照组为总训练轮数预算相同、采用余弦学习率衰减（cosine decay）的单阶段基线。
+-------------------------+--------------------------+--------------------------+--------------------------+
| 多阶段训练 | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (单阶段 对比 多阶段) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (单阶段) | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Gemma-3-4B (多阶段) | 8.1 89.9 86.5 | 0.4 99.3 99.5 | 10.3 80.2 63.8 |
| Phi-3.5-Vision (单阶段) | 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Phi-3.5-Vision (多阶段) | 18.0 86.7 83.0 | 0.3 99.5 99.7 | 4.9 90.5 72.5 |
| Qwen2.5-VL-7B (单阶段) | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
| Qwen2.5-VL-7B (多阶段) | 5.8 91.4 89.1 | 0.7 88.5 90.2 | 7.8 86.0 57.8 |
+-------------------------+--------------------------+--------------------------+--------------------------+
多阶段训练呈现出高度依赖具体模型特性的结果。Gemma-3-4B 在全部三个馆藏及所有指标上均显著受益：史前手写数据集的 CER 从 10.4% 降至 8.1%，楼梯学数据集的 mAP-F1 则从 46.9% 提升至 63.8%。
Phi 在楼梯学数据集上的三项指标均获改善，但在其他数据集上变化较小或互有胜负。Qwen 仅在埃尔朗根史前数据集上录得微弱的 ANLS* 提升（CER 不变，mAP-F1 略降），而在珠宝和楼梯学两个数据集上，三项指标甚至全面恶化。本项研究客观记录了这些结果差异，但并未证明这是否系训练不稳定（training instability）所致。
多数据集训练的困境：Gemma 的跨域增益与 Qwen 的负迁移
在工程落地实践中，团队通常希望维护单一模型检查点，而不是为每个文档门类单独维护孤立的模型。作者通过在全部三个数据集的合并训练集（共 743 份文档）上，按照标准微调配置对参评模型进行一次联合训练，对此展开了验证。
随后，他们在各个数据集的独立测试集上评估该联合检查点，并与针对单一数据集训练的对应专属检查点进行对比：
+-------------------------+--------------------------+--------------------------+--------------------------+
| 单数据集 对比 | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| 多数据集联合检查点 | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (单数据集) | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Gemma-3-4B (多数据集联合) | 8.7 90.6 87.9 | 0.3 99.4 99.7 | 9.1 81.5 68.0 |
| Phi-3.5-Vision (单数据集)| 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Phi-3.5-Vision (多数据集)| 19.7 84.0 45.4 | 0.5 99.2 99.4 | 7.4 84.3 54.1 |
| Qwen2.5-VL-7B (单数据集)| 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
| Qwen2.5-VL-7B (多数据集) | 7.1 89.3 91.9 | 1.6 98.2 99.1 | 24.9 65.2 41.4 |
+-------------------------+--------------------------+--------------------------+--------------------------+
这项实验揭示了三款模型截然不同的行为模式：
- Gemma-3-4B 在联合训练中持续受益。其多数据集联合检查点在报告的每一项指标上均击败了对应的专有数据集检查点。在雷根斯堡楼梯学数据集上，CER 从 14.6% 降至 9.1%，mAP-F1 从 46.9% 提升至 68.0%。这一基准测试结果支持了对 Gemma 实施多数据集联合微调，但这并不代表它在完全未见过的全新数据集上能具备何种泛化表现。
- Qwen2.5-VL-7B 在楼梯学数据集上表现出明显的负迁移（negative transfer）。其 CER 从 7.6% 骤升至 24.9%，mAP-F1 从 62.8% 暴跌至 41.4%。虽然史前手写数据集上的 mAP-F1 从 90.0% 微增至 91.9%，但在全部三个馆藏中，其 CER 和 ANLS* 均全面恶化。
- Phi-3.5-Vision 在三个馆藏中也出现了不同程度的下滑，且结构化抽取指标损失尤为严重：史前手写数据集的 mAP-F1 从 82.2% 跌落至 45.4%，楼梯学数据集的 mAP-F1 从 72.0% 跌至 54.1%（珠宝数据集的变化相对平缓）。
作者将这种退化归因于不同 Schema 和文本模态之间的负迁移。研究未能单独剥离梯度冲突（gradient interference）、版面布局冲突或其他具体诱因。因此在工程部署决策中，必须针对每个具体数据集分别做评测：联合训练在本次基准中全面助益了一款模型，却在关键场景下对其他模型造成了不可忽视的损害。
模型的薄弱环节：典型定性失效案例
深入分析输出样本，既能凸显微调带来的显著提升，也能看清顽固残留的识别错误。
在图 4 中，作者对比了 Gemma-3-4B 在一张埃尔朗根史前手写页面上的零样本与微调后预测结果。以下摘录重现了这一对比（其中的省略号与方括号注释为示意性说明，并非完整模型输出）：
零样本预测，样本 CER：26.8%。
{
"Überschrift": "Anthropologisch-prähistorifche ...",
"Inventarnummer": "J.-Nr. E024",
"Maße": {"L": "", "B": "", "D": ""},
"Objektbezeichnung": "Primitiver Kratzer",
"Fundort": "Spay, Belgien",
"Fundzeit": "Aumente Helin",
"Beschreibungstext": "Flacher Stein ... [many OCR errors]"
}
微调后预测，样本 CER：13.9%。
{
"Überschrift": "Anthropologisch=prähistorische ...",
"Inventarnummer": "Eo 24",
"Maße": {"L": "6,25", "B": "3,95", "D": "1,7"},
"Objektbezeichnung": "Primitiver Kratzer ...",
"Fundort": "Spy, Belgien Ausbeute Helin",
"Fundzeit": "",
"Beschreibungstext": "Flacher Stein ... [partially correct]"
}
微调显著纠正了多处抽取内容：
- 表头识别从
Anthropologisch-prähistorifche（长 s 误识为 f）修正为Anthropologisch=prähistorische。 - 馆藏编号从
J.-Nr. E024修正为Eo 24，作者证实这属于正确纠错。 - 嵌套尺寸字段被成功填入
"L": "6,25", "B": "3,95", "D": "1,7"，成功找回了零样本输出中直接留空的测量值。
然而，论文明确指出，模型在长篇手写文本以及字段边界切分（如区分出土地点 Fundort 与出土时间 Fundzeit）上仍面临持续困难。微调后的输出把 "Spy, Belgien Ausbeute Helin" 全部塞进了 Fundort，而让 Fundzeit 留空。该摘录未进一步确立各短语的标准归属，亦未阐释其历史学含义。
这个案例直观呈现了一个共性挑战：整体字符错误率降低且 JSON 语法完全合法，并不等同于消除了字段边界错位与内容归属错误。
对文档工程与 GLAM 数字化管线的启示
对于软件架构师、机器学习工程师和档案数字化团队而言，该研究在其三个馆藏集的范围内提供了切实的实践指引：
- 在需要直接抽取 JSON 时优先评估指令微调型 VLM：Gemma-3-4B、Phi-3.5-Vision 和 Qwen2.5-VL-7B 是生成稳定可靠结构化输出的强力候选者。这并不意味着应全盘放弃专有 OCR 引擎：该基准测试的是特定模型和特定接口，部分专有模型在单个数据集上微调后同样表现优异。值得注意的是，该研究范围仅限德语等拉丁文字档，面对字形庞大且版面密集的汉字表意文字体系，此类轻量级 VLM 的字库识别能力与结构解析效果仍需针对中文场景单独验证。
- 验证少样本提示效果，切勿盲目假设其必定带来增益：示例在珠宝数据集上提升了全部 4 款受测模型的指标，但在手写体和嵌套表单中表现起伏不定。在选定提示词策略前，务必在具备代表性的文档样本上对比零样本与少样本效果。
- 测试图像清洗时保留原始图像基线：完整的传统预处理管线往往会拉低结构化抽取指标，但具体影响因模型、数据集及评价指标而异。这些发现提示我们应进行经验性对照实验，而非一概否定去噪或对比度调整。
- 对复杂表单考虑超参数优化（HPO），但须同步监测多项指标：经 Optuna 优化的参数显著提升了楼梯学数据集的表现（Gemma 的 CER 从 14.6% 降至 3.4%，Phi 从 6.3% 降至 3.2%，Qwen 从 7.6% 降至 3.1%）。但在手写体场景下，更低的 CER 有时反而伴随着更差的 mAP-F1。
- 警惕多数据集联合检查点的负迁移：在合并训练多类别模型前，务必对各个馆藏门类单独评测。专属数据集检查点在部分集合上大幅优于 Phi 和 Qwen 的联合模型，而 Gemma 则在联合训练中稳定获益。
客观局限与未来展望
这些实验结果提供了极具价值的证据，但理解其局限性同样重要：
- 单变量对比与组合收益尚未验证：作者对超参数优化、预处理和多阶段训练均进行了独立评估。将这些改进手段组合应用是否能产生叠加收益，尚有待检验。
- 受限解码仍有待探索：评估采用的是温度为 0 的贪婪解码（greedy decoding）。作者提出将针对合法 JSON 的语法受限解码（constrained decoding）作为未来研究方向，但论文尚未展示其实际效果；况且，语法合法性与字段数值的真实准确性仍需加以区分。
- 计算预算对齐问题：较大模型采用了 QLoRA 微调，而 1B 以下模型采用的是全参数微调。在严格匹配的计算预算下对这两种方案进行受控对照实验仍属后续工作。
- 数据集与模型覆盖面：该基准仅涵盖三个专业馆藏，测试集样本规模分别为 46、89 和 25 份文档。作者指出模型生态迭代迅猛，并呼吁开展更广泛的多语言评估、针对手写体的专门适配以及融合版面感知的字段绑定研究。
- 未直接基准对照云端商业替代品：本实验并未将这些本地模型与商业 API 系统或人工转录进行直接对比，亦未量化成本或能耗节约。论文展现的是本地模型的抽取能力现状，而非相较商业云端方案在实测中的全面胜出。
从更宏观的视角来看，这项研究传递了积极的信号：经过精心调优的轻量级 VLM 完全有能力在特定馆藏档案上支撑起机构自主可控的“OCR 转结构化 JSON”抽取流程。论文报告的 4B–7B 模型 QLoRA 结果展示了显著提升（尤其是针对印刷体珠宝卡片），尽管手写体和深度嵌套表单仍残留不少实质性错误。对于正在权衡商业 API 替代方案的机构而言，该研究不仅提供了具有参考价值的模型选型与调优策略，更阐明了一个核心原则：必须将文本内容准确率、字段归属匹配度以及 JSON 语法合法性纳为一体，开展综合评估。