教 500M 视觉模型学习导航，意外使其 OCR-Bench 得分提升超过一倍

一个针对导航辅助训练的小型视觉语言模型，在没有专门经历 OCR 训练阶段的情况下，也能显著提升其 OCR-Bench 得分。这是来自印度理工学院曼迪分校（IIT Mandi）和穆罕默德·本·扎耶德人工智能大学（Mohamed bin Zayed University of Artificial Intelligence）的研究人员在论文《Small yet Assistive: Spatially-Aware Post-Training for Low Vision》中得出的最引人注目的结论之一。

该论文发表于 2026 年 9 月 23 日，介绍了由 Rishabh Choudhary 及其合著者主导的一项工作：为盲人与低视力（BLV）群体构建端侧视觉解说员。他们以参数量为 507.5 million 的紧凑模型 SmolVLM2-500M 为基础，设计了一套针对空间定位（spatial grounding）、方向性语言、公制距离以及危险检测的后训练流水线。

当他们在标准视觉语言基准上评估训练完成的模型时，结果令人惊叹：在 OCR-Bench 上，该模型的 ANLS 得分从 32.54% 攀升至 65.54%，相对提升了 101.5%；在 TextVQA 上，准确率从 37.75% 提升至 54.47%，增幅达 44.2%。

论文认为，这些结果证明了面向 BLV 的空间后训练能够迁移至通用的视觉文本推理任务中。这种性能提升源自对具备空间定位特征的视频描述的训练，而非来自专门的文档识别阶段。

“礼貌走廊”难题

如果你让现有的视觉语言模型描述一个房间，它可能会生成一句泛泛的描述：“一条走廊，有几扇门和几个人。”

这对于图像描述（image-captioning）基准评测或许足够，但论文指出，它完全无法满足真实的物理导航需求。由 ITC 制定并被 Netflix 和美国盲人理事会（American Council of the Blind）采纳的专业音频解说（audio-description）准则规定，解说必须采用一般现在时、具备空间定位、危险优先且保持客观。

符合音频解说规范的系统会这样描述：“一条走廊向前延伸约八米。你左侧三米处有一扇半开的门。一个人正从远处迎面向你走来。”

大参数量的 VLM 能够生成高质量且符合音频解说规范的表述，但论文指出它们无法在移动设备上运行；而小型 VLM 虽然推理延迟具有竞争力，却往往缺乏 BLV 导航辅助所需的空间细节、方位线索和危险意识。

研究人员选择 SmolVLM2-500M-Video-Instruct 作为基础模型。其基座架构由三部分组成：

• 参数量约为 86.4 million 的 SigLIP 视觉 Transformer 塔，处理 384×384 像素的输入。
• 带有 LayerNorm、参数量约为 11.8 million 的线性投影连接器，用于将视觉特征映射为语言模型 token。
• 采用 LLaMA 架构的 SmolLM2 语言解码器，参数量约为 409.3 million，包含 32 个 block，上下文窗口为 8,192 token。

总参数量约为 507.5 million。论文中使用“500M”作为该模型的类别标签，而非字面上的精确参数总量。其研发目标是一个既能生成具备空间定位能力的 BLV 描述，又能满足端侧部署实用要求的轻量级模型。

后训练流水线

作者构建了一个结合合成教师监督、分阶段监督微调（phased SFT）、基于规则的强化学习以及恢复补丁的四阶段流水线。

[4 Video Keyframes (LUV Delta)] + [BLV Prompt]
                     │
                     ▼
         ┌───────────────────────┐
         │ Phase 1: SigLIP Only  │  (First 25% of training steps)
         └───────────┬───────────┘
                     ▼
         ┌───────────────────────┐
         │ Phase 2: LoRA Unfreeze│  (All LoRA adapters; Vision LR halved)
         └───────────┬───────────┘
                     ▼
         ┌───────────────────────┐
         │   GRPO Reinforcement  │  (6 rule rewards: distance, hazards, no hedging)
         └───────────┬───────────┘
                     ▼
         ┌───────────────────────┐
         │   SFT Recovery Patch  │  (50 curated samples)
         └───────────┬───────────┘
                     ▼
         [Fold 3 LoRAs into Base Weights] -> Single 969 MB FP16 Checkpoint

阶段 1：无需额外模型推理的关键帧提取

为了构建训练输入，团队利用 LUV 感知色彩空间的帧间差分技术，从每个视频中提取四个关键帧。他们首先对每个视频进行下采样，获取至多 64 个等间隔帧，计算平均绝对帧间差，并选出差异最大的三帧与第一帧组合在一起。

这种方法无需额外的模型推理步骤即可捕捉场景切换与显著的运动事件。论文将这种开销极低的 LUV 方法与 DINOv2 进行了对比，指出后者会增加约 86 million 参数以及 50–100 毫秒的额外开销。

阶段 2：通过分阶段 SFT 蒸馏 Gemma 4

为生成合成训练数据，团队使用 Gemma-4-31B-IT 作为教师模型。其系统提示词融入了专业的音频解说准则：一般现在时、安全关键内容置前、带距离的明确空间位置、仅描述可观察到的特征、首句点明环境类型、标注危险与障碍物、主动语态，以及最多四句话。

教师模型为 9,646 个视频生成了解说文本，其中 7,985 个来自 Charades，1,661 个来自 AVCaps。

阶段切换解决了作者所指出的一项训练风险——过早过拟合于未对齐的特征。他们在单次训练运行中实现了两个阶段：

1. 视觉对齐（前 25% 训练步数）： 仅 SigLIP 编码器和多模态连接器参与训练。LoRA 适配器保持冻结，以便视觉表征能够优先与音频解说的数据分布对齐。

2. 全面自适应（剩余 75% 训练步数）： 解冻所有 LoRA 适配器，同时将视觉编码器的学习率减半至 5×10⁻⁶。由自定义的 DifferentialLRTrainer 负责管理独立的 AdamW 参数组。

Prompt token（包括系统指令、用户文本及图像 token）均被掩蔽为 -100，因此因果语言模型损失仅在助手回复的 token 上进行计算。

阶段 3：基于确定性奖励的 GRPO

监督微调教会了模型音频解说的结构组织。随后，团队采用群体相对策略优化（GRPO）来进一步优化针对 BLV 场景的行为表现。

对于每个 prompt，GRPO 采样四个输出候选，并在群体内部对它们的奖励进行归一化。作者并未采用训练出的奖励模型，而是构建了六个确定性的、基于规则的组件，单样本计算耗时不足 1 毫秒：

• 警示或危险意识： 当参考答案与生成结果均包含警示项时 +0.40；当参考答案包含但生成结果遗漏时 -0.30；当生成结果在缺乏参考支持的情况下引入警示时 -0.10。
• 方位定位： 每包含一个来自 {left, right, center, ahead, behind} 的词汇 +0.08，上限为 +0.24。
• 公制距离： 至少匹配一个公制距离时 +0.20。
• 结构精炼度： 长度为两到四句话时 +0.16；超过六句话时 -0.10。
• 模糊措辞惩罚： 出现如“appears to be”或“I cannot”等短语时 -0.20。
• 环境识别： 当第一句话使用十四个环境术语之一准确命名场景类型时 +0.10。

这些规则共同构成了论文中针对 BLV 场景的专属奖励函数。

阶段 4：恢复补丁

论文指出，多阶段后训练容易引发灾难性遗忘。为了在保留 BLV 专属空间定位能力的同时恢复通用描述质量，作者应用了一个轻量级的 SFT 补丁：以 GRPO 检查点为底座，在 50 条精心挑选的 Gemma 解说样本上训练 3 个 epoch，采用 rank 为 64、alpha 为 128、学习率为 5×10⁻⁵、batch size 为 2 且梯度裁剪阈值为 1.0 的全新 LoRA 适配器。

在推理时，SFTv2、GRPO 和 SFT 补丁适配器被顺次合并到底座权重中，生成了一个没有任何额外推理开销的统一模型。

报告的指标表明各维度之间存在权衡取舍，而非全面提升。在表 8 中，GRPO 条件下的 MCF Ambience 得分为 3.44，而最终修补后的条件下降至 2.94。在表 7 中，动作覆盖率从 88% 降至 62%。但与此同时，修补后的模型在 LLM 评判的八个子维度中有七个斩获最高分，并在多项关键词和 NLP 指标上取得了最佳结果。

导航后训练如何使 OCR-Bench 得分翻倍有余

最令人震惊的结果出现在该模型的通用视觉能力上。

模型	参数量	OCR-Bench ANLS	TextVQA 准确率	TextVQA ANLS
SmolVLM2-256M (base)	256M	16.49%	1.08%	3.09%
SmolVLM2-500M (base)	500M	32.54%	37.75%	47.52%
SmolVLM2-2.2B (base)	2.2B	25.44%	27.51%	29.64%
LLaVA-1.5-7B	7B	28.78%	47.79%	62.96%
PaliGemma-3B	3B	69.76%	76.09%	87.36%
Smol-VL-BLV (Ours)	500M	65.54%	54.47%	65.97%
Qwen2.5-VL-3B	3B	88.56%	81.12%	90.39%

OCR-Bench 得分从基线 SmolVLM2-500M 的 32.54% 跃升至 Smol-VL-BLV 的 65.54%，TextVQA 准确率亦从 37.75% 攀升至 54.47%。

该微调模型在 OCR 任务上比 2.2B 参数量的 SmolVLM2 基线高出约 40 个百分点。在 OCR-Bench ANLS 和 TextVQA 准确率上，它的表现也优于 LLaVA-1.5-7B，不过像 Qwen2.5-VL-3B 这样更大的模型整体上依然保持领先。

为什么训练空间定位场景描述能帮助网络读取文字？

论文的讨论指向了教师数据的内容。Gemma 生成的描述涵盖了环境状态、周边危险、方位线索、人物位置、服装颜色以及动态行为。作者认为，这种具备空间定位的监督信息促使小型模型构建起空间表征图，并建立起结构对齐，从而使其对字符及文本行的几何边界解析更加敏锐。

这是论文针对该能力迁移给出的解释。报告的实验证实了 OCR 与 VQA 的性能增益，但并未单独剥离出具体的注意力机制，也未能证明导航与 OCR 在任何情况下都依赖完全相同的内部表征。

深入剖析导航性能增益

在一个包含 458 个样本的评估集上，作者测量了 BLV 关键词覆盖率以及标准的 NLP 指标。累积结果展现了各训练阶段的不同贡献，同时也伴随着某些维度上的权衡。

指标	条件 A (Base)	条件 B (SFT)	条件 C (+GRPO)	条件 D (+Patch)	变化 A→D
空间覆盖率	79%	81%	97%	100%	+21
方位线索	29%	51%	88%	100%	+71
距离提及	45%	20%	22%	100%	+55
障碍物提及	77%	85%	92%	96%	+19
移动危险	16%	21%	17%	66%	+50
台阶/高差变化	4%	7%	7%	5%	+1
BLEU-4	0.74	1.66	1.97	13.53	+12.79
ROUGE-L	10.74	17.66	17.93	30.49	+19.75

SFT 建立了基本的描述结构，将 ROUGE-L 从 10.74 提升至 17.66，BLV 均值从 79% 提升至 86%。随后的 GRPO 进一步将 BLV 均值推高至 93%，障碍物覆盖率从 85% 升至 92%，方位覆盖率从 51% 增至 88%。然而，其距离覆盖率仍停留在 22%，移动危险覆盖率也从 21% 降至 17%。

恢复补丁带来了最佳的 NLP 分数，并将条件 D 的方位和距离覆盖率提升至 100%，障碍物覆盖率达到 96%，移动危险覆盖率达到 66%。但它并未在所有指标上取得改善：动作覆盖率从 GRPO 后的 88% 下滑至 62%，BLV 均值也从 93% 微降至 90%。

在一项独立的人工评测中，二十位视力正常的众包评审员观看了五段实时演示视频。在 0–5 分的评分体系下，最终系统在导航相关性上获得 4.0 的均分，警示/警报准确性为 3.5，空间与方位精确度为 4.5，回复简洁度为 4.5，整体可信度为 4.0。这些评分印证了该模型面向导航的辅助目标，但仍不足以确立安全独立导航的能力。

这项 OCR 迁移成果的意义

对于轻量级多模态研究而言，该论文给出了三个更具体的结论：

1. 空间定位监督能够迁移至视觉文本基准。 该结果并不意味着这种训练方案能自动提升各类 PDF、收据或文档识别流水线的表现。但它确实证明，在当前模型与评测设定下，面向 BLV 的后训练在提升空间描述质量的同时，也显著改善了 OCR-Bench 和 TextVQA 的成绩。考虑到该研究目前仅涵盖英文与拉丁文本，而汉字作为包含数千字符且排版密集的表意文字系统，这种空间定位能力的迁移能否同样泛化至汉字识别仍有待进一步验证。

2. 在当前设定下，在线 GRPO 的表现优于所测试的离线偏好方法。 在平衡评估集上，DPO 在 MCF 上的得分为 3.89，RLAIF-V DPO 为 3.88，均低于 SFT v2 的 4.38 分；而 GRPO 在 MCF 上达到 4.18，在 NAF 上达到 4.20。作者指出，在线奖励机制更契合于强化方位词汇、距离参考和危险意识。

3. 教师-学生蒸馏能够将无障碍导向的解说行为迁移至紧凑模型中。 Gemma-4-31B-IT 生成了 9,646 条符合音频解说规范的文本，507.5M 参数量的学生模型以此作为合成监督数据。论文认为这证明了强大的教师生成数据足以在小型 VLM 中诱导出更为精确的空间定位能力。

轻轨站的标识指引非常糟糕——拍摄者 shankar s.，源自 flickr，遵循 BY 2.0 协议。

压缩至 442 MB

训练该模型使用了一块单卡 48 GB 的 RTX A6000 GPU。要在手机上运行这一成果，则需要经过单独的转换与量化流程。

作者将训练好的三个 LoRA 适配器合并到底座权重中，生成了一个 969 MB 的 float16 格式 HuggingFace 检查点。导出为 GGUF 时，模型被拆分为两个部署组件：

• 语言模型骨干网络：float16 格式下为 783 MB。
• 视觉投影器 mmproj.gguf：float16 格式下为 191 MB。

标准的 Q4_K_M 量化将语言模型缩减至 290 MB，但论文报告指出均匀 4-bit 压缩损害了位置推理能力。因此，作者采用了基于重要性加权的非线性量化方案 IQ4_NL。

首先，他们在包含约 500 条 BLV 解说文本的校准集上运行 llama-imatrix。此步骤记录了哪些权重通道激活最为频繁，并生成用于非均匀比特分配的重要性矩阵。

┌────────────────────────────────────────────────────────┐
│               Deployed Package (442 MB)                │
├────────────────────────────┬───────────────────────────┤
│ LM Backbone (251 MB)       │ Vision Projector (191 MB) │
│ - Self-Attention: Q5_K     │ - Native Float16          │
│ - Other Layers: IQ4_NL     │ - Unquantized             │
│ - Importance-Matrix Tuned  │                           │
└────────────────────────────┴───────────────────────────┘

其次，他们采用了混合精度覆盖策略：自注意力投影层（q_proj、k_proj 和 v_proj）采用更高精度的 Q5_K 进行量化，而网络其余大部分层则采用 IQ4_NL。作者指出，这些注意力机制对于维持方位一致性至关重要。

附录报告显示，该覆盖策略仅增加了约 15 MB 开销，最终得到了 251 MB 的语言骨干网络。搭配 191 MB 的 float16 视觉投影器，整个端侧部署包体积共计 442 MB。

端侧延迟的残酷现实

作者将这个 442 MB 的模型包部署在配备 Exynos 1480 处理器和 8 GB RAM 的 Samsung Galaxy A55 手机上。他们通过 Termux 本地编译了 llama.cpp，并以 4 个 CPU 线程运行最终配置。

在最终的 21 帧基准测试中，模型加载到 RAM 的平均耗时为 291 毫秒，峰值内存占用约为 780 MB，且未发生任何崩溃或内存溢出错误。生成速度平均达到每秒 39.3 个 token，生成阶段本身约耗时 1.4 秒。

然而坏消息是，从视觉输入到完成描述的总耗时高达 27.1 秒。

这其中大部分时间都耗费在 Prompt 评估阶段。在生成开始前，A55 的 CPU 处理视觉输入和 prompt token 平均花费了 25.1 秒。

平台	硬件后端	TTFT (Prompt Eval)	生成速度	总延迟
Cloud	Nvidia T4 GPU	1.39 s	187.42 tok/s	1.70 s
MacBook	Apple Silicon (Metal)	1.95 s	132.6 tok/s	2.41 s
Samsung A55	Exynos 1480 (CPU Only)	25.10 s	42.9 tok/s	27.10 s

论文在其 21 帧最终基准测试中报告的平均生成速度为每秒 39.3 个 token，而在跨硬件对比中为每秒 42.9 个 token，这两个数字对应不同的测试汇总场景。无论在哪种情况下，A55 的延迟都主要受制于纯 CPU 的 prompt 评估过程。

相同的量化模型在使用 Metal 的 Apple Silicon Mac 上完成整个多模态流程仅需 2.41 秒，在云端 T4 GPU 上仅需 1.70 秒。作者将 A55 的迟缓表现归咎于硬件加速支持的缺失，而非模型本身的生成速度所致。

论文调研了几条加速路线：

• Android NNAPI： llama.cpp 的 Android 构建版本未提供 NNAPI 执行提供程序。其 GPU 路径以 OpenCL 和 Vulkan 为目标，而三星 Exynos 的 NNAPI 驱动在遇到不支持的操作时会频繁回退至 GPU。
• ONNX Runtime Mobile： Hugging Face Optimum 无法导出 SmolVLM2；其导出器抛出了 KeyError: 'smolvlm2'，因为该模型的 SigLIP 编码器及序列中段的视觉 token 注入逻辑尚未注册导出支持。
• MLC-LLM： 所测试的加速路径支持 LLaMA、Mistral 和 Qwen 系列模型，且主要面向骁龙硬件。SmolVLM2 未被包含在内，因此 Exynos 设备只能回退到 CPU。
• Vulkan 和 OpenCL： Vulkan 头文件虽可获取，但缺乏厂商专有的 Mali ICD 加载器。同样，专有的 OpenCL 驱动也无法从 Termux 中访问。
• Samsung ONE SDK： 直接进行 Exynos NPU 编程需要签署保密协议，且模型必须是由 TFLite 或 ONNX 转换而来的 .nnc 格式。在项目进行期间，作者团队未能获得访问权限。

这款手机虽然包含专属 NPU，但测试所用的 Termux 部署方案无法调用它。最终结果便是：模型虽然能轻松装入设备内存，但在进行开销巨大的视觉前缀计算时，依然只能依赖通用 CPU 核心。

盲区：仍未攻克的短板

作者坦诚地指出了模型的局限性。对于致力于设计无障碍系统或关键空间任务的人员而言，理解这些缺陷至关重要：

• 台阶/高差变化提及率依然极低： 条件 D 在方位覆盖率上达到了 100%，但在台阶与高差变化上仅达到 5%。作者将其主要归因于源数据集中楼梯、路缘、高程变化等相关场景的样本代表性不足。
• 移动危险识别仍不完备： 最终条件下移动危险关键词的覆盖率仅达 66%，存在大幅改进空间。
• 合成距离估算存在局限： 诸如“前方三米”之类的距离是教师模型做出的近似视觉判断，而非传感器实测数据。
• 场景覆盖有限： 数据集包含部分室内外场景，但作者将马路、拥挤人流以及其他高难度导航环境列为未来工作的方向。
• 低视力与全盲的差距： 本项工作主要面向低视力用户。作者表示，该系统目前尚未达到全盲用户实现安全独立导航所必需的可靠性标准。
• 视力正常人员参与人工评测： 报告的人工评测由二十名视力正常的众包人员完成。作者将邀请真实的 BLV 用户参与评估视为后续的关键一步。

展望未来

Smol-VL-BLV 表明，轻量级 VLM 能够被专门定制用于具备空间定位能力、面向导航的场景解说，同时依然保持离线并在智能手机上成功部署。

通过将教师生成的监督信息与确定性强化学习相结合，Choudhary 及其团队在一个 507.5M 参数量的模型中，成功提升了针对 BLV 的空间定位能力以及通用视觉文本基准的表现。

对于 OCR 研究领域而言，最具价值的成果在于这种经实测验证的能力迁移：相较于 SmolVLM2-500M 基线，OCR-Bench ANLS 相对提升了 101.5%，TextVQA 准确率提高了 44.2%。作者给出的解释是，具备空间定位的描述有助于促进更优的空间图表征与几何解析，但论文仅将其作为一项实验结果与假设提出，而非断定其为 OCR 领域的普适规律。

作者计划收集更多涵盖楼梯、路缘、高差变化与移动危险的数据；引入专门的高差变化奖励机制；在拥挤斑马线和繁华十字路口等场景下进行评测；开发基于几何的空间正确性评估指标；并针对错误方向、虚假危险报警以及伪造距离等问题增加事实性检验。