يمكن لنموذج بصري-لغوي مدمج، تم تدريبه على المساعدة الملاحية، تحسين نتيجته على مقياس OCR-Bench دون الحاجة إلى مرحلة تدريب منفصلة مخصصة للتعرف الضوئي على الحروف (OCR). هذه إحدى أكثر النتائج إثارة للدهشة في ورقة بحثية بعنوان Small yet Assistive: Spatially-Aware Post-Training for Low Vision، أعدها باحثون من IIT Mandi وجامعة محمد بن زايد للذكاء الاصطناعي (Mohamed bin Zayed University of Artificial Intelligence).

تصف الورقة، المنشورة في 23 سبتمبر 2026، عملاً قاده Rishabh Choudhary وزملاؤه لبناء راوٍ بصري يعمل على الأجهزة لمساعدة المكفوفين وضعاف البصر (BLV). اعتمد الباحثون على SmolVLM2-500M، وهو نموذج مدمج يضم 507.5 مليون معامل، وأخضعوه لمسار تدريب لاحق يستهدف الإرساء المكاني، واللغة الاتجاهية، والمسافات المترية، واكتشاف المخاطر.

عند تقييم النموذج النهائي على مقاييس الأداء البصرية-اللغوية القياسية، كانت النتيجة لافتة للغاية؛ إذ قفزت درجة ANLS للنموذج في OCR-Bench من 32.54% إلى 65.54%، محققة تحسناً نسبياً قدره 101.5%. وفي TextVQA، ارتفعت الدقة من 37.75% إلى 54.47%، بنسبة زيادة بلغت 44.2%.

وتفسر الورقة هذه النتائج كدليل على أن التدريب المكاني اللاحق الموجه لـ BLV يمكن أن ينتقل إلى الاستدلال العام على النصوص المرئية. وقد تحقق هذا التحسن من خلال التدريب على أوصاف الفيديو ذات الإرساء المكاني، وليس من مرحلة مخصصة للتعرف على المستندات.

indoor corridor directional signs

معضلة الرواق المهذب

إذا طلبت من أحد النماذج البصرية-اللغوية الحالية وصف غرفة، فقد يقدم وصفاً عاماً: "رواق يضم بعض الأبواب والأشخاص".

قد يكون هذا ملائماً لمقاييس كتابة التسميات التوضيحية للصور، لكن الورقة تجادل بأنه غير كافٍ للملاحة المادية الواقعية. تفرض إرشادات الوصف الصوتي الاحترافي، التي وضعتها ITC واعتمدتها Netflix والمجلس الأمريكي للمكفوفين (American Council of the Blind)، سرداً في زمن المضارع، ذا إرساء مكاني، يضع المخاطر أولاً، ويتسم بالموضوعية.

قد يقول راوٍ ملتزم بمعايير الوصف الصوتي: "يمتد الرواق لمسافة ثمانية أمتار تقريباً إلى الأمام. يوجد باب مفتوح جزئياً على يسارك، على بعد ثلاثة أمتار. يسير شخص نحوك من الطرف البعيد".

يمكن لنماذج VLM الكبيرة توليد أوصاف عالية الجودة ومتوافقة مع معايير الوصف الصوتي، إلا أن الورقة تشير إلى عدم إمكانية تشغيلها على الأجهزة المحمولة. في المقابل، توفر نماذج VLM الصغيرة زمن استجابة منافساً، لكنها غالباً ما تفتقر إلى التفاصيل المكانية، والإشارات الاتجاهية، والوعي بالمخاطر اللازم للمساعدة الملاحية لـ BLV.

اختار الباحثون SmolVLM2-500M-Video-Instruct كنموذج أساس. وتتكون البنية الأساسية من ثلاثة أجزاء:

برج محول بصري SigLIP يضم ما يقرب من 86.4 مليون معامل، ويعالج مدخلات بدقة 384×384 بكسل.
رابط إسقاط خطي مع LayerNorm ونحو 11.8 مليون معامل، يطابق السمات البصرية مع رموز نموذج اللغة (tokens).
مفكك تشفير لغوي SmolLM2 ببنية LLaMA يضم ما يقرب من 409.3 مليون معامل، و32 كتلة، ونافذة سياق تتسع لـ 8,192 رمزاً.

يبلغ إجمالي عدد المعاملات نحو 507.5 مليون معامل. وتستخدم الورقة "500M" كتسمية لفئة النموذج وليس كمجموع حرفي للمعاملات. وكان الهدف هو بناء نموذج مدمج قادر على إنتاج أوصاف ذات إرساء مكاني لـ BLV مع البقاء عملياً للاستدلال على الأجهزة.

خط تجميع التدريب اللاحق

بنى المؤلفون مسار عمل من أربع مراحل يجمع بين إشراف المعلم الاصطناعي (synthetic teacher supervision)، والضبط الدقيق الخاضع للإشراف على مراحل (phased SFT)، والتعلم المعزز القائم على القواعد، ورقعة استعادة (recovery patch).

[4 Video Keyframes (LUV Delta)] + [BLV Prompt]
                     │
                     ▼
         ┌───────────────────────┐
         │ Phase 1: SigLIP Only  │  (First 25% of training steps)
         └───────────┬───────────┘
                     ▼
         ┌───────────────────────┐
         │ Phase 2: LoRA Unfreeze│  (All LoRA adapters; Vision LR halved)
         └───────────┬───────────┘
                     ▼
         ┌───────────────────────┐
         │   GRPO Reinforcement  │  (6 rule rewards: distance, hazards, no hedging)
         └───────────┬───────────┘
                     ▼
         ┌───────────────────────┐
         │   SFT Recovery Patch  │  (50 curated samples)
         └───────────┬───────────┘
                     ▼
         [Fold 3 LoRAs into Base Weights] -> Single 969 MB FP16 Checkpoint

المرحلة 1: الإطارات المفتاحية دون استدلال إضافي للنماذج

لإنشاء مدخلات التدريب، استخرج الفريق أربعة إطارات مفتاحية (keyframes) لكل مقطع فيديو باستخدام تفاضل الفضاء اللوني الإدراكي في فضاء LUV. قاموا أولاً بأخذ عينات فرعية من كل فيديو بحد أقصى 64 إطاراً متباعدة بالتساوي، ثم حسبوا متوسط الفرق المطلق بين الإطارات، واختاروا أعلى ثلاثة إطارات من حيث الفروق إلى جانب الإطار الأول.

التقطت هذه الطريقة انتقالات المشهد وأحداث الحركة البارزة دون الحاجة إلى خطوة استدلال إضافية للنموذج. وتقارن الورقة بين طريقة LUV منخفضة التكلفة وبين DINOv2، التي تصفها بأنها تضيف نحو 86 مليون معامل وحملاً زمنياً إضافياً يتراوح بين 50 و100 مللي ثانية.

المرحلة 2: تقطير Gemma 4 مع SFT بتبديل المراحل

لتوليد بيانات تدريب اصطناعية، استخدم الفريق Gemma-4-31B-IT كمعلم. وتضمّن موجه النظام (system prompt) إرشادات الوصف الصوتي الاحترافي: صيغة المضارع، وتقديم المحتوى الحرج للسلامة أولاً، وتحديد المواقع المكانية بوضوح مع المسافات، والتركيز على الميزات القابلة للملاحظة فقط، وتحديد نوع البيئة في الجملة الأولى، والإشارة إلى المخاطر والعقبات، واستخدام صيغة المبني للمعلوم، وألا يتجاوز الوصف أربع جمل كحد أقصى.

ولّد المعلم تعليقات توضيحية لـ 9,646 مقطع فيديو: 7,985 من Charades و1,661 من AVCaps.

ويعالج تبديل المراحل خطراً تدريبياً حدده المؤلفون بالفرط في التخصيص المبكر (early overfitting) للسمات غير المحاذية. حيث نفذوا عملية تدريب واحدة عبر مرحلتين:

المحاذاة البصرية (Visual Alignment)، في أول 25% من الخطوات: اقتصر التدريب على مشفر SigLIP والرابط متعدد الوسائط. وظلت محولات LoRA مجمدة حتى تتمكن التمثيلات البصرية أولاً من محاذاة توزيع الوصف الصوتي.
التكيف الكامل (Full Adaptation)، في الـ 75% المتبقية: تم فك تجميد جميع محولات LoRA، وتخفيض معدل تعلم مشفر الرؤية إلى النصف ليصبح 5×10⁻⁶. وتولى DifferentialLRTrainer مخصص إدارة مجموعات معاملات AdamW المنفصلة.

تم حجب رموز الموجه (Prompt tokens) — بما في ذلك تعليمات النظام، ونصوص المستخدم، ورموز الصور — بالقيمة -100، بحيث حُسبت خسارة نموذج اللغة السببي (causal-language-model loss) فقط على رموز استجابة المساعد.

المرحلة 3: GRPO مع مكافأة قطعية محددة

يُكسب الضبط الدقيق الخاضع للإشراف النموذج هيكلية الوصف الصوتي. ثم استخدم الفريق بعد ذلك تحسين السياسة النسبية الجماعية (GRPO) لتحسين السلوك المخصص لـ BLV.

لكل موجه، أخذ GRPO عينات من أربع إكمالات وقام بتطبيع مكافآتها داخل المجموعة. وبدلاً من استخدام نموذج مكافأة مُتعلَّم، صمم المؤلفون ستة مكونات قطعية قائمة على القواعد يمكن حسابها في أقل من مللي ثانية واحدة لكل عينة:

الوعي بالتحذير أو الخطر: +0.40 عندما يحتوي كل من المرجع والتوليد على عنصر التحذير؛ و-0.30 عندما يحتوي المرجع عليه بينما يغفله التوليد؛ و-0.10 عندما يورده التوليد دون سند في المرجع.
الإرساء الاتجاهي: +0.08 لكل كلمة من {left, right, center, ahead, behind}، بحد أقصى +0.24.
المسافة المترية: +0.20 لوجود مسافة مترية مطابقة واحدة على الأقل.
الاقتصاد الهيكلي: +0.16 للجمل التي يتراوح عددها بين جملتين إلى أربع جمل؛ و-0.10 لأكثر من ست جمل.
عقوبة التحوط (Hedging penalty): -0.20 للعبارات الاحترازية مثل "appears to be" أو "I cannot".
تحديد البيئة: +0.10 عندما تذكر الجملة الأولى نوع المشهد باستخدام أحد مصطلحات البيئة الأربعة عشر.

وتحدد هذه القواعد مجتمعة مكافأة الورقة المخصصة لـ BLV.

المرحلة 4: رقعة الاستعادة

توضح الورقة أن التدريب اللاحق متعدد المراحل يمكن أن يسبب نسياناً كارثياً (catastrophic forgetting). ولاستعادة جودة الوصف العامة مع الحفاظ على الإرساء المكاني الخاص بـ BLV، طبق المؤلفون رقعة SFT خفيفة الوزن: ثلاث حقب تدريبية (epochs) على 50 تعليقاً مختاراً بعناية من Gemma، باستخدام نقطة فحص GRPO كأساس ومحول LoRA جديد برتبة (rank) 64، وألفا 128، ومعدل تعلم 5×10⁻⁵، وحجم دفعة 2، وقص التدرج (gradient clipping) عند 1.0.

أثناء وقت الاستدلال، تم دمج محولات SFTv2 وGRPO ورقعة SFT بالتتابع في الأوزان الأساسية، مما أنتج نموذجاً موحداً دون أي عبء استدلال إضافي.

تُظهر المقاييس المسجلة وجود مقايضة بدلاً من حدوث تحسن شامل؛ ففي الجدول 8، بلغت درجة MCF Ambience قيمة 3.44 لحالة GRPO و2.94 للحالة النهائية المرقعة. وفي الجدول 7، انخفضت تغطية الحركة (Action coverage) من 88% إلى 62%. وفي الوقت نفسه، حققت الحالة المرقعة أعلى درجة في سبعة من أصل ثمانية أبعاد فرعية للتقييم بواسطة نماذج اللغة الكبيرة (LLM-judge)، وقدمت أقوى النتائج في العديد من مقاييس الكلمات المفتاحية ومعالجة اللغة الطبيعية (NLP).

كيف ضاعف التدريب اللاحق على الملاحة نتيجة OCR-Bench بأكثر من الضعف

النتيجة الأكثر إثارة للدهشة هي ما طرأ على القدرات البصرية العامة للنموذج.

Model	Parameters	OCR-Bench ANLS	TextVQA Accuracy	TextVQA ANLS
SmolVLM2-256M (base)	256M	16.49%	1.08%	3.09%
SmolVLM2-500M (base)	500M	32.54%	37.75%	47.52%
SmolVLM2-2.2B (base)	2.2B	25.44%	27.51%	29.64%
LLaVA-1.5-7B	7B	28.78%	47.79%	62.96%
PaliGemma-3B	3B	69.76%	76.09%	87.36%
Smol-VL-BLV (Ours)	500M	65.54%	54.47%	65.97%
Qwen2.5-VL-3B	3B	88.56%	81.12%	90.39%

ارتفعت درجة OCR-Bench من 32.54% للنموذج الأساسي SmolVLM2-500M إلى 65.54% لنموذج Smol-VL-BLV، كما ارتفعت دقة TextVQA من 37.75% إلى 54.47%.

تفوق النموذج المضبوط دقيقاً على نموذج SmolVLM2 الأساسي ذي المعاملات البالغة 2.2B في الـ OCR بنحو 40 نقطة مئوية، كما سجل درجات أعلى من LLaVA-1.5-7B في كل من OCR-Bench ANLS ودقة TextVQA، على الرغم من أن النماذج الأكبر مثل Qwen2.5-VL-3B ظلت متقدمة بوجه عام.

لماذا يساعد التدريب على أوصاف المشاهد ذات الإرساء المكاني الشبكةَ على قراءة الكلمات؟

تشير مناقشة الورقة إلى محتوى بيانات المعلم؛ فقد اشتملت الأوصاف المولدة بواسطة Gemma على حالة البيئة، والمخاطر القريبة، والإشارات الاتجاهية، وموقع الشخص، وألوان الملابس، والحركة. ويجادل المؤلفون بأن هذا الإشراف ذو الإرساء المكاني يشجع النموذج الصغير على بناء خرائط مكانية ويخلق محاذاة هيكلية يمكن أن تزيد من دقة تحليله للحدود الهندسية للحروف والسلاسل النصية.

هذا هو التفسير المقترح في الورقة لنقل التعلم. وتبرهن التجارب المذكورة على مكاسب OCR وVQA، لكنها لا تعزل آلية انتباه بعينها ولا تثبت أن الملاحة والـ OCR يعتمدان دوماً على التمثيلات الداخلية نفسها.

تحليل المكاسب الملاحية

عبر مجموعة تقييم مكونة من 458 عينة، قاس المؤلفون تغطية الكلمات المفتاحية لـ BLV إلى جانب مقاييس معالجة اللغة الطبيعية القياسية. وتُظهر النتائج التراكمية مساهمات متمايزة لكل مرحلة تدريب، مع وجود مقايضات في بعض الأبعاد.

Metric	Condition A (Base)	Condition B (SFT)	Condition C (+GRPO)	Condition D (+Patch)	Change A→D
Spatial Coverage	79%	81%	97%	100%	+21
Directional Cues	29%	51%	88%	100%	+71
Distance Mentions	45%	20%	22%	100%	+55
Obstacle Mentions	77%	85%	92%	96%	+19
Moving Hazards	16%	21%	17%	66%	+50
Step Changes	4%	7%	7%	5%	+1
BLEU-4	0.74	1.66	1.97	13.53	+12.79
ROUGE-L	10.74	17.66	17.93	30.49	+19.75

أرسى SFT الهيكل الوصفي الأساسي، رافعاً ROUGE-L من 10.74 إلى 17.66 ومتوسط BLV من 79% إلى 86%. بعد ذلك، رفع GRPO متوسط BLV إلى 93%، وتغطية العقبات من 85% إلى 92%، وتغطية الاتجاهات من 51% إلى 88%. ومع ذلك، بقيت تغطية المسافة لديه عند 22%، وانخفضت تغطية المخاطر المتحركة من 21% إلى 17%.

حققت الرقعة أقوى درجات معالجة اللغة الطبيعية (NLP) وأوصلت تغطية الاتجاهات والمسافات في الحالة D إلى 100%، وتغطية العقبات إلى 96%، وتغطية المخاطر المتحركة إلى 66%. لكنها لم تحسن كل المقاييس؛ إذ تراجعت تغطية الحركة من 88% بعد GRPO إلى 62%، وانخفض متوسط BLV من 93% إلى 90%.

وفي تقييم بشري منفصل، راجع عشرون مقيّماً مبصراً من عمال المنصات التشاركية خمسة مقاطع فيديو توضيحية في الوقت الفعلي. وعلى مقياس من 0 إلى 5، نال النظام النهائي متوسط درجات بلغ 4.0 لصلة الملاحة (Navigation Relevance)، و3.5 لدقة التنبيه/التحذير (Caution/Alert Accuracy)، و4.5 للدقة المكانية والاتجاهية (Spatial and Directional Precision)، و4.5 لإيجاز الاستجابة (Response Conciseness)، و4.0 للموثوقية الكلية (Overall Trustworthiness). تدعم هذه الدرجات هدف النموذج في تقديم المساعدة الموجهة للملاحة، لكنها لا تثبت إمكانية الملاحة المستقلة والآمنة.

ما تدعمه نتائج انتقال التعلم إلى التعرف الضوئي على الحروف

بالنسبة للأبحاث متعددة الوسائط خفيفة الوزن، تقدم الورقة ثلاثة استنتاجات محددة:

1. يمكن للإشراف ذي الإرساء المكاني أن ينتقل إلى مقاييس النصوص المرئية. لا تبيّن النتيجة أن هذه الوصفة ستُحسّن تلقائياً كل مسارات معالجة ملفات PDF أو الإيصالات أو المستندات؛ ويزداد هذا التحدي وضوحاً في نصوص الخط العربي، حيث تجعل الكتابة المتصلة من اليمين لليسار، وتغير أشكال الحروف حسب موقعها، والتراكيب والحركات الاختيارية، مهمة التعرف الضوئي أكثر تعقيداً بكثير. لكن النتيجة تُظهر أن التدريب اللاحق الموجه لـ BLV حسّن، في هذا النموذج وهذا الإعداد التقييمي، كلاً من OCR-Bench وTextVQA جنباً إلى جنب مع جودة الوصف المكاني.

2. تفوق أسلوب GRPO التفاعلي عبر الإنترنت على طرق التفضيل غير المتصلة التي تم اختبارها في هذا الإعداد. في مجموعة التقييم المتوازنة، سجل DPO درجة 3.89 في MCF وسجل RLAIF-V DPO درجة 3.88، وكلاهما أقل من درجة SFT v2 البالغة 4.38. في حين وصل GRPO إلى 4.18 في MCF و4.20 في NAF. ويجادل المؤلفون بأن مكافأته التفاعلية كانت أكثر ملاءمة لفرض اللغة الاتجاهية، والإشارة إلى المسافات، والوعي بالمخاطر.

3. يمكن لتقطير المعلم والطالب نقل سلوك الوصف الموجه لإمكانية الوصول إلى نموذج مدمج. ولّد نموذج Gemma-4-31B-IT ما مجموعه 9,646 تعليقاً متوافقاً مع معايير الوصف الصوتي، استخدمها النموذج الطالب ذو المعاملات البالغة 507.5M كإشراف اصطناعي. وتقدم الورقة ذلك كدليل على أن البيانات القوية المولدة من المعلم يمكن أن تحث على إرساء مكاني أكثر دقة في نماذج VLM الصغيرة.

transit platform directional sign

The sky train station was very poorly signposted — by shankar s. via flickr, BY 2.0.

الضغط وصولاً إلى 442 ميجابايت

استخدم تدريب النموذج وحدة معالجة رسومية واحدة من طراز RTX A6000 بسعة 48 GB. وتطلب تشغيل النتيجة على هاتف محمول عملية تحويل وتكميم (quantization) منفصلة.

دمج المؤلفون محولات LoRA الثلاثة المدربة في الأوزان الأساسية، مما أنتج نقطة فحص بتنسيق HuggingFace بحجم 969 MB وبدقة float16. وأدى تصديرها إلى GGUF إلى فصل النموذج إلى مكوني نشر:

العمود الفقري لنموذج اللغة: 783 MB بدقة float16.
المسقاط البصري، mmproj.gguf: 191 MB بدقة float16.

قلص التكميم القياسي Q4_K_M نموذج اللغة إلى 290 MB، إلا أن الورقة تشير إلى أن الضغط الموحد بدقة 4 بت أدى إلى تدهور الاستدلال الموضعي؛ لذلك لجأ المؤلفون إلى التكميم غير الخطي الموزون بالأهمية IQ4_NL.

أولاً، قاموا بتشغيل llama-imatrix على مجموعة معايرة تضم نحو 500 تعليق توضيحي لـ BLV، مما مكّن من تسجيل قنوات الأوزان الأكثر تنشيطاً وإنتاج مصفوفة أهمية لتخصيص البتات بشكل غير منتظم.

┌────────────────────────────────────────────────────────┐
│               Deployed Package (442 MB)                │
├────────────────────────────┬───────────────────────────┤
│ LM Backbone (251 MB)       │ Vision Projector (191 MB) │
│ - Self-Attention: Q5_K     │ - Native Float16          │
│ - Other Layers: IQ4_NL     │ - Unquantized             │
│ - Importance-Matrix Tuned  │                           │
└────────────────────────────┴───────────────────────────┘

ثانياً، طبقوا استبدالاً مختلط الدقة (mixed-precision override): كُممت إسقاطات الانتباه الذاتي (q_proj وk_proj وv_proj) بدقة Q5_K الأعلى، بينما استخدمت معظم أجزاء الشبكة المتبقية IQ4_NL. ووصف المؤلفون آليات الانتباه تلك بأنها مهمة للحفاظ على التماسك الاتجاهي.

ويفيد الملحق بأن هذا الاستبدال كلف نحو 15 MB وأنتج عموداً فقرياً لغوياً بحجم 251 MB. وباقترانه مع المسقاط البصري بحجم 191 MB بدقة float16، بلغ إجمالي حزمة التشغيل على الجهاز 442 MB.

الواقع الصادم لزمن الاستجابة على الأجهزة

نشر المؤلفون الحزمة التي يبلغ حجمها 442 MB على هاتف Samsung Galaxy A55 المزود بمعالج Exynos 1480 وذاكرة وصول عشوائي (RAM) بسعة 8 GB. وقاموا ببناء llama.cpp برمجياً بشكل أصيل عبر Termux وتشغيل التكوين النهائي باستخدام أربعة خيوط معالجة (CPU threads).

في الاختبار القياسي النهائي المكون من 21 إطاراً، تم تحميل النموذج في الذاكرة بمتوسط 291 مللي ثانية، ووصلت ذروة استهلاك الذاكرة إلى نحو 780 MB، دون حدوث أي انهيارات أو أخطاء نفاد الذاكرة. وبلغ متوسط سرعة التوليد 39.3 رمزاً في الثانية، واستغرق التوليد نفسه نحو 1.4 ثانية.

أما الخبر السيئ فكان الوقت الإجمالي المستغرق من الإدخال البصري وحتى اكتمال الوصف: 27.1 ثانية.

استُهلك معظم هذا الوقت في تقييم الموجه (prompt evaluation)؛ إذ استغرقت معالجة المدخلات البصرية ورموز الموجه على معالج A55 في المتوسط 25.1 ثانية قبل بدء التوليد.

Platform	Hardware Backend	TTFT (Prompt Eval)	Generation Speed	Total Latency
Cloud	Nvidia T4 GPU	1.39 s	187.42 tok/s	1.70 s
MacBook	Apple Silicon (Metal)	1.95 s	132.6 tok/s	2.41 s
Samsung A55	Exynos 1480 (CPU Only)	25.10 s	42.9 tok/s	27.10 s

تورد الورقة أن 39.3 رمزاً في الثانية هو المتوسط في اختبار الـ 21 إطاراً النهائي، و42.9 رمزاً في الثانية في المقارنة عبر الأجهزة المختلفة، لذا تصف هذه الأرقام ملخصات اختبارية مختلفة. وفي كلتا الحالتين، كان تقييم الموجه القائم على المعالج المركزي فقط هو المهيمن على زمن استجابة هاتف A55.

أكمل النموذج المكمم نفسه التشغيل متعدد الوسائط بالكامل في 2.41 ثانية على جهاز Mac بمعالج Apple Silicon باستخدام Metal، وفي 1.70 ثانية على وحدة معالجة رسومية سحابية T4. وعزا المؤلفون بطء هاتف A55 إلى غياب دعم التسريع العتادي المتاح وليس إلى سرعة توليد النموذج وحدها.

حققت الورقة في عدة مسارات للتسريع العتادي:

Android NNAPI: لا يوفر بناء llama.cpp لنظام أندرويد موفر تنفيذ لـ NNAPI. ويستهدف مسار وحدة معالجة الرسوميات لديه كلاً من OpenCL وVulkan، في حين يلجأ مشغل Exynos NNAPI من سامسونج كثيراً إلى وحدة معالجة الرسوميات للعمليات غير المدعومة.
ONNX Runtime Mobile: لم يتمكن Hugging Face Optimum من تصدير SmolVLM2؛ حيث أطلق برنامج التصدير الخطأ KeyError: 'smolvlm2' نظراً لأن مشفر SigLIP وحقن الرموز البصرية في منتصف التسلسل لم تكن مسجلة للتصدير.
MLC-LLM: يدعم مسار التسريع الذي تم اختباره نماذج LLaMA وMistral وQwen ويستهدف عتاد Snapdragon. ولم يكن SmolVLM2 مدعوماً، مما جعل جهاز Exynos يعتمد على وحدة المعالجة المركزية.
Vulkan وOpenCL: كانت ترويسات Vulkan متاحة، لكن أداة تحميل Mali ICD المخصصة من الشركة المصنعة لم تكن متوفرة. كما تعذر الوصول إلى مشغل OpenCL الاحتكاري المقابل من داخل Termux.
Samsung ONE SDK: تطلبت البرمجة المباشرة لوحدة المعالجة العصبية (NPU) في Exynos التوقيع على اتفاقية عدم إفصاح (NDA) ونماذج بتنسيق .nnc منتجة من TFLite أو ONNX، ولم يُمنح الفريق حق الوصول خلال المشروع.

يحتوي الهاتف على وحدة معالجة عصبية مخصصة (NPU)، لكن النشر الذي تم اختباره عبر Termux لم يتمكن من استغلالها. وكانت النتيجة نموذجاً يناسب ذاكرة الجهاز بأريحية، لكنه يرتكز على أنوية وحدة المعالجة المركزية العامة لإجراء الحسابات البصرية البادئة والمكلفة.

النقاط العمياء: ما الذي ما يزال يتعثر

يتسم المؤلفون بالصراحة حيال قصور النموذج. فإذا كنت تصمم أنظمة لإمكانية الوصول أو لمهام مكانية حرجة، فإن فهم هذه الثغرات يعد أمراً بالغ الأهمية:

تغيرات الدرجات والارتفاعات تظل نادرة: حققت الحالة D تغطية بنسبة 100% للاتجاهات ولكن 5% فقط لتغيرات درجات السلالم (step changes). ويعزو المؤلفون ذلك أساساً إلى ضعف تمثيل السلالم، وحواف الأرصفة، وتغيرات الارتفاع، والسيناريوهات المشابهة في مجموعات البيانات المصدرية.
المخاطر المتحركة تظل غير مكتملة: بلغت تغطية الكلمات المفتاحية للمخاطر المتحركة 66% في الحالة النهائية، مما يترك مجالاً كبيراً للتحسين.
تقديرات المسافة اصطناعية: مسافات مثل "ثلاثة أمتار إلى الأمام" هي تقديرات بصرية تقريبية يولدها النموذج المعلم، وليست قياسات مستندة إلى أجهزة استشعار.
تغطية محدودة للمشاهد: تحتوي مجموعة البيانات على بعض المشاهد الداخلية والخارجية، لكن المؤلفين يحددون الطرق، والمشاهد المزدحمة، والبيئات الملاحية الصعبة الأخرى كمجالات للأعمال المستقبلية.
ضعف البصر مقابل الكف التام للبصر: يستهدف العمل بالدرجة الأولى المستخدمين من ضعاف البصر، ويشير المؤلفون إلى أن النظام لا يرقى بعد إلى الموثوقية المطلوبة للملاحة المستقلة والآمنة للمكفوفين كلياً.
تقييم بشري من قِبل مبصرين: اعتمد التقييم البشري المذكور على عشرين مقيّماً مبصراً من عمال المنصات التشاركية، ويعد التقييم بمشاركة مستخدمين من المكفوفين وضعاف البصر (BLV) خطوة تالية مهمة وفقاً للمؤلفين.

نظرة مستقبلية

يُثبت نموذج Smol-VL-BLV إمكانية تخصيص نموذج VLM مدمج لسرد المشاهد بإرساء مكاني موجه للملاحة، مع بقائه قابلاً للتشغيل دون اتصال بالإنترنت وقابلاً للنشر على هاتف ذكي.

من خلال الجمع بين الإشراف المولد بواسطة المعلم والتعلم المعزز القطعي، استطاع Choudhary وفريقه تحسين الإرساء المكاني الخاص بـ BLV وأداء مقاييس النصوص المرئية العامة في نموذج يضم 507.5M معامل.

أما بالنسبة لأبحاث التعرف الضوئي على الحروف (OCR)، فالنتيجة المهمة تتمثل في انتقال التعلم الذي تم قياسه؛ حيث تحسنت نتيجة OCR-Bench ANLS بنسبة 101.5% مقارنة بالنموذج الأساسي SmolVLM2-500M، بينما ارتفعت دقة TextVQA بنسبة 44.2%. ويرى المؤلفون في تفسيرهم أن الأوصاف ذات الإرساء المكاني تعزز بناء خرائط مكانية أفضل وتدعم التحليل الهندسي، غير أن الورقة تقدم هذا التفسير كنتيجة وفرضية عمل وليس كقانون مطلق في الـ OCR.

ويخطط المؤلفون لجمع المزيد من البيانات التي تغطي السلالم، وحواف الأرصفة، وتغيرات الارتفاع، والمخاطر المتحركة؛ وتقديم مكافأة مخصصة لتغير درجات السلالم والارتفاعات؛ وتقييم ممرات المشاة المزدحمة والتقاطعات المليئة بالحركة؛ وتطوير مقاييس للدقة المكانية قائمة على الهندسة؛ بالإضافة إلى إدراج فحوصات لصحة الوقائع لرصد الاتجاهات غير الصحيحة، وادعاءات المخاطر الزائفة، والمسافات المختلقة.

تدريب نموذج بصري بحجم 500M للملاحة يضاعف نتيجته في تقييم OCR-Bench بأكثر من الضعف