नेविगेशन के लिए 500M विज़न मॉडल को ट्रेन करने से इसका OCR-Bench स्कोर दोगुने से भी अधिक हो गया

नेविगेशनल सहायता के लिए ट्रेन किया गया एक कॉम्पैक्ट विज़न-लैंग्वेज मॉडल बिना किसी अलग OCR-केंद्रित ट्रेनिंग स्टेज के भी अपने OCR-Bench स्कोर को बेहतर बना सकता है। यह IIT Mandi और Mohamed bin Zayed University of Artificial Intelligence के रिसर्चर्स के रिसर्च पेपर Small yet Assistive: Spatially-Aware Post-Training for Low Vision के सबसे उल्लेखनीय नतीजों में से एक है।

23 सितंबर, 2026 को प्रकाशित इस पेपर में Rishabh Choudhary और उनके सह-लेखकों द्वारा दृष्टिहीनता और अल्प-दृष्टि (BLV) वाले लोगों के लिए एक ऑन-डिवाइस विजुअल नरेटर तैयार करने के काम का विवरण दिया गया है। उन्होंने 507.5 मिलियन पैरामीटर्स वाले कॉम्पैक्ट मॉडल SmolVLM2-500M को लिया और इसे स्पैशियल ग्राउंडिंग, दिशात्मक भाषा (directional language), मीट्रिक दूरियों और ख़तरों की पहचान (hazard detection) को लक्षित करने वाली पोस्ट-ट्रेनिंग पाइपलाइन से गुज़ारा।

जब उन्होंने तैयार मॉडल का स्टैंडर्ड विज़न-लैंग्वेज बेंचमार्क पर मूल्यांकन किया, तो परिणाम बेहद चौंकाने वाले थे। OCR-Bench पर मॉडल का ANLS स्कोर 32.54% से बढ़कर 65.54% पर पहुँच गया—यानी 101.5% का रिलेटिव सुधार। वहीं TextVQA पर, एक्यूरेसी 37.75% से बढ़कर 54.47% हो गई, जो कि 44.2% की बढ़त है।

पेपर इन परिणामों को इस बात के प्रमाण के रूप में देखता है कि BLV-केंद्रित स्पैशियल पोस्ट-ट्रेनिंग सामान्य विजुअल-टेक्स्ट रीज़निंग में ट्रांसफर हो सकती है। यह सुधार किसी समर्पित डॉक्यूमेंट-रिकॉग्निशन स्टेज से नहीं, बल्कि स्थानिक रूप से ग्राउंडेड वीडियो विवरणों पर ट्रेनिंग से हासिल हुआ है।

द पोलाइट हॉलवे प्रॉब्लम

यदि आप किसी मौजूदा विज़न-लैंग्वेज मॉडल से किसी कमरे का विवरण देने को कहें, तो वह एक सामान्य सा कैप्शन दे सकता है: "कुछ दरवाज़ों और लोगों वाला एक हॉलवे।" (A hallway with some doors and people.)

इमेज-कैप्शनिंग बेंचमार्क के लिए यह भले ही पर्याप्त हो, लेकिन पेपर का तर्क है कि फ़िज़िकल नेविगेशन के लिए यह बिल्कुल नाकाफ़ी है। ITC द्वारा स्थापित और Netflix तथा American Council of the Blind द्वारा अपनाए गए पेशेवर ऑडियो-डिस्क्रिप्शन दिशानिर्देश वर्तमान काल (present-tense), स्थानिक रूप से ग्राउंडेड, ख़तरों को प्राथमिकता देने वाले (hazard-first) और वस्तुनिष्ठ विवरण का निर्देश देते हैं।

ऑडियो-डिस्क्रिप्शन मानकों का पालन करने वाला नरेटर कुछ ऐसा कहेगा: "एक कॉरिडोर आगे लगभग आठ मीटर तक फैला है। आपकी बाईं ओर तीन मीटर की दूरी पर एक आंशिक रूप से खुला दरवाज़ा है। दूर छोर से एक व्यक्ति आपकी ओर आ रहा है।"

बड़े VLMs उच्च गुणवत्ता वाले ऑडियो-डिस्क्रिप्शन-अनुरूप विवरण उत्पन्न कर सकते हैं, लेकिन पेपर रेखांकित करता है कि वे मोबाइल डिवाइसेज पर नहीं चल सकते। दूसरी ओर, छोटे VLMs प्रतिस्पर्धी लेटेंसी तो देते हैं, लेकिन उनमें अक्सर BLV नेविगेशनल सहायता के लिए आवश्यक स्थानिक विवरण, दिशात्मक संकेत और ख़तरों के प्रति सजगता का अभाव होता है।

रिसर्चर्स ने SmolVLM2-500M-Video-Instruct को अपने बेस मॉडल के रूप में चुना। इसके मूल आर्किटेक्चर में तीन मुख्य भाग शामिल हैं:

• लगभग 86.4 मिलियन पैरामीटर्स वाला एक SigLIP विज़न ट्रांसफॉर्मर टॉवर, जो 384×384-पिक्सेल इनपुट को प्रोसेस करता है।
• LayerNorm और लगभग 11.8 मिलियन पैरामीटर्स वाला एक लीनियर प्रोजेक्शन कनेक्टर, जो विजुअल फीचर्स को लैंग्वेज-मॉडल टोकन्स में मैप करता है।
• लगभग 409.3 मिलियन पैरामीटर्स, 32 ब्लॉक्स और 8,192-टोकन कॉन्टेक्स्ट विंडो वाला एक LLaMA-आर्किटेक्चर SmolLM2 लैंग्वेज डिकोडर।

कुल पैरामीटर काउंट लगभग 507.5 मिलियन है। पेपर मॉडल के सटीक पैरामीटर योग के बजाय "500M" का उपयोग एक क्लास लेबल के रूप में करता है। लक्ष्य एक ऐसा कॉम्पैक्ट मॉडल तैयार करना था जो ऑन-डिवाइस इन्फ़रेंस के लिए व्यावहारिक रहते हुए स्थानिक रूप से सटीक BLV विवरण देने में सक्षम हो।

पोस्ट-ट्रेनिंग असेंबली लाइन

लेखकों ने सिंथेटिक टीचर सुपरविज़न, फ़ेज़्ड सुपरवाइज़्ड फ़ाइन-ट्यूनिंग (phased SFT), नियम-आधारित रीइन्फ़ोर्समेंट लर्निंग और एक रिकवरी पैच को मिलाकर चार चरणों वाली एक पाइपलाइन तैयार की।

[4 Video Keyframes (LUV Delta)] + [BLV Prompt]
                     │
                     ▼
         ┌───────────────────────┐
         │ Phase 1: SigLIP Only  │  (First 25% of training steps)
         └───────────┬───────────┘
                     ▼
         ┌───────────────────────┐
         │ Phase 2: LoRA Unfreeze│  (All LoRA adapters; Vision LR halved)
         └───────────┬───────────┘
                     ▼
         ┌───────────────────────┐
         │   GRPO Reinforcement  │  (6 rule rewards: distance, hazards, no hedging)
         └───────────┬───────────┘
                     ▼
         ┌───────────────────────┐
         │   SFT Recovery Patch  │  (50 curated samples)
         └───────────┬───────────┘
                     ▼
         [Fold 3 LoRAs into Base Weights] -> Single 969 MB FP16 Checkpoint

स्टेज 1: अतिरिक्त मॉडल इन्फ़रेंस के बिना कीफ़्रेम्स

ट्रेनिंग इनपुट तैयार करने के लिए, टीम ने LUV स्पेस में पर्सेप्चुअल कलर-स्पेस डिफ़रेंसिंग का उपयोग करके प्रति वीडियो चार कीफ़्रेम्स (keyframes) निकाले। उन्होंने पहले प्रत्येक वीडियो को अधिकतम 64 समान दूरी वाले फ्रेम्स में सबसैंपल किया, फिर इंटर-फ्रेम माध्य पूर्ण अंतर (mean absolute inter-frame difference) की गणना की, और पहले फ्रेम के साथ-साथ तीन सबसे अधिक अंतर वाले फ्रेम्स को चुना।

इसने बिना किसी अतिरिक्त मॉडल इन्फ़रेंस स्टेप के सीन ट्रांज़िशन और महत्वपूर्ण मोशन इवेंट्स को कैप्चर कर लिया। पेपर इस किफ़ायती LUV तरीके की तुलना DINOv2 से करता है, जिसके बारे में यह बताता है कि वह लगभग 86 मिलियन पैरामीटर और 50–100 मिलीसेकंड का ओवरहेड जोड़ता है।

स्टेज 2: फ़ेज़-स्विच्ड SFT के साथ Gemma 4 का डिस्टिलेशन

सिंथेटिक ट्रेनिंग डेटा तैयार करने के लिए, टीम ने Gemma-4-31B-IT को एक 'टीचर' मॉडल के रूप में इस्तेमाल किया। इसके सिस्टम प्रॉम्प्ट में पेशेवर ऑडियो-डिस्क्रिप्शन के नियमों को कोड किया गया था: वर्तमान काल, सुरक्षा के लिहाज से महत्वपूर्ण जानकारी सबसे पहले, दूरी के साथ स्पष्ट स्थानिक स्थितियाँ, केवल दृश्यमान विशेषताएं, पहले वाक्य में परिवेश का प्रकार (environment type), ख़तरे और बाधाओं के फ़्लैग, एक्टिव वॉइस, और अधिकतम चार वाक्य।

टीचर मॉडल ने 9,646 वीडियो के लिए कैप्शन जनरेट किए: 7,985 Charades से और 1,661 AVCaps से।

यह फ़ेज़ स्विच ट्रेनिंग के उस जोखिम को हल करता है जिसे लेखक मिसअलाइन्ड फीचर्स के प्रति शुरुआती ओवरफ़िटिंग (early overfitting) के रूप में चिन्हित करते हैं। उन्होंने दो चरणों वाला एक सिंगल ट्रेनिंग रन लागू किया:

1. विजुअल अलाइनमेंट, शुरुआती 25% स्टेप्स: केवल SigLIP एन्कोडर और मल्टीमॉडल कनेक्टर ही ट्रेनेबल थे। LoRA एडेप्टर्स को फ़्रीज़ रखा गया ताकि विजुअल रिप्रेज़ेंटेशन्स पहले ऑडियो-डिस्क्रिप्शन डिस्ट्रीब्यूशन के साथ अलाइन हो सकें।

2. पूर्ण अनुकूलन (Full Adaptation), शेष 75% स्टेप्स: सभी LoRA एडेप्टर्स को अनफ़्रीज़ कर दिया गया, और विज़न एन्कोडर की लर्निंग रेट को आधा करके 5×10⁻⁶ कर दिया गया। एक कस्टम DifferentialLRTrainer ने अलग-अलग AdamW पैरामीटर ग्रुप्स को मैनेज किया।

सिस्टम निर्देशों, यूज़र टेक्स्ट और इमेज टोकन्स सहित सभी प्रॉम्प्ट टोकन्स को -100 पर मास्क किया गया था, ताकि कॉज़ल-लैंग्वेज-मॉडल लॉस की गणना केवल असिस्टेंट के रिस्पॉन्स टोकन्स पर ही की जाए।

स्टेज 3: डिटरमिनिस्टिक रिवॉर्ड के साथ GRPO

सुपरवाइज़्ड फ़ाइन-ट्यूनिंग मॉडल को ऑडियो-डिस्क्रिप्शन की संरचना सिखाती है। इसके बाद, टीम ने BLV-विशिष्ट व्यवहार को ऑप्टिमाइज़ करने के लिए ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग किया।

प्रत्येक प्रॉम्प्ट के लिए, GRPO ने चार कम्प्लीशन सैंपल किए और ग्रुप के भीतर उनके रिवॉर्ड्स को नॉर्मलाइज़ किया। किसी सीखे हुए रिवॉर्ड मॉडल का उपयोग करने के बजाय, लेखकों ने छह डिटरमिनिस्टिक, नियम-आधारित कंपोनेंट्स तैयार किए जिनकी गणना प्रति सैंपल एक मिलीसेकंड से भी कम समय में की जा सकती थी:

• सावधानी या ख़तरे के प्रति सजगता (Caution or hazard awareness): +0.40 जब संदर्भ (reference) और जनरेशन दोनों में सावधानी का तत्व शामिल हो; -0.30 जब संदर्भ में यह हो लेकिन जनरेशन इसे छोड़ दे; -0.10 जब जनरेशन बिना संदर्भ समर्थन के इसे प्रस्तुत कर दे।
• दिशात्मक ग्राउंडिंग (Directional grounding): {left, right, center, ahead, behind} में से प्रत्येक शब्द के लिए +0.08, अधिकतम सीमा +0.24 तक।
• मीट्रिक दूरी (Metric distance): कम से कम एक सटीक मेल खाने वाली मीट्रिक दूरी के लिए +0.20।
• संरचनात्मक मितव्ययिता (Structural economy): दो से चार वाक्यों के लिए +0.16; छह से अधिक वाक्यों के लिए -0.10।
• हेजिंग पेनल्टी (Hedging penalty): "appears to be" (प्रतीत होता है) या "I cannot" (मैं नहीं कर सकता) जैसे अनिश्चितता दर्शाने वाले वाक्यांशों के लिए -0.20।
• पर्यावरण की पहचान (Environment identification): जब पहला वाक्य चौदह पर्यावरण शब्दों में से किसी एक का उपयोग करके दृश्य के प्रकार का नाम बताता है, तो +0.10।

एक साथ मिलकर, ये नियम पेपर के BLV-विशिष्ट रिवॉर्ड को परिभाषित करते हैं।

स्टेज 4: रिकवरी पैच

पेपर में उल्लेख किया गया है कि मल्टी-स्टेज पोस्ट-ट्रेनिंग से कैटास्ट्रॉफ़िक फ़ॉरगेटिंग (catastrophic forgetting) हो सकती है। BLV-विशिष्ट स्पैशियल ग्राउंडिंग को बनाए रखते हुए सामान्य वर्णनात्मक गुणवत्ता को पुनः प्राप्त करने के लिए, लेखकों ने एक हल्का SFT पैच लागू किया: GRPO चेकपॉइंट को बेस के रूप में और रैंक 64, अल्फा 128, लर्निंग रेट 5×10⁻⁵, बैच साइज़ 2, तथा 1.0 पर ग्रेडिएंट क्लिपिंग के साथ एक नए LoRA एडेप्टर का उपयोग करते हुए 50 क्यूरेटेड Gemma कैप्शन्स पर तीन इपॉक्स (epochs) चलाए गए।

इन्फ़रेंस के समय, SFTv2, GRPO, और SFT-पैच एडेप्टर्स को क्रमिक रूप से बेस वेट्स में मर्ज कर दिया गया, जिससे बिना किसी अतिरिक्त इन्फ़रेंस ओवरहेड के एक एकीकृत मॉडल तैयार हुआ।

रिपोर्ट किए गए मैट्रिक्स सार्वभौमिक सुधार के बजाय ट्रेड-ऑफ दर्शाते हैं। Table 8 में, GRPO स्थिति के लिए MCF Ambience 3.44 है और अंतिम पैच वाली स्थिति के लिए 2.94 है। Table 7 में, Action कवरेज 88% से गिरकर 62% पर आ जाता है। वहीं दूसरी ओर, पैच की गई स्थिति आठ में से सात LLM-जज सब-डायमेंशन्स पर उच्चतम स्कोर प्राप्त करती है और कई कीवर्ड व NLP पैमानों पर सबसे मजबूत परिणाम देती है।

नेविगेशन पोस्ट-ट्रेनिंग ने OCR-Bench स्कोर को दोगुने से अधिक कैसे कर दिया

सबसे आश्चर्यजनक परिणाम यह रहा कि मॉडल की सामान्य विजुअल क्षमताओं पर इसका क्या प्रभाव पड़ा।

Model	Parameters	OCR-Bench ANLS	TextVQA Accuracy	TextVQA ANLS
SmolVLM2-256M (base)	256M	16.49%	1.08%	3.09%
SmolVLM2-500M (base)	500M	32.54%	37.75%	47.52%
SmolVLM2-2.2B (base)	2.2B	25.44%	27.51%	29.64%
LLaVA-1.5-7B	7B	28.78%	47.79%	62.96%
PaliGemma-3B	3B	69.76%	76.09%	87.36%
Smol-VL-BLV (Ours)	500M	65.54%	54.47%	65.97%
Qwen2.5-VL-3B	3B	88.56%	81.12%	90.39%

OCR-Bench स्कोर बेसलाइन SmolVLM2-500M के 32.54% से उछलकर Smol-VL-BLV के लिए 65.54% पर पहुँच गया। TextVQA एक्यूरेसी 37.75% से बढ़कर 54.47% हो गई।

फ़ाइन-ट्यून किए गए मॉडल ने OCR के मामले में 2.2B-पैरामीटर वाले SmolVLM2 बेसलाइन को लगभग 40 प्रतिशत अंकों से पीछे छोड़ दिया। इसने OCR-Bench ANLS और TextVQA एक्यूरेसी दोनों पर LLaVA-1.5-7B से भी बेहतर स्कोर हासिल किया, हालांकि Qwen2.5-VL-3B जैसे बड़े मॉडल कुल मिलाकर आगे बने रहे।

स्थानिक रूप से ग्राउंडेड सीन विवरणों पर ट्रेनिंग से किसी नेटवर्क को टेक्स्ट पढ़ने में कैसे मदद मिलती है?

पेपर की चर्चा टीचर डेटा की विषय-सामग्री की ओर संकेत करती है। Gemma द्वारा जनरेट किए गए विवरणों में पर्यावरण की स्थिति, नज़दीकी ख़तरे, दिशात्मक संकेत, व्यक्ति की स्थिति, कपड़ों के रंग और हलचल शामिल थी। लेखकों का तर्क है कि यह स्थानिक रूप से ग्राउंडेड सुपरविज़न छोटे मॉडल को स्पैशियल मैप्स बनाने के लिए प्रेरित करता है और एक स्ट्रक्चरल अलाइनमेंट पैदा करता है, जो कैरेक्टर्स और टेक्स्ट स्ट्रिंग्स की ज्योमेट्रिक सीमाओं की पार्सिंग को और अधिक सटीक बना सकता है।

ट्रांसफर के लिए पेपर का यही प्रस्तावित स्पष्टीकरण है। रिपोर्ट किए गए प्रयोग OCR और VQA में हुई बढ़त को प्रदर्शित करते हैं, लेकिन वे किसी विशिष्ट अटेंशन मैकेनिज़्म को अलग नहीं करते और न ही यह स्थापित करते हैं कि नेविगेशन और OCR हमेशा एक ही आंतरिक प्रतिनिधित्व पर निर्भर करते हैं।

नेविगेशनल लाभों का विस्तृत विश्लेषण

458-सैंपल वाले इवैल्यूएशन सेट पर, लेखकों ने स्टैंडर्ड NLP मेट्रिक्स के साथ-साथ BLV कीवर्ड कवरेज को भी मापा। संचयी परिणाम प्रत्येक ट्रेनिंग चरण से अलग-अलग योगदान दिखाते हैं, जिनमें कुछ पैमानों में ट्रेड-ऑफ भी शामिल हैं।

Metric	Condition A (Base)	Condition B (SFT)	Condition C (+GRPO)	Condition D (+Patch)	Change A→D
Spatial Coverage	79%	81%	97%	100%	+21
Directional Cues	29%	51%	88%	100%	+71
Distance Mentions	45%	20%	22%	100%	+55
Obstacle Mentions	77%	85%	92%	96%	+19
Moving Hazards	16%	21%	17%	66%	+50
Step Changes	4%	7%	7%	5%	+1
BLEU-4	0.74	1.66	1.97	13.53	+12.79
ROUGE-L	10.74	17.66	17.93	30.49	+19.75

SFT ने बुनियादी वर्णनात्मक संरचना स्थापित की, जिससे ROUGE-L 10.74 से बढ़कर 17.66 और BLV Mean 79% से बढ़कर 86% हो गया। इसके बाद GRPO ने BLV Mean को 93%, बाधा कवरेज (obstacle coverage) को 85% से 92%, और दिशात्मक कवरेज को 51% से 88% तक पहुँचा दिया। हालाँकि, इसका दूरी कवरेज 22% पर ही रहा और मूविंग-हैज़र्ड कवरेज 21% से गिरकर 17% हो गया।

पैच ने सबसे मजबूत NLP स्कोर प्रदान किए और Condition D के दिशा व दूरी कवरेज को 100%, बाधा कवरेज को 96%, तथा मूविंग-हैज़र्ड कवरेज को 66% तक पहुँचा दिया। लेकिन इसने हर पैमाने में सुधार नहीं किया: Action कवरेज GRPO के बाद के 88% से घटकर 62% रह गया, और BLV Mean 93% से गिरकर 90% पर आ गया।

एक अलग मानव मूल्यांकन (human evaluation) में, बीस दृष्टि संपन्न (sighted) क्राउड-वर्क रेटर्स ने पाँच रियल-टाइम डिमॉन्स्ट्रेशन वीडियो की समीक्षा की। 0–5 के पैमाने पर, अंतिम सिस्टम को Navigation Relevance के लिए 4.0, Caution/Alert Accuracy के लिए 3.5, Spatial and Directional Precision के लिए 4.5, Response Conciseness के लिए 4.5 और Overall Trustworthiness के लिए 4.0 का औसत स्कोर मिला। ये स्कोर मॉडल के नेविगेशन-उन्मुख सहायता लक्ष्य का समर्थन करते हैं, लेकिन ये सुरक्षित स्वतंत्र नेविगेशन को पूरी तरह सिद्ध नहीं करते।

OCR ट्रांसफर के क्या मायने हैं

हल्के व कॉम्पैक्ट मल्टीमॉडल रिसर्च के लिए, यह पेपर तीन संकीर्ण निष्कर्ष प्रस्तुत करता है:

1. स्थानिक रूप से ग्राउंडेड सुपरविज़न विजुअल-टेक्स्ट बेंचमार्क में ट्रांसफर हो सकता है। यह परिणाम यह नहीं दिखाता कि यह नुस्खा हर PDF, रसीद या डॉक्यूमेंट पाइपलाइन को अपने आप बेहतर बना देगा। साथ ही, यहाँ यह ध्यान रखना भी प्रासंगिक है कि अंग्रेज़ी में मज़बूत OCR प्रदर्शन देवनागरी (जहाँ जटिल संयुक्ताक्षर, मात्राएँ और शिरोरेखा होती हैं) में भी अच्छे OCR की गारंटी नहीं देता। यह परिणाम सिर्फ़ यह दर्शाता है कि इस मॉडल और मूल्यांकन सेटअप में, BLV-केंद्रित पोस्ट-ट्रेनिंग ने स्थानिक विवरण की गुणवत्ता के साथ-साथ OCR-Bench और TextVQA के प्रदर्शन को भी सुधारा।

2. इस सेटअप में ऑनलाइन GRPO ने परीक्षण किए गए ऑफ़लाइन प्रेफरेंस तरीकों से बेहतर प्रदर्शन किया। बैलेंस्ड इवैल्यूएशन सेट पर, DPO ने MCF पर 3.89 और RLAIF-V DPO ने 3.88 स्कोर किया, जो दोनों SFT v2 के 4.38 के स्कोर से कम थे। वहीं GRPO, MCF पर 4.18 और NAF पर 4.20 तक पहुँचा। लेखकों का तर्क है कि इसका ऑनलाइन रिवॉर्ड दिशात्मक भाषा, दूरी के संदर्भों और ख़तरों के प्रति सजगता को लागू करने के लिए कहीं अधिक उपयुक्त था।

3. टीचर-स्टूडेंट डिस्टिलेशन एक्सेसिबिलिटी-उन्मुख विवरण व्यवहार को एक कॉम्पैक्ट मॉडल में ट्रांसफर कर सकता है। Gemma-4-31B-IT ने 9,646 ऑडियो-डिस्क्रिप्शन-अनुरूप कैप्शन तैयार किए, जिनका उपयोग 507.5M-पैरामीटर वाले स्टूडेंट मॉडल ने सिंथेटिक सुपरविज़न के रूप में किया। पेपर इसे इस बात के प्रमाण के रूप में प्रस्तुत करता है कि एक सक्षम टीचर मॉडल द्वारा जनरेटेड डेटा एक छोटे VLM में अधिक सटीक स्पैशियल ग्राउंडिंग विकसित कर सकता है।

स्काई ट्रेन स्टेशन पर साइनबोर्ड बहुत खराब तरीके से लगाए गए थे — shankar s. द्वारा flickr के माध्यम से, BY 2.0।

442 मेगाबाइट तक कंप्रेस करना

मॉडल को ट्रेन करने के लिए एक सिंगल 48 GB RTX A6000 GPU का उपयोग किया गया था। लेकिन इसके परिणाम को फ़ोन पर चलाने के लिए एक अलग कन्वर्ज़न और क्वांटाइज़ेशन प्रक्रिया की आवश्यकता थी।

लेखकों ने अपने तीन प्रशिक्षित LoRA एडेप्टर्स को बेस वेट्स में मर्ज कर दिया, जिससे 969 MB का float16 HuggingFace चेकपॉइंट तैयार हुआ। इसे GGUF में एक्सपोर्ट करने पर मॉडल दो डिप्लॉयमेंट कंपोनेंट्स में विभाजित हो गया:

• लैंग्वेज-मॉडल बैकबोन: float16 में 783 MB।
• विज़न प्रोजेक्टर, mmproj.gguf: float16 में 191 MB।

मानक Q4_K_M क्वांटाइज़ेशन ने लैंग्वेज मॉडल को घटाकर 290 MB कर दिया, लेकिन पेपर बताता है कि यूनिफ़ॉर्म 4-बिट कंप्रेशन ने स्थितीय तर्क (positional reasoning) को ख़राब कर दिया। इसलिए लेखकों ने IQ4_NL इंपॉर्टेंस-वेटेड, नॉन-लीनियर क्वांटाइज़ेशन का उपयोग किया।

सबसे पहले, उन्होंने लगभग 500 BLV कैप्शन्स के कैलिब्रेशन सेट पर llama-imatrix चलाया। इसने रिकॉर्ड किया कि कौन से वेट चैनल्स सबसे अधिक बार सक्रिय हुए और गैर-समान बिट आवंटन (non-uniform bit allocation) के लिए एक इंपॉर्टेंस मैट्रिक्स तैयार की।

┌────────────────────────────────────────────────────────┐
│               Deployed Package (442 MB)                │
├────────────────────────────┬───────────────────────────┤
│ LM Backbone (251 MB)       │ Vision Projector (191 MB) │
│ - Self-Attention: Q5_K     │ - Native Float16          │
│ - Other Layers: IQ4_NL     │ - Unquantized             │
│ - Importance-Matrix Tuned  │                           │
└────────────────────────────┴───────────────────────────┘

दूसरा, उन्होंने एक मिक्स्ड-प्रिसिजन ओवरराइड लागू किया: सेल्फ़-अटेंशन प्रोजेक्शन्स (q_proj, k_proj, और v_proj) को उच्चतर Q5_K प्रिसिजन पर क्वांटाइज़ किया गया, जबकि शेष नेटवर्क के अधिकांश हिस्से में IQ4_NL का उपयोग किया गया। लेखकों ने इन अटेंशन मैकेनिज़्म्स को दिशात्मक सुसंगतता (directional coherence) बनाए रखने के लिए महत्वपूर्ण बताया है।

परिशिष्ट (appendix) बताता है कि इस ओवरराइड में लगभग 15 MB का अतिरिक्त खर्च आता है और यह 251 MB का लैंग्वेज बैकबोन तैयार करता है। 191 MB के float16 विज़न प्रोजेक्टर के साथ मिलकर, पूरा ऑन-डिवाइस पैकेज कुल 442 MB का हो जाता है।

ऑन-डिवाइस लेटेंसी की कड़वी हकीकत

लेखकों ने 442 MB के इस पैकेज को Exynos 1480 प्रोसेसर और 8 GB रैम वाले Samsung Galaxy A55 पर डिप्लॉय किया। उन्होंने Termux के माध्यम से llama.cpp को नेटिवली कंपाइल किया और चार CPU थ्रेड्स के साथ अंतिम कॉन्फ़िगरेशन को चलाया।

अंतिम 21-फ्रेम बेंचमार्क में, मॉडल औसतन 291 मिलीसेकंड में रैम में लोड हो गया, लगभग 780 MB पीक रैम तक पहुँचा, और कोई क्रैश या आउट-ऑफ-मेमोरी एरर नहीं आया। जनरेशन स्पीड औसतन 39.3 टोकन प्रति सेकंड रही, जिसमें जनरेशन में स्वयं लगभग 1.4 सेकंड का समय लगा।

बुरी खबर यह थी कि विजुअल इनपुट से लेकर पूरा विवरण मिलने तक का कुल समय: 27.1 सेकंड था।

उसमें से अधिकांश समय प्रॉम्प्ट इवैल्यूएशन में बीता। जनरेशन शुरू होने से पहले A55 के CPU पर विजुअल इनपुट और प्रॉम्प्ट टोकन्स को प्रोसेस करने में औसतन 25.1 सेकंड का समय लगा।

Platform	Hardware Backend	TTFT (Prompt Eval)	Generation Speed	Total Latency
Cloud	Nvidia T4 GPU	1.39 s	187.42 tok/s	1.70 s
MacBook	Apple Silicon (Metal)	1.95 s	132.6 tok/s	2.41 s
Samsung A55	Exynos 1480 (CPU Only)	25.10 s	42.9 tok/s	27.10 s

पेपर अपने 21-फ्रेम वाले अंतिम बेंचमार्क में औसत के रूप में 39.3 टोकन प्रति सेकंड और क्रॉस-हार्डवेयर तुलना में 42.9 टोकन प्रति सेकंड की रिपोर्ट करता है, इसलिए ये आंकड़े अलग-अलग बेंचमार्क सारांशों का विवरण देते हैं। दोनों ही मामलों में, A55 की लेटेंसी पर पूरी तरह से केवल CPU-आधारित प्रॉम्प्ट इवैल्यूएशन हावी रहा।

यही क्वांटाइज़्ड मॉडल Metal का उपयोग करके Apple Silicon Mac पर 2.41 सेकंड में और क्लाउड T4 GPU पर 1.70 सेकंड में पूरा मल्टीमॉडल रन पूरा कर लेता है। लेखक A55 के धीमे परिणाम का कारण केवल मॉडल की जनरेशन स्पीड को नहीं, बल्कि उपलब्ध हार्डवेयर एक्सेलेरेशन सपोर्ट की कमी को मानते हैं।

पेपर ने एक्सेलेरेशन के कई विकल्पों की जांच की:

• Android NNAPI: llama.cpp का एंड्रॉइड बिल्ड किसी NNAPI एक्ज़ीक्यूशन प्रोवाइडर को एक्सपोज़ नहीं करता है। इसका GPU पाथ OpenCL और Vulkan को लक्षित करता है, जबकि सैमसंग का Exynos NNAPI ड्राइवर असमर्थित ऑपरेशन्स के लिए अक्सर GPU पर फ़ालबैक करता है।
• ONNX Runtime Mobile: Hugging Face Optimum, SmolVLM2 को एक्सपोर्ट नहीं कर सका; इसके एक्सपोर्टर ने KeyError: 'smolvlm2' एरर दिया क्योंकि मॉडल का SigLIP एन्कोडर और मिड-सीक्वेंस विजुअल-टोकन इंजेक्शन एक्सपोर्ट के लिए रजिस्टर्ड नहीं थे।
• MLC-LLM: परीक्षण किया गया एक्सेलेरेशन पाथ LLaMA, Mistral, और Qwen मॉडल्स को सपोर्ट करता है और स्नैपड्रैगन हार्डवेयर को लक्षित करता है। इसमें SmolVLM2 शामिल नहीं था, इसलिए Exynos डिवाइस CPU पर फ़ालबैक कर गया।
• Vulkan और OpenCL: Vulkan हेडर उपलब्ध थे, लेकिन वेंडर-विशिष्ट Mali ICD लोडर उपलब्ध नहीं था। संबंधित प्रोप्रायटरी OpenCL ड्राइवर भी Termux से अनुपलब्ध था।
• Samsung ONE SDK: सीधे Exynos NPU प्रोग्रामिंग के लिए NDA रजिस्ट्रेशन और TFLite या ONNX से तैयार .nnc फ़ॉर्मेट वाले मॉडल्स की आवश्यकता थी। प्रोजेक्ट के दौरान इसकी अनुमति नहीं मिल सकी।

फ़ोन में एक डेडिकेटेड NPU मौजूद है, लेकिन टेस्ट किया गया Termux डिप्लॉयमेंट इसका उपयोग नहीं कर सका। इसका नतीजा एक ऐसा मॉडल है जो डिवाइस की मेमोरी में आसानी से फिट तो हो जाता है, लेकिन भारी-भरकम विजुअल-प्रिफ़िक्स गणना के लिए सामान्य-उद्देश्यीय CPU कोर पर निर्भर रहता है।

ब्लाइंड स्पॉट्स: कहाँ अब भी कमी रह जाती है

लेखक मॉडल की सीमाओं को लेकर पूरी तरह स्पष्ट हैं। यदि आप एक्सेसिबिलिटी या महत्वपूर्ण स्थानिक कार्यों के लिए सिस्टम डिज़ाइन कर रहे हैं, तो इन कमियों को समझना अत्यंत आवश्यक है:

• ऊंचाई में बदलाव (Step changes) का विवरण दुर्लभ है: Condition D ने दिशाओं के लिए 100% कवरेज हासिल किया, लेकिन स्टेप बदलावों के लिए केवल 5%। लेखक इसका मुख्य कारण सोर्स डेटासेट में सीढ़ियों, कर्ब्स (फुटपाथ के किनारों), ऊंचाई में बदलाव और संबंधित परिदृश्यों के कम प्रतिनिधित्व को मानते हैं।
• मूविंग ख़तरे अभी भी अधूरे हैं: अंतिम स्थिति में मूविंग-हैज़र्ड कीवर्ड कवरेज 66% तक ही पहुँच पाया, जिससे इसमें सुधार की काफी गुंजाइश बनी हुई है।
• सिंथेटिक दूरी का अनुमान: "आगे तीन मीटर" जैसी दूरियां टीचर मॉडल द्वारा लगाए गए अनुमानित दृश्य निर्णय हैं, न कि सेंसर द्वारा मापे गए मान।
• सीमित दृश्य कवरेज: डेटासेट में कुछ इनडोर और आउटडोर दृश्य शामिल हैं, लेकिन लेखक सड़कों, भीड़भाड़ वाले दृश्यों और अन्य कठिन नेविगेशन-संबंधित परिवेशों को भविष्य के काम के क्षेत्रों के रूप में चिन्हित करते हैं।
• अल्प-दृष्टि बनाम पूर्ण दृष्टिहीनता: यह शोध मुख्य रूप से अल्प-दृष्टि (low-vision) वाले उपयोगकर्ताओं को लक्षित करता है। लेखकों का कहना है कि यह प्रणाली अभी पूरी तरह से दृष्टिहीन उपयोगकर्ताओं द्वारा सुरक्षित स्वतंत्र नेविगेशन के लिए आवश्यक विश्वसनीयता को पूरा नहीं करती है।
• दृष्टि संपन्न व्यक्तियों द्वारा मूल्यांकन: रिपोर्ट किए गए मानव मूल्यांकन में बीस दृष्टि संपन्न क्राउड-वर्क रेटर्स शामिल थे। लेखक BLV उपयोगकर्ताओं द्वारा मूल्यांकन को एक महत्वपूर्ण अगले कदम के रूप में देखते हैं।

भविष्य की राह

Smol-VL-BLV यह दर्शाता है कि एक कॉम्पैक्ट VLM को ऑफ़लाइन रहते हुए और स्मार्टफोन पर डिप्लॉय होने योग्य बनाते हुए भी स्थानिक रूप से ग्राउंडेड, नेविगेशन-उन्मुख दृश्य विवरण के लिए विशेषज्ञ बनाया जा सकता है।

टीचर-जनरेटेड सुपरविज़न को डिटरमिनिस्टिक रीइन्फ़ोर्समेंट लर्निंग के साथ जोड़कर, Choudhary और उनकी टीम ने 507.5M-पैरामीटर वाले मॉडल में BLV-विशिष्ट स्पैशियल ग्राउंडिंग और सामान्य विजुअल-टेक्स्ट बेंचमार्क प्रदर्शन दोनों में सुधार किया।

OCR रिसर्च के लिए, सबसे महत्वपूर्ण नतीजा एक मापा गया ट्रांसफर है: SmolVLM2-500M बेसलाइन की तुलना में OCR-Bench ANLS में रिलेटिव 101.5% का सुधार हुआ, जबकि TextVQA एक्यूरेसी 44.2% बढ़ी। लेखकों का स्पष्टीकरण है कि स्थानिक रूप से ग्राउंडेड विवरण बेहतर स्पैशियल मैप्स और ज्योमेट्रिक पार्सिंग को बढ़ावा देते हैं, लेकिन पेपर इसे OCR के किसी सार्वभौमिक नियम के बजाय एक परिणाम और परिकल्पना के रूप में प्रस्तुत करता है।

लेखकों की योजना सीढ़ियों, कर्ब्स, ऊंचाई में बदलाव और गतिशील ख़तरों को कवर करने वाला अधिक डेटा जुटाने; एक समर्पित स्टेप-चेंज रिवॉर्ड शुरू करने; भीड़भाड़ वाले क्रॉसवाक और व्यस्त चौराहों का मूल्यांकन करने; ज्यामिति-आधारित स्थानिक-सटीकता मेट्रिक्स विकसित करने; और गलत दिशाओं, झूठे ख़तरे के दावों तथा मनगढ़ंत दूरियों के लिए तथ्यात्मकता जांच (factuality checks) जोड़ने की है।