विज़न लेयर्स को छोड़ना काम करता है, जब तक आप इसे टेक्स्ट पढ़ने के लिए न कहें

जब आप किसी विज़न-लैंग्वेज मॉडल से पार्किंग लॉट की तस्वीर में कारों की गिनती करने को कहते हैं, तो वह उतनी ही कंप्यूटेशन चलाता है जितना कि जब आप उसे धुंधली रसीद ट्रांसक्राइब करने को कहते हैं। समान एन्कोडर, समान लेयर्स की संख्या, चाहे टास्क "कितनी हैं" हो या "इसमें क्या लिखा है", मिलीसेकंड और डॉलर खर्च करने में कोई फर्क नहीं पड़ता। इससे आपको थोड़ा परेशानी होनी चाहिए, क्योंकि ये स्पष्ट रूप से अलग-अलग काम हैं। कारों की गिनती करने के लिए स्थानिक लेआउट (spatial layout) की मोटी समझ की आवश्यकता होती है। रसीद पढ़ने के लिए छोटे अक्षरों पर बारीक विवरण की आवश्यकता होती है। किसी ने भी इन मॉडल्स को डिज़ाइन नहीं किया था कि वे दोनों कार्यों को एक समान मानें। यह बस तब होता है जब आप एक विज़न एन्कोडर बनाते हैं और उसे सब कुछ पर चलाते हैं।

टारुन तोमर (Tarun Tomar) द्वारा लिखे गए एक नए पेपर में एक सीधा सवाल पूछा गया है: अगर एक विज़न-लैंग्वेज मॉडल पहले से काम कर रहा है, तो क्या आप कुछ भी पुनः प्रशिक्षण (retraining) किए बिना इसके आंतरिक विज़न प्रोसेसिंग के कुछ हिस्से को छोड़कर इसे सस्ता बना सकते हैं? और अगर हाँ, तो क्या यह मदद करता है कि सवाल पाठ, गिनती, वस्तुओं, रंगों या स्थानिक संबंधों के बारे में होने पर अलग-अलग हिस्से छोड़े जाएं? जवाब हाँ है और साथ ही, एक महत्वपूर्ण तरीके से, नहीं भी है। पेपर स्मार्ट प्रूनिंग (smart pruning) से वास्तविक, स्थानांतरण योग्य लाभ पाता है, और फिर पाता है कि इसका सबसे आकर्षक विचार (प्रति कार्य शॉर्टकट को अनुकूलित करना) ठीक उसी मामले में टूट जाता है जिसके बारे में OpenOCR रीडर्स को सबसे ज्यादा परवाह है: पाठ पढ़ना।

पासपोर्ट 8 — केन मेयर (Ken_Mayer) द्वारा फ्लिकर के माध्यम से, BY 2.0।

विज़न-लैंग्वेज मॉडल की "आँखों" के अंदर वास्तव में क्या है

एक विज़न-लैंग्वेज मॉडल (VLM) एक छवि और एक टेक्स्ट प्रॉम्प्ट लेता है और एक टेक्स्ट उत्तर उत्पन्न करता है। किसी भी भाषा तर्क (language reasoning) के होने से पहले, छवि एक विज़न एन्कोडर से गुजरती है: ट्रांसफॉर्मर ब्लॉकों का एक स्टैक, जहाँ प्रत्येक ब्लॉक दृश्य प्रतिनिधित्व (visual representation) को थोड़ा और परिष्कृत करता है। ब्लॉक 1 किनारों और बनावट (edges and textures) को पहचान सकता है। ब्लॉक 12 कुछ ऐसे हो सकता है जो "यह निचले-दाएँ क्षेत्र में रसीद का कुल राशि है" जैसी अवधारणा को दर्शाता है। जब तक छवि लैंग्वेज मॉडल तक पहुँचती है, तब तक वह स्टैक में हर ब्लॉक से क्रम में गुजर चुकी होती है, चाहे सवाल कुछ भी हो।

यह वह सेटअप है जिस पर इस पेपर में हमला किया गया है। विचार यह है कि इनफरेंस टाइम पर ब्लॉकों की एक निश्चित संख्या, जिसे K कहा जाता है, को पूरी तरह से छोड़ दिया जाए। कोई फाइन-ट्यूनिंग नहीं, कोई पुनः प्रशिक्षण नहीं, बस यह तय करना कि "हम इस बार ब्लॉक 4, 9, 15, और 21 नहीं चलाएंगे" और देखना कि सटीकता (accuracy) पर क्या असर पड़ता है। यदि सटीकता में बहुत कम गिरावट आती है जबकि कम्प्यूट में महत्वपूर्ण कमी आती है, तो आपको मुफ्त दक्षता मिल गई है। यदि आप मॉडलों के एक परिवार में ऐसा करते हैं, तो आपको कुछ ऐसा मिल सकता है जो सामान्यीकृत (generalize) हो।

स्पष्ट पहली कोशिश ब्लॉकों को उनके व्यक्तिगत महत्व के आधार पर रैंक करना है (एक को हटाएं, नुकसान को मापें, हर ब्लॉक के लिए दोहराएं) और फिर उन K ब्लॉकों को हटा दें जो अपने आप में सबसे कम महत्वपूर्ण लगते हैं। पेपर इसे "independent ranking" कहता है, और यह वह प्राकृतिक बेसलाइन है जिसकी कोई भी सबसे पहले उम्मीद करेगा। एक अन्य प्राकृतिक प्रवृत्ति यह है कि केवल ब्लॉकों के एक लगातार हिस्से को काट दिया जाए, इस सिद्धांत पर कि मध्यम लेयरें अतिरिक्त (redundant) होती हैं। दोनों की गणना करना सस्ता है। दोनों, जैसा कि पता चला, वास्तविक सटीकता को पीछे छोड़ देते हैं।

बेहतर मार्गों का चयन, केवल ब्लॉकों को रैंक करने के बजाय

स्वतंत्र रैंकिंग की समस्या वही है जो आप तब का सामना करेंगे जब आप बास्केटबॉल खिलाड़ियों को एक-एक करके मूल्यांकन करेंगे और फिर यह जांचे बिना कि वे एक साथ अच्छा खेलते हैं या नहीं, अपने "श्रेष्ठ पांच" का चयन करेंगे। ब्लॉक एक-दूसरे के साथ इंटरैक्ट करते हैं। ब्लॉक 10 अभी भी उसे कवर करने के लिए मौजूद है, तो ब्लॉक 9 को हटाना हानिरहित हो सकता है, लेकिन एक बार जब ब्लॉक 15 भी गायब हो जाता है, तो यह हानिकारक हो जाता है। महत्व जोड़ने योग्य (additive) नहीं है, इसलिए ब्लॉकों को अलग-अलग स्कोर देना और शीर्ष चयनों को जोड़ना उन इंटरैक्शन को छूट जाता है जो केवल तभी सामने आते हैं जब आप सीधे संयोजनों का परीक्षण करते हैं।

यहीं पर पेपर का मुख्य विधि आता है: किन विशिष्ट K ब्लॉकों को छोड़ना है, इस पर एक विकासवादी खोज (evolutionary search)। ब्लॉकों को व्यक्तिगत रूप से स्कोर करने के बजाय, यह पूरे संयोजनों (विजन एन्कोडर के माध्यम से पूरे "मार्गों") का सीधे 876 उदाहरणों के एक होल्ड-आउट सेट के खिलाफ परीक्षण करता है, और बेहतर संयोजनों की ओर विकसित होता है। उम्मीदवार मार्गों की एक आबादी से शुरू करें, जो अच्छा स्कोर करते हैं उन्हें रखें, उन्हें उत्परिवर्तित (mutate) और पुनर्संयोजित (recombine) करें, और दोहराएं। यह वही तर्क है जो किसान एक फसल को सुधारने के लिए उपयोग करते हैं: आप पहले से यह तय नहीं करते कि कौन सा एक जीन सबसे अधिक महत्वपूर्ण है, आप वास्तविक दुनिया के परिणामों पर चयन करते हैं और अच्छे संयोजनों को जीवित रहने देते हैं।

यहाँ एक विवरण महत्वपूर्ण है: खोज "स्रोत-संतुलित" (source-balanced) है, जिसका अर्थ है कि जिस होल्ड-आउट सेट के खिलाफ इसका मूल्यांकन किया जाता है, वह जानबूझकर विभिन्न कार्य प्रकारों (OCR, गिनती, वस्तु पहचान, विशेषताएं, स्थानिक संबंध) को संतुलित अनुपात में मिश्रित करता है, बजाय इसके कि एक श्रेणी को हावी होने दें। इसका उद्देश्य खोज को रोकना है कि वह किसी ऐसे मार्ग को न ढूंढ ले जो, उदाहरण के लिए, गिनती में बहुत अच्छा हो और अन्य सभी चीजों में औसत हो, केवल इसलिए क्योंकि गिनती के उदाहरण अत्यधिक प्रतिनिधित्व वाले थे।

पेपर इसका परीक्षण दो मॉडलों पर करता है, Qwen2.5-VL-3B-Instruct और SmolVLM2-2.2B-Instruct, जो दोनों मध्यम आकार के ओपन VLMs हैं, और इसे स्वतंत्र रैंकिंग, सतत हटाने (contiguous removal), और मेल खाते बजट (एक ही संख्या में ब्लॉक छोड़े गए, लेकिन कौन से ब्लॉक चुने गए, इसमें अंतर) पर यादृच्छिक ब्लॉक चयन के साथ तुलना करता है।

वह परिणाम जो लोगों को नाइव प्रूनिंग को फिर से सोचने पर मजबूर कर देगा

मुख्य आंकड़ा: SmolVLM2 पर, विकासवादी खोज (evolutionary search) की साझा चार-ब्लॉक रूट (हर प्रश्न के लिए, कार्य की परवाह किए बिना छोड़ने के लिए ब्लॉकों का एक निश्चित सेट) स्वतंत्र रैंकिंग निर्माण से 4.91 प्रतिशत बिंदुओं से बेहतर प्रदर्शन करती है। यह एक महत्वपूर्ण अंतर है, क्योंकि इस परिवर्तन की लागत इनफरेंस टाइम पर शून्य है, सिवाय इसके कि तय करना कि किन चार ब्लॉकों को छोड़ना है। और चूंकि यह पैटर्न दोनों परीक्षण किए गए आर्किटेक्चर पर दिखाई देता है, यह एक अच्छा संकेत है कि कॉम्बिनेटोरियल खोज (पूरी रूट्स को एक साथ जांचना बजाय ब्लॉकों को एक-एक करके स्कोर करने से) इन शॉर्टकट्स को बनाने के लिए स्पष्ट पहली दृष्टिकोण से वास्तव में बेहतर तरीका है।

यदि पेपर वहीं रुक जाता, तो निष्कर्ष सरल होता: अच्छे ब्लॉक संयोजनों की खोज उन्हें व्यक्तिगत रूप से रैंक करने से बेहतर है, और यदि आप बिना पुनः प्रशिक्षण के VLM पर इनफरेंस लागत कम करने की कोशिश कर रहे हैं, तो यह जानना महत्वपूर्ण है।

विशेषज्ञता का विचार कहाँ आकर्षक लगता है, और फिर टूट जाता है

अगला सवाल जो पेपर पूछता है, वह अधिक महत्वाकांक्षी है: अगर आप हर सवाल के लिए एक निश्चित रास्ता नहीं इस्तेमाल करते, बल्कि यह देखते हुए कि सवाल किस प्रकार का है, अलग-अलग K-ब्लॉक रास्ता चुनते हैं, तो क्या होगा? अगर आपको पता है (या अनुमान लगा सकते हैं) कि सवाल OCR, गिनती या स्थानिक तर्क (spatial reasoning) के बारे में है, तो शायद हर एक के लिए छोड़ने के लिए आदर्श ब्लॉक अलग-अलग होंगे। इसके लिए एक क्षमता लेबल (capability label) की आवश्यकता होती है, कोई सिग्नल जो सिस्टम को बताता है कि वर्तमान सवाल किस कार्य श्रेणी में आता है।

Qwen2.5-VL पर, यह शुरू में फायदा देता है। छह-ब्लॉक क्षमता-विशिष्ट नीति (policy) साझा, एक-साइज-फिट्स-ऑल रास्ते से कुल मिलाकर 2.17 अंकों से बेहतर है, और लगभग पूरा लाभ एक ही श्रेणी से आता है: विशेष रूप से OCR पर 7.10 अंकों की सुधार। यह एक वास्तविक परिणाम है, और अगर यह हर जगह टिकता, तो यह वास्तव में उपयोगी होता: डिफ़ॉल्ट रूप से एक सामान्य रास्ते का उपयोग करें, जब आप जानते हैं कि आप पाठ पढ़ रहे हैं तो एक विशेष OCR रास्ते पर स्विच करें, और मुफ्त में सटीकता में एक महत्वपूर्ण वृद्धि प्राप्त करें।

लेकिन यह टिकता नहीं है। जब पेपर SmolVLM2 के OCR-विशिष्ट रास्ते की जांच IIIT5K के खिलाफ करता है, जो एक मानक सीन-टेक्स्ट बेचमार्क है (वाइल्ड में पाठ की तस्वीरें: स्टोरफ्रंट, रोड साइन्स, प्रोडक्ट लेबल्स), तो वह विशेष रास्ता साधारण साझा रास्ते से 13.6 अंकों पीछे रह जाता है। यह कोई राउंडिंग एरर नहीं है। एक विशेष शॉर्टकट जो खोज के अपने ही होल्ड-आउट सेट पर जीत जैसा लग रहा था, अंत में एक अलग, सीलबंद OCR टेस्ट पर प्रदर्शन को सक्रिय रूप से नुकसान पहुँचा रहा था।

यह क्यों होता है, यह महत्वपूर्ण हिस्सा है। क्षमता-विशिष्ट रास्ते का अनुकूलन (optimize) सिलेक्शन सेट से OCR-लेबल वाले उदाहरणों के सीमित पूल के खिलाफ किया गया था। यह उन ब्लॉकों को छोड़ना सीख गया जो उस विशेष स्लाइस के पाठ-पढ़ने वाले उदाहरणों के लिए महत्वपूर्ण नहीं थे, न कि वे ब्लॉक जो पाठ पढ़ने के लिए सामान्यतः महत्वपूर्ण नहीं हैं। IIIT5K का सीन टेक्स्ट (वक्र साइनिंग, अजीब फ़ॉन्ट, भीड़भाड़ वाले बैकग्राउंड) शायद उस दृश्य प्रसंस्करण की कुछ जरूरतें रखता है जिसे विशेष रास्ते ने फेंकने का फैसला किया था। रास्ते ने "OCR" की एक संकीर्ण परिभाषा पर ओवरफिट (overfit) किया, बजाय इसके कि वह कुछ ऐसा ढूंढता जो वास्तविक दुनिया में OCR की वास्तविक रूपरेखा पर सामान्यीकृत (generalize) हो।

OCR बनाने या चुनने वाले किसी के लिए यह क्यों मायने रखता है

अगर आप एक डॉक्यूमेंट-प्रोसेसिंग पाइपलाइन बना रहे हैं, या यह मूल्यांकन कर रहे हैं कि किस OCR इंजन या VLM बैकबोन पर भरोसा किया जाए, तो यह पेपर किसी विशेष प्रकार की एफिशिएंसी ट्रिक के बारे में एक उपयोगी सावधानी भरी कहानी है, न कि सामान्य तौर पर VLM-आधारित OCR पर भरोसा न करने का कारण।

अच्छी खबर: प्रोपर कॉम्बिनेटोरियल सर्च के जरिए ब्लॉक स्किपिंग, न कि एड हॉक प्रूनिंग, बिना रीट्रेनिंग किए एक विज़न-लैंग्वेज मॉडल पर इनफरेंस कॉस्ट कम करने का एक वैध तरीका है, और इस अध्ययन में दो अलग-अलग मॉडल फैमिली में लाभ स्थानांतरित हुए। अगर कोई वेंडर आपको बताता है कि उन्होंने अनुमान के बजाय सावधानीपूर्वक खोज के जरिए एक सस्ती इनफरेंस पाथ खोजी है, तो यह संभावित है और इसे गंभीरता से लेना चाहिए।

कैच: जब भी कोई प्रोवाइडर आपको बताता है कि उन्होंने एक शेयर्ड मॉडल के जरिए "टास्क-स्पेशलाइज्ड" या "OCR-ऑप्टिमाइज्ड" फास्ट पाथ बनाया है, पूछें कि इसे किसके खिलाफ वैलिडेट किया गया था। यह पेपर दिखाता है कि एक स्पेशलाइज्ड OCR रूट उस बेंचमार्क पर बहुत अच्छा दिख सकता है जिसका उपयोग इसे बनाने के लिए किया गया था, फिर एक अलग, स्टैंडर्ड OCR टेस्ट पर 13 पॉइंट से अधिक खो सकता है। यह अंतर बिल्कुल वही है जो अगर आप केवल वेंडर के अपने रिपोर्ट किए गए नंबरों की जांच करते तो अदृश्य रह जाता। अगर आप OCR इंजनों के बीच चुन रहे हैं, तो व्यावहारिक कदम वही है जो इस पेपर का तात्पर्य है: अपने खुद के डॉक्यूमेंट्स पर टेस्ट करें, खासकर असंगठित रियल-वर्ल्ड वाले (रसीदें, साइनबोर्ड, हैंडराइटिंग, लो-कंट्रास्ट स्कैन), न कि केवल उस बेंचमार्क पर जिसके खिलाफ वेंडर की ऑप्टिमाइजेशन ट्यून की गई थी।

जो बना रहे हैं न कि खरीद रहे हैं: यह एक मजबूत तर्क है कि डिफॉल्ट के रूप में एकल शेयर्ड, अच्छी तरह टेस्ट की गई रास्ता बनाए रखने का, और किसी भी टास्क-स्पेसिफिक फास्ट पाथ को एक एक्सपेरिमेंटल ऐड-ऑन के रूप में मानने का, जिसे शिप करने से पहले एक वास्तव में अलग टेस्ट सेट पर अपनी खुद की होल्ड-आउट वैलिडेशन की आवश्यकता होती है, न कि केवल उस सेट पर बेहतर स्कोर जिसका उपयोग आपने इसे खोजने के लिए किया था। मजबूत अंग्रेजी OCR का मतलब यह नहीं है कि देवनागरी OCR भी उतना ही अच्छा होगा; इस पेपर की दायरे में यह बात प्रासंगिक है क्योंकि देवनागरी स्क्रिप्ट में स्टैक्ड कॉन्जंक्ट्स, मात्राएं, शिरोरेखा और नुक्ता जैसे जटिल तत्व होते हैं जो अंग्रेजी से काफी भिन्न चुनौतियां पेश करते हैं।

यहाँ क्या अभी भी अस्पष्ट है

यह एक छोटे मॉडल और सीमित दायरे का अध्ययन है, और इसे इसी नज़रिए से पढ़ना चाहिए। दोनों परीक्षण किए गए मॉडल अपेक्षाकृत कॉम्पैक्ट हैं (3B और 2.2B पैरामीटर), इसलिए यह एक खुला सवाल है कि क्या शेअर्ड और स्पेशलाइज्ड रूट्स के बीच यह अंतर बड़े प्रोडक्शन-ग्रेड VLMs में भी दिखाई देता है। केवल दो आर्किटेक्चर्स का परीक्षण किया गया था, जो यह दिखाने के लिए पर्याप्त है कि पैटर्न कोई एक बार की घटना नहीं है, लेकिन इसे सार्वभौमिक कहने के लिए पर्याप्त नहीं है।

एक व्यावहारिक मुद्दा भी है जिसे पेपर पूरी तरह से हल नहीं करता है: एक क्षमता-विशिष्ट रूट का उपयोग करने के लिए इन्फरेंस टाइम पर क्षमता लेबल जानना आवश्यक है, जिसका अर्थ है कि कुछ (एक क्लासिफायर, यूजर-प्रोवाइडेड हिंट, या राउटर मॉडल) को हर आने वाले सवाल को OCR, काउंटिंग, स्पेशियल या कुछ और के रूप में सही लेबल देना होगा, ताकि सही रूट चुना जा सके। अगर वह क्लासिफिकेशन गलत होती है, तो आप केवल स्पेशलाइजेशन के लाभ को खो ही नहीं रहे हैं, बल्कि आप सक्रिय रूप से एक OCR सवाल को काउंटिंग के लिए ऑप्टिमाइज्ड रूट के माध्यम से राउट कर रहे हो सकते हैं।

हालाँकि, सबसे महत्वपूर्ण सीमा वही है जिसके बारे में पेपर अपने फ्रेमिंग में ईमानदार है: कॉम्बिनेटोरियल सर्च भरोसेमंदी से यह सुधार करता है कि आप एक रूट कैसे बनाते हैं, लेकिन क्षमता लेबल्स भरोसेमंदी से एक ऐसा रूट नहीं परिभाषित करते जो जनरलाइज हो। यह "टैस्क-स्पेसिफिक प्रूनिंग काम करता है" से संकीर्ण और अधिक उपयोगी दावा है, और अगली बार जब कोई टेक्स्ट पढ़ने के लिए विशेष रूप से ऑप्टिमाइज्ड मॉडल पेश करे, तो इसे याद रखने योग्य है। पूछें कि यह उस टेक्स्ट पर क्या करता है जो उस टेक्स्ट जैसा नहीं दिखता जिसके लिए इसे ऑप्टिमाइज किया गया था।