एक पैच काफी है: 2B-पैरामीटर मॉडल स्ट्रीट साइन्स पर GPT-5.4 से बेहतर कैसे पढ़ता है

एक पैच काफी है

क्लॉड सॉनेट 4.6 को किसी भीड़भाड़ वाली दुकान के सामने की तस्वीर दिखाएं और उसे उसमें मौजूद हर साइनबोर्ड को ट्रांसक्राइब करने के लिए कहें, हर शब्द के चारों ओर सटीक बाउंड्रीज के साथ। यह मानक टोटल-टेक्स्ट (Total-Text) बेंचमार्क पर 14.1% एंड-टू-एंड सटीकता प्राप्त करता है। जीपीटी-5.4 थोड़ा बेहतर प्रदर्शन करता है, 17.2% के साथ। जेमिनी 3.1 फ्लैश हाई 50s में आता है। ये वर्तमान में मौजूद सबसे सक्षम सामान्य-उद्देश्य वाले मॉडल में से तीन हैं, और एक ऐसे कार्य पर जो लगभग त्रुटिपूर्ण लगता है (साइन पढ़ें, बताएं कि वह कहाँ है), वे एक ऐसे मॉडल द्वारा बुरी तरह हार जाते हैं जिसमें 2 अरब पैरामीटर हैं और जिसके बारे में ज्यादातर लोगों को कभी सुना ही नहीं होगा।

वह मॉडल दक्षिण चाइना यूनिवर्सिटी ऑफ टेक्नोलॉजी से प्रकाशित एक नए पेपर "वन पैच इज इनफ" से आता है। नाम ही पूरा प्रस्ताव है: इसके बजाय कि एक मॉडल को हर शब्द को पढ़ने के लिए छवि पैच का एक समूह इकट्ठा करना पड़े, उसे बिल्कुल एक पैच दें। यह पेपर इस बात पर चर्चा करने के लिए एक अच्छा बहाना है कि फोटो में पाठ पढ़ना स्कैन की गई पृष्ठ को पढ़ने से वास्तव में अलग समस्या क्यों है, और इस अंतर को दूर करने के लिए बड़े, स्मार्ट भाषा मॉडल को इस पर डालने से समस्या क्यों नहीं सुलझती।

CVS फार्मेसी - साइन पुनर्स्थापना — pixeljones द्वारा flickr के माध्यम से, BY-SA 2.0.

सड़क के बोर्ड को पढ़ना एक पन्ने को पढ़ने से कठिन क्यों है

"सीन टेक्स्ट स्पॉटिंग" (Scene text spotting) वह कार्य है जिसमें किसी फोटो में प्राकृतिक रूप से मौजूद पाठ को खोजना और ट्रांसक्राइब करना शामिल है: दुकानों के साइनबोर्ड, उत्पाद लेबल, सड़क के संकेत, ग्राफिटी, या फायर एक्सटिंग्विशर पर लगा स्टिकर। यह डॉक्यूमेंट OCR से एक महत्वपूर्ण पहलू में भिन्न है। एक स्कैन किया गया पन्ना समतल होता है, उच्च कंट्रास्ट वाला होता है, और साफ-सुथरी पंक्तियों में व्यवस्थित होता है। वहीं, एक रेस्तरां के साइनबोर्ड की फोटो छोटी हो सकती है, कुछ जगहों पर कम कंट्रास्ट वाली हो सकती है, लोगो के चारों ओर लिपटी हो सकती है, तीन अन्य साइनों से घिरी हो सकती है, और अक्सर किसी कोण से ली गई होती है।

मॉडल को एक साथ दो काम करने होते हैं और उन्हें बिल्कुल सटीक रूप से मिलाकर रखना होता है: यह पता लगाना कि प्रत्येक पाठ का टुकड़ा कहाँ स्थित है (डिटेक्शन) और यह पता लगाना कि उसमें क्या लिखा है (रेकग्निशन)। यदि बाउंड्री में कुछ पिक्सेल की गलती हो जाती है, तो आप किसी अक्षर को काट देते हैं। यदि बाउंड्री सही हो लेकिन उसे गलत शब्द से जोड़ दिया जाए, तो भले ही अक्षर सही हों, पूरा अनुमान बेकार हो जाता है।

मल्टीमोडल लार्ज लैंग्वेज मॉडल (MLLMs, जैसे GPT-4V और Gemini परिवार के मॉडल जो छवियों को देख सकते हैं और उनके बारे में बात कर सकते हैं) इस समस्या को छवि को छोटे टाइल्स के ग्रिड में काटकर, जिन्हें पैच (patches) कहा जाता है, और प्रत्येक पैच को एक टोकन के रूप में मानकर हल करते हैं, जो मॉडल शब्दों के लिए उपयोग करने वाले उसी प्रकार की इकाई है। छवि में किसी चीज़ की ओर इशारा करने के लिए, मॉडल या तो कच्चे निर्देशांकों (raw coordinates) को पाठ के रूप में आउटपुट कर सकता है, या सीधे इन पैच टोकन्स में से किसी एक की ओर इशारा कर सकता है। पैच की ओर इशारा करना अधिक विश्वसनीय है, क्योंकि यह मॉडल के उत्तर को उस चीज़ से जोड़ता है जिसे उसने वास्तव में देखा था, बजाय इसके कि वह हवा में चार संख्याओं का अनुमान लगाए।

पुरानी दृष्टिकोण: प्रत्येक शब्द पर कई पैच फेंकना

एक बार जब आप निर्देशांक टाइप करने के बजाय पैच की ओर इशारा कर रहे हैं, तो एक तार्किक अगला कदम यह है कि मॉडल प्रत्येक शब्द के लिए कई पैच चुने, इस सिद्धांत पर कि अधिक प्रमाण का अर्थ है अधिक आत्मविश्वास वाला उत्तर। यही वह था जो पूर्व विधियों ने किया था, और SPaTS पेपर तर्क देता है कि यह विशेष रूप से पाठ के लिए विपरीत प्रभाव डालता है।

उनका आंकड़ा 1 एक वास्तविक संकेत के साथ दिखाता है जो कुछ इस तरह पढ़ता है "MANOEI-HEATHER, PLEASE, FOREVER." प्रत्येक शब्द के लिए कई पैच सौंपे जाने के साथ, तीन विफलता प्रकार लगातार सामने आते हैं: एक पैच पाठ के बजाय प्रासंगिक पृष्ठभूमि पर गिरता है, कई पैच एक ही शब्द को सौंपे जाते हैं इसलिए यह स्पष्ट नहीं होता कि कौन सा प्राधिकार वाला है, और पड़ोसी शब्दों से पैच एक मिश्रित, अस्पष्ट संकेत में धुंधले हो जाते हैं। छोटा, घना, वक्र पाठ बिल्कुल वह स्थिति है जहाँ पास के पैच एक-दूसरे पर कदम रखने की सबसे अधिक संभावना रखते हैं।

समाधान: बिल्कुल एक पैच चुनें, फिर आकार के लिए छवि के बाकी हिस्से की मदद लें

गवेषणा पत्र का मुख्य विचार, Single-Patch Text Spotting (SPaTS), एक क्लस्टर के बजाय प्रत्येक पाठ उदाहरण को एकल एंकर पैच के माध्यम से रूट करता है। वह एंकर पहचान स्थापित करता है: यह पैच वह जगह है जहाँ शब्द "FOREVER" स्थित है। लेकिन एंकर अकेले वक्र या अनियमित पाठ के चारों ओर सटीक सीमा खींचने के लिए पर्याप्त जानकारी नहीं रखता, इसलिए SPaTS इस कार्य को दो भागों में विभाजित करता है।

Patch-Enhanced Decoding (PED) नामक एक घटक एकल चयनित एंकर को लेता है, इसे मॉडल की भाषा अवस्था (language state) के साथ संयोजित करता है, और फिर अंतिम ज्यामिति (geometry) को रिग्रेस करने के लिए केवल एंकर पैच के बजाय पूरी छवि की फीचर मैप पर क्रॉस-एटेंड करता है: एक बाउंडिंग बॉक्स, लोगो के चारों ओर मुड़ने वाले पाठ के लिए एक बेज़ियर वक्र, या बिंदुओं का एक सेट। इसे इस तरह सोचें जैसे एक गवाह लाइनअप से एक चेहरा चुनता है और फिर एक स्केच आर्टिस्ट पूरी तस्वीर को देखकर, केवल इशारा करने वाले उंगली को नहीं, पूरे पोर्ट्रेट को फिर से बनाता है। एक टोकन बताता है कि क्या है और लगभग कहाँ है; छवि का बाकी हिस्सा सटीक आकार प्रदान करता है।

मॉडल को यह सिखाना कि कौन सा पैच चुनें, बिना कभी सही उत्तर बताए

यहाँ असहज बात यह है: कोई भी डेटासेट यह नहीं कहता कि "पैच #4,281 इस शब्द के लिए सही एंकर है।" ग्राउंड ट्रुथ आपको एक बाउंडिंग बॉक्स और एक ट्रांसक्रिप्शन देता है, न कि यह रैंकिंग कि कौन सा व्यक्तिगत पैच उस इंस्टेंस का सबसे अच्छा प्रतिनिधित्व करता है। एंकर चुनना एक डिस्क्रिट निर्णय है जिसके लिए सीधे लेबल से सीखने के लिए कोई सीधा लेबल नहीं है।

लेखकों ने इसे रीइन्फोर्समेंट लर्निंग के साथ हल किया है, एक फ्रेमवर्क में जिसे वे Single-Patch Selective Optimization (SPaSO) कहते हैं, जो GRPO (Group Relative Policy Optimization) पर बना है, वही रेसिपी जिसे DeepSeek ने अपने मॉडल्स में गणितीय तर्क को प्रशिक्षित करने के लिए उपयोग किया था। मॉडल कई उम्मीदवार पैच चयन का नमूना लेता है, और जो चयन बेहतर परिणामों की ओर ले जाते हैं, वे समूह में अन्य लोगों की तुलना में अधिक मजबूत होते हैं। अलग से किसी क्रिटिक नेटवर्क की आवश्यकता नहीं है।

दो रिवॉर्ड्स काम करते हैं। पैच जनरेशन रिवॉर्ड अंतिम परिणाम की जाँच करता है: क्या इस पैच का चयन करने से ग्राउंड ट्रुथ के खिलाफ अच्छे ज्यामितीय ओवरलैप के साथ सही ट्रांसक्रिप्शन प्राप्त हुई? पैच डोमिनेंस रिवॉर्ड अधिक दिलचस्प है। क्योंकि मॉडल प्रशिक्षण की शुरुआत में कभी-कभी सही उत्तर पर नहीं पहुँचता, इसलिए प्राथमिक रिवॉर्ड अक्सर शून्य होता है, जो मॉडल को कुछ भी सीखने के लिए नहीं देता। डोमिनेंस रिवॉर्ड केवल उम्मीदवारों में सही पैच को उच्च रैंक देने के लिए आंशिक क्रेडिट देता है, भले ही अंतिम भविष्यवाणी अभी भी गलत हो। यह केवल बुलआई को रिवॉर्ड देने और "बोर्ड के करीब आने" को रिवॉर्ड देने के बीच का अंतर है।

दो छोटे विचार जो अपने नामों से कहीं अधिक काम कर रहे हैं

आर्किटेक्चर को पूरा करने के लिए दो सहायक घटक हैं।

दिशात्मक एम्बेडिंग एलाइनमेंट (DEA) एक सूक्ष्म विफलता मोड को संबोधित करता है: पैचों को वेक्टर के रूप में दर्शाया जाता है, और बड़ी परिमाण (magnitude) वाले वेक्टर तब भी चयन प्रक्रिया में हावी हो सकते हैं जब एक छोटा वेक्टर वास्तव में बेहतर सेमैंटिक मेल खाता हो। DEA प्रत्येक पैच वेक्टर को परिमाण (सिग्नल कितना मजबूत है) और दिशा (यह वास्तव में क्या दर्शाता है) में विभाजित करता है, और वार्मअप अवधि के बाद यह परिमाण को लॉक कर देता है, जिससे चयन दिशात्मक एलाइनमेंट पर निर्भर करता है न कि यह कि कौन सा पैच संयोगवश "सबसे तेज" है। उनके एब्लेशन (ablation) में, DEA को हटाने से चयन सेमैंटिक प्रासंगिकता के बजाय फीचर नॉर्म द्वारा हावी हो गया।

PED को हटाने, और चयनित इमेज पैच में पुनः-ग्राउंडिंग (re-grounding) के बजाय केवल लैंग्वेज मॉडल की आंतरिक अवस्था से ज्यामिति को डिकोड करने से, लेखकों द्वारा सटीकता में पतन (collapse) के रूप में वर्णित परिणाम हुआ। यह एक उपयोगी नकारात्मक परिणाम है: यह दिखाता है कि यदि आप मॉडल को वास्तविक पिक्सल्स के खिलाफ अपने उत्तर की जांच करते रहने पर मजबूर नहीं करते, तो वह संभावित दिखने वाले टेक्स्ट स्थानों को हैलुसिनेट (hallucinate) करना शुरू कर देगा।

संख्याएँ

परिणाम तीन बेंचमार्कों पर रिपोर्ट किए गए हैं: Total-Text (वक्र और बहु-अभिविन्यास पाठ), CTW1500 (साथ ही वक्र, अधिक घना), और ICDAR2015 (वास्तविक स्ट्रीट-दृश्य फोटो, आमतौर पर तीनों में सबसे कठिन)। SPaTS दो आकारों में आता है, 2B और 4B पैरामीटर, और इसे तीन श्रेणियों के प्रतिस्पर्धियों के खिलाफ तुलना की गई है: फ्रंटियर क्लोज़्ड-सोर्स मॉडल (Claude Sonnet 4.6, GPT-5.4, Gemini 3.1 Flash, Seed 2.0 Pro), बड़े ओपन-वेट मॉडल (Qwen3.5, एक 397B मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल; InternVL3.5 at 241B; GLM-4.6V; Kimi K2.5), और विशेषज्ञ OCR-केंद्रित MLLMs (HunyuanOCR, PaddleOCR-VL-1.5, dots.ocr)।

Total-Text पर, SPaTS-4B सख्त नो-डिक्शनरी सेटिंग के तहत 64.9% एंड-टू-एंड F-स्कोर तक पहुंचता है और शब्दों को अस्पष्टता से मुक्त करने में मदद करने के लिए एक शब्दकोश के साथ 74.9%, जबकि Claude Sonnet 4.6 का स्कोर 14.1% और 15.9% है। क्लोज़्ड-सोर्स फ्रंटियर मॉडल यहां बिल्कुल भी प्रतिस्पर्धी नहीं हैं, चाहे वे हर दूसरी चीज़ में कितने भी अच्छे क्यों न हों। CTW1500 पर, SPaTS-4B का एंड-टू-एंड स्कोर पूर्ण-शब्दकोश प्रोटोकॉल के तहत 79.6% तक पहुंच जाता है। ICDAR2015 पर, पेपर स्पष्ट रूप से कहता है कि SPaTS पिछले सर्वश्रेष्ठ परिणाम की तुलना में एंड-टू-एंड सटीकता में लगभग 50% की वृद्धि करता है।

एक सीधे एब्लेशन (ablation) को उजागर करना महत्वपूर्ण है क्योंकि यह आर्किटेक्चर में चल रही हर चीज़ से पेपर के केंद्रीय दावे को अलग करता है: समान बैकबोन पर, उन्होंने निर्देशांक-पाठ आउटपुट, मल्टी-पैच ग्राउंडिंग, और सिंगल-पैच ग्राउंडिंग की आपस में तुलना की। सिंगल-पैच ने स्पष्ट विजय हासिल की। यह अच्छा सबूत है कि लाभ शीर्षक में दिए गए विचार से आ रहा है, न कि बस एक बड़े ट्रेनिंग रन या बेहतर बैकबोन से।

रीइन्फोर्समेंट लर्निंग चरण आपकी उम्मीद से अधिक महत्वपूर्ण है। केवल सपरवाइज्ड फाइन-ट्यूनिंग से SPaSO जोड़ने पर लेखक CTW1500 पर पूर्ण-शब्दकोश सेटिंग के तहत एंड-टू-एंड F-माप में 20.7 अंकों की कूद बताते हैं, 58.9% से बढ़कर 79.6% तक। सपरवाइज्ड ट्रेनिंग एक ऐसा मॉडल देती है जो वर्णों को सटीकता से ट्रांसक्राइब करता है; RL चरण उसे वास्तव में अच्छे एंकर चुनना सिखाता है।

यह किसी भी OCR निर्माता या चयनकर्ता के लिए क्यों महत्वपूर्ण है

यहाँ सबसे उपयोगी निष्कर्ष विशिष्ट आर्किटेक्चर नहीं, बल्कि तुलना तालिका का सामान्य-उद्देश्य मॉडलों की स्थिति के बारे में क्या कहना है, वह है। Claude Sonnet 4.6, GPT-5.4, और Gemini 3.1 Flash तर्क, कोडिंग और किसी छवि के बारे में बातचीत करने में उत्कृष्ट हैं। वे वर्तमान में सटीक, घने पाठ स्थानीयकरण (precise, dense text localization) में खराब हैं, जहाँ एक उद्देश्य-निर्मित 2B मॉडल 60 से 80% स्कोर करता है, वहीं ये मॉडल केवल 10-20% के आसपास स्कोर करते हैं। यदि आपके उत्पाद को रसीद की फोटो या भीड़भाड़ वाली शेल्फ की तस्वीर में हर शब्द के चारों ओर कसकर बॉक्स खींचने की आवश्यकता है, तो एक सामान्य चैट मॉडल गलत उपकरण है, चाहे वह कितना भी नया या महंगा क्यों न हो।

दूसरा निष्कर्ष यह है कि पैरामीटर काउंट गुणवत्ता को पहचानने के लिए एक कमजोर संकेत है। इस कार्य में एक 2B मॉडल ने 397B मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल और 241B मॉडल को हराया। यदि कोई विक्रेता आपको बताता है कि उनका OCR अच्छा है क्योंकि यह किसी विशाल फ्रंटियर मॉडल द्वारा "संचालित" है, तो यह दावा वक्रित लोगो या धुंधली स्टोरफ्रंट फोटो पर इसकी प्रदर्शन क्षमता के बारे में बहुत कम बताता है। साफ स्कैन किए गए दस्तावेज़ों के बजाय, असंगत वास्तविक-दुनिया की छवियों पर सटीकता के आंकड़े माँगें, क्योंकि ये दो अलग-अलग समस्याएँ हैं जिनके दो अलग-अलग कठिनाई वक्र हैं।

तीसरा निष्कर्ष वास्तव में किसी एक इंजन पर दांव लगाने के खिलाफ तर्क है। एक साफ इनवॉइस स्कैन के लिए सही मॉडल, एक विकृत रसीद या सड़क के बोर्ड की फोटो के लिए जरूरी नहीं कि सही हो, और यह पेपर इस बात का स्पष्ट उदाहरण है कि "छवियाँ पढ़ने" का दावा करने वाले मॉडलों के बीच यह अंतर कितना चौड़ा हो सकता है। एक दस्तावेज़ को कई इंजनों से गुजारकर सर्वोत्तम परिणाम चुनना, इस धारणा से कम खर्चीला है कि एक विशाल मॉडल हर मामले को अच्छी तरह संभाल लेगा।

एक चेतावनी जिस पर विचार करना चाहिए: यहाँ सब कुछ लैटिन-स्क्रिप्ट सीन टेक्स्ट है, कोई हाथ से लिखा हुआ नहीं, कोई घने फॉर्म नहीं, कोई गैर-लैटिन स्क्रिप्ट नहीं, और कोई वास्तविक कागजी दस्तावेज़ नहीं। यह उस समस्या पर एक मजबूत परिणाम है जिस पर इसका परीक्षण किया गया था। क्या वही सिंगल-एंकर विचार इनवॉइस के ढेर या हाथ से लिखे नोट पर लागू होता है, यह एक अलग प्रश्न है जिसका उत्तर पेपर नहीं देता है। मजबूत अंग्रेजी OCR का मतलब यह जरूरी नहीं कि देवनागरी OCR भी उतना ही सटीक हो, क्योंकि देवनागरी में जटिल संयुक्त अक्षर, मात्राएँ और शिरोरेखा जैसे विशेषण होते हैं जो अंग्रेजी से भिन्न चुनौतियाँ पेश करते हैं।

वे खुरदरे किनारे जिन पर किसी ने कागज नहीं चढ़ाया है

लेखक दो वास्तविक सीमाओं के बारे में स्पष्ट हैं। सबसे पहले, RL चरण में प्रशिक्षण ओवरहेड में महत्वपूर्ण वृद्धि होती है और स्थिरता बनाए रखने के लिए इसका निर्भरता सावधानीपूर्वक ट्यून किए गए रिवॉर्ड शेपिंग पर होती है। यह सपरवाइज्ड प्रशिक्षण की तुलना में कोई ड्रॉप-इन दक्षता लाभ नहीं है, बल्कि यह एक अधिक जटिल विधि है जो सटीकता के बदले में प्रशिक्षण की सरलता को त्याग देती है।

दूसरा, DEA अपने पैच रिप्रेजेंटेशन के मैग्निट्यूड ब्रांच को वार्मअप अवधि के बाद लॉक कर देता है, और लेखक यह संकेत देते हैं कि इससे अत्यधिक प्रकाश परिवर्तनों के तहत रॉबस्टनेस को नुकसान हो सकता है, जहां पैच का कच्चा फीचर स्केल वास्तव में उपयोगी जानकारी रख सकता है जिसे फ्रोजन मॉडल अब अनदेखा कर रहा है। यह एक विशिष्ट, संभावित विफलता मोड है, कोई अस्पष्ट अस्वीकरण नहीं।

इसके अलावा, व्यावहारिक पहलू यह है कि कोड केवल "जल्द ही जारी किया जाएगा," इसलिए अभी यह एक पेपर है, कोई ऐसी चीज नहीं जिसे आप इंस्टॉल करके अपने दस्तावेजों के खिलाफ परीक्षण कर सकें। जब यह जारी होगा तो इसे देखने योग्य है, खासकर इसलिए क्योंकि यह दावा करता है कि यह फ्रंटियर चैट मॉडल और समर्पित OCR सिस्टम दोनों से कितनी आगे है, लेकिन अभी के लिए संख्याएं केवल ऊपर दी गई तालिकाओं में मौजूद हैं।