SP-DocReader: डिफ़रेंस-अवेयर सेल्फ़-प्ले से Vary-600K पर OCR एरर रेट आधा

जब ज़्यादा पैरामीटर दस्तावेज़ पढ़ना और बिगाड़ देते हैं

4 अरब पैरामीटर वाले विज़न-लैंग्वेज मॉडल को हज़ारों दस्तावेज़ पेजों पर फ़ाइन-ट्यून करना बेहतर ट्रांसक्रिप्शन का एक आशाजनक नुस्खा लगता है। SP-DocReader के प्रयोगों में लैंग्वेज मॉडल और OCR मॉड्यूल को एक साथ अपडेट करने से इन-डिस्ट्रिब्यूशन कैरेक्टर एरर रेट सचमुच कम हुआ। फिर भी होल्ड-आउट डॉक्यूमेंट बेंचमार्क पर यह रणनीति एक छोटे एडैप्टेशन से पीछे रह गई। स्कैन किए गए रिकॉर्ड वाले IIT-CDIP पर लैंग्वेज मॉडल और OCR की संयुक्त ट्यूनिंग से कैरेक्टर एरर रेट 16.87% आया। वही पेज इस्तेमाल करने वाले, बैकबोन फ़्रीज़ रखकर ट्रेन किए गए 0.5 अरब पैरामीटर के OCR मॉड्यूल ने 14.42% हासिल किया। दोनों कॉन्फ़िगरेशन में विज़ुअल एनकोडर और उसका कनेक्टर फ़्रीज़ ही रहे।

यह अटपटा अंतर SP-DocReader की एक खोज है। यह OCR रिसर्च पेपर 8 अक्टूबर, 2026 को Wenjie Liao, Xiaohui Song, Liangjie Zhao और Haonan Lu ने प्रकाशित किया, जो Guangdong OPPO Mobile Telecommunications और Adelaide University से जुड़े हैं। दस्तावेज़ ट्रांसक्रिप्शन मूल रूप से बेरहम काम है। किसी पेज के बारे में छोटा-सा उत्तर देना उसके टेक्स्ट को, छोटे अक्षरों और संख्याओं समेत, हूबहू उतारने से बिल्कुल अलग काम है। पेपर के उदाहरण दिखाते हैं कि क्या गलत हो सकता है: किसी संवैधानिक संशोधन के निरसन वर्ष को 1933 की जगह 1935 पढ़ लेना, "State legislatures" को "State legislators" बना देना, या गणितीय डायमेंशन फ़ॉर्मूले dim S = dim A + |L| को dim S = dim A + IL लिख देना।

SP-DocReader इन्हीं बची-खुची गलतियों को सीधे निशाना बनाता है। यह फ़्रेमवर्क दो विचारों को जोड़ता है: एक मॉड्यूलर OCR ब्रांच, जो मूल विज़न-लैंग्वेज मॉडल को फ़्रीज़ रखती है, और एक इटरेटिव सेल्फ़-प्ले ट्रेनिंग स्कीम, जो जनरेट की गई और रेफ़रेंस ट्रांसक्रिप्शन के बीच के अंतर से लॉस की पोज़िशन चुनती है।

नतीजा चौंकाने वाला है। Qwen3-VL-4B पर डिफ़रेंस-अवेयर सेल्फ़-प्ले के तीन राउंड ने Vary-600K वैलिडेशन सेट पर कैरेक्टर एरर रेट 2.40% से घटाकर 1.11% कर दिया, यानी दो-एपोक सुपरवाइज़्ड फ़ाइन-ट्यूनिंग की तुलना में लगभग 54% की सापेक्ष कमी। ट्रेनिंग-बजट की एक अलग तुलना में 30,000 रेफ़रेंस पेजों वाला सेल्फ़-प्ले पाँच-टास्क कंपोज़िट स्कोर पर 120,000 पेजों वाली सुपरवाइज़्ड फ़ाइन-ट्यूनिंग से आगे रहा। यानी अलग-अलग ट्रेनिंग-रेफ़रेंस पेज एक-चौथाई थे। यह एनोटेशन लागत या कुल कम्प्यूटेशन का माप नहीं है।

स्टैंडर्ड सुपरवाइज़्ड फ़ाइन-ट्यूनिंग का ध्यान क्यों बिखर जाता है

SP-DocReader की प्रेरणा समझने के लिए देखिए कि स्टैंडर्ड सुपरवाइज़्ड फ़ाइन-ट्यूनिंग (SFT) डॉक्यूमेंट रीडर को कैसे ट्रेन करती है।

स्टैंडर्ड ऑटोरिग्रेसिव फ़ाइन-ट्यूनिंग में मॉडल को प्रॉम्प्ट के साथ एक डॉक्यूमेंट इमेज मिलती है, और ट्रेनिंग पाइपलाइन पूरे टारगेट टेक्स्ट पर टीचर-फ़ोर्स्ड क्रॉस-एन्ट्रॉपी लॉस निकालती है। हर टारगेट टोकन को सुपरविज़न मिलता है। अगर किसी रेफ़रेंस में 800 मॉडल टोकन हैं, तो ऑब्जेक्टिव में सभी 800 पोज़िशन शामिल होती हैं, भले ही उनके लॉस और ग्रेडिएंट योगदान बराबर न हों।

जो रीडर पेज का बड़ा हिस्सा पहले से सही ट्रांसक्राइब कर लेता है, उसे भी गलतियों के छोटे-से बचे हुए समूह से जूझना पड़ सकता है। फ़ुल-सीक्वेंस SFT उन पोज़िशन को पहचानने के लिए जनरेट की गई रीडिंग का इस्तेमाल नहीं करती। SP-DocReader यह पूछता है कि क्या बचे हुए मतभेदों को स्पष्ट रूप से चुनने से सुपरवाइज़्ड चरण के बाद एडैप्टेशन बेहतर हो सकता है।

टीचर फ़ोर्सिंग जनरेशन से भी अलग है। ट्रांसक्रिप्शन के दौरान मॉडल हर नया टोकन अपने ही पिछले आउटपुट पर कंडीशन करता है। सुपरवाइज़्ड ट्रेनिंग में वह ग्राउंड-ट्रुथ प्रीफ़िक्स दिए जाने पर अगला रेफ़रेंस टोकन प्रेडिक्ट करता है। SP-DocReader मॉडल की जनरेट की गई रीडिंग को ट्रेनिंग में लाता है, जबकि रेफ़रेंस टोकन को स्कोर करते समय पूरा ग्राउंड-ट्रुथ प्रीफ़िक्स ही इस्तेमाल करता है।

रिपोर्ट किए गए सुपरवाइज़्ड ट्रैजेक्ट्री इस बदलाव की वजह बताती हैं। Qwen3-VL-4B पर Vary-600K CER एक सुपरवाइज़्ड एपोक के बाद 2.50% था, दो के बाद 2.40% हुआ, और तीन के बाद बढ़कर 2.66% हो गया। इस मेट्रिक पर InternVL में भी ऐसा ही उलटाव दिखता है। ये नतीजे एक अलग ऑब्जेक्टिव की जाँच का आधार देते हैं; वे यह साबित नहीं करते कि सुपरवाइज़्ड फ़ाइन-ट्यूनिंग हर जगह दो एपोक के बाद काम करना बंद कर देती है।

अलग रिवॉर्ड मॉडल के बिना सेल्फ़-प्ले उधार लेना

SP-DocReader, SPIN के उस इटरेटिव तरीके पर बना है जिसमें रेफ़रेंस रिस्पॉन्स को पिछले मॉडल चेकपॉइंट के आउटपुट के साथ जोड़ा जाता है। एक एक्टिव मॉडल इन जोड़ियों से सीखता है और फिर अगले राउंड के लिए ख़ुद ऑपोनेंट बन जाता है।

ओपन-एंडेड चैट की तुलना में दस्तावेज़ ट्रांसक्रिप्शन का एक उपयोगी संरचनात्मक फ़ायदा है: ट्रेनिंग पेजों के रेफ़रेंस ट्रांसक्रिप्शन मौजूद हैं। फ़्रेमवर्क अलग रिवॉर्ड मॉडल ट्रेन किए बिना, या सब्जेक्टिव प्रेफ़रेंस लेबल जुटाए बिना, उन रेफ़रेंस से मतभेद ढूँढ सकता है।

SP-DocReader इस लूप को पेज ट्रांसक्रिप्शन के लिए ढालता है:

1. ऑपोनेंट ड्राफ़्ट जनरेट करता है: राउंड t पर फ़्रेमवर्क मौजूदा चेकपॉइंट को फ़्रीज़ करके उसे ऑपोनेंट ($\theta_t$) बनाता है। ऑपोनेंट प्रति पेज एक रीडिंग ग्रीडी तरीके से जनरेट करता है, जो EOS पर या प्रॉम्प्ट छोड़कर 1,024 नए टोकन पर रुक जाती है।
2. फ़्रेमवर्क ड्राफ़्ट की तुलना करता है: वह ऑपोनेंट के जनरेट किए टोकन सीक्वेंस को ज्ञात रेफ़रेंस ट्रांसक्रिप्शन के साथ अलाइन करता है।
3. फ़्रेमवर्क अंतर चुनता है: वह दोनों सीक्वेंस में बेमेल पोज़िशन पहचानता है। ये पोज़िशन तय करती हैं कि कौन से टोकन लॉग-प्रोबैबिलिटी ट्रेनिंग ऑब्जेक्टिव में जाएँगी।
4. टारगेटेड ऑप्टिमाइज़ेशन प्लेयर को अपडेट करता है: एक ड्यूल-लॉस ऑब्जेक्टिव ट्रेन करने योग्य OCR मॉड्यूल को अपडेट करता है। एक घटक रेफ़रेंस और जनरेट किए गए अंतरों के लिए ऑपोनेंट-सापेक्ष स्कोर बदलावों की तुलना करता है। दूसरा बेमेल रेफ़रेंस टोकन को सीधे सुपरवाइज़ करता है।
5. ऑपोनेंट रिफ़्रेश होता है: लोकल ऑप्टिमाइज़ेशन के बाद अपडेट हुआ प्लेयर अगला ऑपोनेंट ($\theta_{t+1}$) बन जाता है और नई रीडिंग और डिफ़रेंस मास्क जनरेट करता है।

हर राउंड के भीतर रीडिंग और मास्क स्थिर रहते हैं। राउंड के बीच उन्हें रिफ़्रेश करने से अगली ट्रेनिंग अपडेट हुए मॉडल की बची गलतियों पर प्रतिक्रिया दे पाती है, हालाँकि यह प्रक्रिया इसकी गारंटी नहीं देती कि हर नया अंतर पिछले से ज़्यादा कठिन या सूक्ष्म होगा।

सर्जिकल एरर करेक्शन: लॉन्गेस्ट कॉमन सबसीक्वेंस और ड्यूल ग्रेडिएंट

SP-DocReader का मुख्य तकनीकी योगदान इसमें है कि वह अंतरों को कैसे चुनता और स्कोर करता है। लेखक दो पूरक तंत्र पेश करते हैं: Reading Discrepancy Masking (RDM) और Focused Fidelity Loss (FFL)।

Reading Discrepancy Masking (RDM)

फ़्रेमवर्क ग्राउंड-ट्रुथ टोकन सीक्वेंस $y$ और ऑपोनेंट के सिंथेटिक सीक्वेंस $\hat{y}$ को सीधे मॉडल-टोकन स्तर पर अलाइन करता है।

वह सफ़िक्स जोड़ियों पर डायनामिक प्रोग्रामिंग से Longest Common Subsequence (LCS) निकालता है। जब टोकन मेल खाते हैं, तो दोनों सीक्वेंस पॉइंटर आगे बढ़ते हैं। जब टोकन अलग होते हैं, तो एल्गोरिदम वह पॉइंटर आगे बढ़ाता है जो बचे हुए सफ़िक्स की बड़ी LCS लंबाई सुरक्षित रखे। बराबरी की स्थिति में वह सिंथेटिक पॉइंटर आगे बढ़ाता है और ग्राउंड-ट्रुथ पोज़िशन को बनाए रखता है।

यह डिटर्मिनिस्टिक अलाइनमेंट दो पोज़िशन सेट बनाता है, जो हर एक अपने सीक्वेंस का है:

• $\mathcal{E}_y$: ग्राउंड-ट्रुथ सीक्वेंस की बेमेल पोज़िशन।
• $\mathcal{E}_{\hat{y}}$: जनरेट की गई रीडिंग की बेमेल पोज़िशन।

ये मॉडल-टोकन स्तर के अंतर हैं; ज़रूरी नहीं कि ये अलग-अलग कैरेक्टर, शब्द या हर पहचान-त्रुटि का अनूठा निदान हों।

अहम बात यह है कि SP-DocReader बेमेल टोकन को अलग-थलग टेक्स्ट टुकड़ों के रूप में वापस नहीं भेजता। हर चुना गया टोकन अपने पूरे मूल कंडीशनिंग प्रीफ़िक्स के साथ स्कोर होता है। पोज़िशन 450 का रेफ़रेंस टोकन अब भी पिछले सभी 449 रेफ़रेंस टोकन इस्तेमाल करता है; जनरेट किया गया टोकन अपना जनरेट किया प्रीफ़िक्स इस्तेमाल करता है। मास्क सीधे लॉस टर्म चुनते हैं, जबकि मेल खाते टोकन कॉन्टेक्स्ट कम्प्यूटेशन का हिस्सा बने रहते हैं।

Reading Discrepancy Loss ($\mathcal{L}_{RDM}$)

फ़्रेमवर्क SPIN से अपनाया गया एक कॉन्ट्रास्टिव ऑब्जेक्टिव निकालता है, जिसकी प्रेरणा Integral Probability Metrics में इस्तेमाल होने वाले एक्सपेक्टेशन गैप से ली गई है। हर सीक्वेंस के लिए वह मौजूदा प्लेयर और फ़्रीज़ किए गए ऑपोनेंट के बीच स्कोर परिवर्तन निकालता है:

$$\Delta_t(z) = S_\theta(z, \mathcal{E}z) - S{\theta_t}(z, \mathcal{E}_z)$$

यहाँ $S_\theta$ चुनी गई पोज़िशन पर टोकन लॉग-प्रोबैबिलिटी का योग है, जिसमें उनके पूरे मूल प्रीफ़िक्स इस्तेमाल होते हैं। यह योग लंबाई से नॉर्मलाइज़ नहीं किया जाता। Reading Discrepancy Loss एक लॉजिस्टिक लॉस लगाता है:

$$\mathcal{L}_{RDM}(\theta, \theta_t) = \mathbb{E}\left[\log\left(1 + \exp\left(\beta [\Delta_t(\hat{y}) - \Delta_t(y)]\right)\right)\right]$$

यह ऑब्जेक्टिव जनरेट किए गए अंतरों की तुलना में ग्राउंड-ट्रुथ अंतरों के लिए ऑपोनेंट के मुक़ाबले बड़ी स्कोर वृद्धि को तरजीह देता है। यह एक सापेक्ष तुलना है, न कि केवल गलत टोकन की निरपेक्ष प्रोबैबिलिटी पर आधारित दंड।

Focused Fidelity Loss (FFL)

कॉन्ट्रास्टिव ऑब्जेक्टिव ग्राउंड-ट्रुथ स्कोर बढ़ाए बिना सिंथेटिक स्कोर घटाकर भी कम हो सकता है। इसलिए गलत रीडिंग को दबाना अपने-आप रेफ़रेंस के लिए मज़बूत समर्थन सुनिश्चित नहीं करता।

वह सीधा दबाव जोड़ने के लिए लेखक Focused Fidelity Loss ($\mathcal{L}_{FFL}$) लाते हैं। FFL बेमेल ग्राउंड-ट्रुथ पोज़िशन पर टीचर-फ़ोर्स्ड नेगेटिव लॉग-लाइकलीहुड लगाता है:

$$\mathcal{L}{FFL}(\theta) = - \mathbb{E}\left[\sum{k \in \mathcal{E}y} \log P\theta(y_k \mid y_{<k}, I, x)\right]$$

मेल खाती पोज़िशन को कोई सीधा टोकन-लॉस टर्म नहीं मिलता। फिर भी कंडीशनिंग कॉन्टेक्स्ट में अपनी भूमिका के ज़रिए वे चुने गए लॉस को प्रभावित कर सकती हैं, इसलिए मास्किंग का अर्थ यह नहीं कि मेल खाती पोज़िशन पर सभी आंतरिक ग्रेडिएंट या कम्प्यूटेशन ग़ायब हो जाते हैं।

अंतिम ऑब्जेक्टिव दोनों टर्म को जोड़ता है:

$$\mathcal{L}{total} = \mathcal{L}{RDM} + \lambda \mathcal{L}_{FFL}$$

प्रयोग सीधे सुपरविज़न के डिफ़ॉल्ट वज़न के रूप में $\lambda = 0.5$ इस्तेमाल करते हैं।

लेखक ट्रेन करने योग्य OCR पैरामीटर के सापेक्ष संयुक्त ग्रेडिएंट निकालते हैं:

$$\nabla_\theta \mathcal{L}{pair} = -[\beta \sigma(-u) + \lambda]\nabla\theta s_y

• \beta \sigma(-u)\nabla_\theta s_{\hat{y}}$$

यहाँ $s_y$ और $s_{\hat{y}}$ मास्क किए गए रेफ़रेंस और सिंथेटिक स्कोर हैं, और $u=\beta[\Delta_t(y)-\Delta_t(\hat{y})]$ है। ग्रेडिएंट डिसेंट में दोनों टर्म रेफ़रेंस स्कोर बढ़ाने और सिंथेटिक स्कोर घटाने का दबाव देते हैं, जबकि FFL रेफ़रेंस योगदान में अतिरिक्त वज़न जोड़ता है। यह व्युत्पत्ति इन भूमिकाओं को समझाती है; यह ग्रेडिएंट वेरिएंस में कमी या मास्किंग से स्वतः कम्प्यूटेशन बचत सिद्ध नहीं करती।

0.5 अरब पैरामीटर का स्वीट स्पॉट

लॉस फ़ंक्शन के साथ-साथ मॉडल आर्किटेक्चर के चुनाव भी मायने रखते हैं। लैंग्वेज बैकबोन को अपडेट करने के बजाय लेखक DocVLM के मॉड्यूलर रीडर पर निर्माण करते हैं।

पाइपलाइन ज़िम्मेदारियाँ बाँटती है:

• फ़्रीज़ किया हुआ विज़ुअल पाथवे: विज़ुअल एनकोडर घटे हुए रेज़ोल्यूशन वाले पेज प्रोसेस करता है। स्टैंडर्ड प्रोटोकॉल में जहाँ भौतिक आयाम उपलब्ध हों, वहाँ PDF 72 DPI पर रेंडर होते हैं; केवल रैस्टर पेजों की लंबी भुजा 842 पिक्सल पर सीमित की जाती है, बिना अपस्केल किए।
• फ़्रीज़ किया हुआ लैंग्वेज बैकबोन: लैंग्वेज मॉडल के वेट अपरिवर्तित रहते हैं, हालाँकि OCR ब्रांच को ट्रेन करने के लिए उसके कम्प्यूटेशन से होकर डेरिवेटिव चाहिए।
• बाहरी OCR इंजन: फ़िक्स्ड EasyOCR उसी घटे हुए रेज़ोल्यूशन वाले पेज से पहचाना गया टेक्स्ट और बाउंडिंग बॉक्स देता है।
• ट्रेन करने योग्य OCR मॉड्यूल: DocFormerV2 से निकला एक एनकोडर OCR टेक्स्ट और लेआउट लेता है, जिसमें LayTextLLM-शैली में प्रोजेक्ट किए गए बॉक्स एम्बेडिंग और टेक्स्ट एम्बेडिंग को आपस में पिरोया जाता है। लर्नेबल क्वेरी उसके आउटपुट को 64 OCR क्वेरी रिप्रेज़ेंटेशन में संपीड़ित करती हैं, जिन्हें एक प्रोजेक्शन फ़्रीज़ किए गए VLM में मैप करता है।

OCR एनकोडर, प्रोजेक्शन लेयर और लर्नेबल क्वेरी मिलकर लगभग 0.5 अरब ट्रेन करने योग्य पैरामीटर बनाते हैं। यह एक जोड़ा गया OCR मॉड्यूल है, Qwen3-VL-4B का 0.5 अरब पैरामीटर वाला कोई उपसमूह नहीं।

लेखक इसकी तुलना एक "OCR-free" वैरिएंट से करते हैं, जो OCR ब्रांच के बिना लैंग्वेज मॉडल ट्यून करता है और जिसमें 3.3 अरब ट्रेन करने योग्य पैरामीटर हैं, और एक "full-parameter" वैरिएंट से, जो लैंग्वेज मॉडल और OCR मॉड्यूल दोनों को ट्यून करता है और जिसमें 3.8 अरब हैं। इस नाम के बावजूद तीनों वैरिएंट में विज़ुअल एनकोडर और उसका कनेक्टर फ़्रीज़ रहते हैं।

नतीजे यह समझौता दिखाते हैं:

• इन-डिस्ट्रिब्यूशन रीडिंग (Vary-600K): फ़ुल ट्यूनिंग 0.98% CER हासिल करती है, जबकि मॉड्यूलर ट्यूनिंग 1.11%।
• ज़ीरो-शॉट एकेडमिक पेज (DocBank): मॉड्यूलर ट्यूनिंग 9.05% CER हासिल करती है, फ़ुल ट्यूनिंग 11.28%।
• ज़ीरो-शॉट स्कैन किए दस्तावेज़ (IIT-CDIP): मॉड्यूलर ट्यूनिंग 14.42% CER तक पहुँचती है, फ़ुल ट्यूनिंग 16.87%।
• डॉक्यूमेंट क्वेश्चन आंसरिंग (DocVQA): मॉड्यूलर ट्यूनिंग 84.89 ANLS स्कोर करती है, फ़ुल ट्यूनिंग 80.41।

लंबे ट्रैजेक्ट्री इस अंतर को और पुख़्ता करती हैं। SFT-2 से पाँच सेल्फ़-प्ले राउंड तक फ़ुल ट्यूनिंग का चार-टास्क ज़ीरो-शॉट औसत 75.92 से गिरकर 73.60 हो जाता है, जबकि मॉड्यूलर ट्यूनिंग का औसत 75.89 से बढ़कर 79.81 हो जाता है।

ये नतीजे आकलित ज़ीरो-शॉट टास्क पर मॉड्यूलर एडैप्टेशन के पक्ष में हैं। वे यह साबित नहीं करते कि फ़ुल ट्यूनिंग ने कोई ख़ास रेंडरिंग शैली सीख ली, या उसकी सामान्य रीज़निंग क्षमताएँ बिगड़ गईं। बैकबोन फ़्रीज़ करने से उसके वेट सुरक्षित रहते हैं; पेपर नतीजतन बने सिस्टम का दस्तावेज़ प्रदर्शन मापता है, हर व्यापक क्षमता का संरक्षण नहीं।

आँकड़े क्या बताते हैं: आधी हुई एरर दर और चार गुना पेज-बजट की तुलना

लेखक दो बैकबोन, InternVL-3.5-4B और Qwen3-VL-4B, का मूल्यांकन करते हैं। मुख्य प्रयोगों में Vary-600K के 30,000 अंग्रेज़ी और 30,000 चीनी ट्रेनिंग पेज इस्तेमाल होते हैं। स्टैंडर्ड मूल्यांकन घटे हुए रेज़ोल्यूशन के इनपुट इस्तेमाल करते हैं, और PDF तथा रैस्टर इमेज के लिए अलग प्रीप्रोसेसिंग नियम हैं। एक रेज़ोल्यूशन अध्ययन अन्य सेटिंग भी परखता है।

प्राथमिक ट्रांसक्रिप्शन और QA बेंचमार्क

मुख्य तुलना में लो-रेज़ोल्यूशन बेस मॉडल, दो-एपोक सुपरवाइज़्ड फ़ाइन-ट्यूनिंग (SFT-2), और उसके बाद के तीन सेल्फ़-प्ले राउंड (SP-DR-3) शामिल हैं:

Backbone	Method	Vary-600K CER (%) ↓	DocBank CER (%) ↓	IIT-CDIP CER (%) ↓	DocVQA ANLS ↑	InfoVQA ANLS ↑
InternVL-3.5-4B	Base (low-res)	4.85	13.44	19.56	72.79	50.52
	SFT-2	2.12	11.60	17.83	73.01	48.15
	SP-DR-3	1.17	9.73	15.35	74.27	48.06
Qwen3-VL-4B	Base (low-res)	5.22	12.82	18.45	78.54	52.21
	SFT-2	2.40	10.95	16.71	81.22	55.34
	SP-DR-3	1.11	9.05	14.42	84.89	58.94

Qwen3-VL-4B पर सेल्फ़-प्ले इन-डिस्ट्रिब्यूशन CER को आधे से ज़्यादा घटा देता है। DocBank CER 1.90 प्रतिशत अंक गिरता है, IIT-CDIP 2.29 अंक, और DocVQA ANLS 3.67 अंक बढ़ता है। InternVL भी तीनों ट्रांसक्रिप्शन बेंचमार्क और DocVQA पर सुधरता है, पर InfographicVQA 48.15 से फिसलकर 48.06 रह जाता है।

यहाँ "ज़ीरो-शॉट" का मतलब है कि पेपर के सुपरवाइज़्ड और सेल्फ़-प्ले चरणों में टारगेट बेंचमार्क पर कोई एडैप्टेशन नहीं हुआ। यह साबित नहीं करता कि प्रीट्रेन्ड घटकों ने कभी उन डेटासेट या संबंधित दस्तावेज़ों को नहीं देखा।

अतिरिक्त पार्सिंग बेंचमार्क

रिपोर्ट किए गए एग्रीगेट स्कोर प्राथमिक डेटासेट से आगे भी सुधरते हैं:

• OmniDocBench (Text Edit Distance, कम बेहतर है): Qwen3-VL-4B 0.347 से 0.291 पर आता है; InternVL 0.366 से 0.312 पर।
• OCRBench v2 (ज़्यादा बेहतर है): Qwen3 49.1 से 55.3 पर पहुँचता है; InternVL 46.5 से 52.0 पर। पेपर अंग्रेज़ी और चीनी स्कोर का बराबर-भाषा माध्य इस्तेमाल करता है।
• CC-OCR (ज़्यादा बेहतर है): Qwen3 65.4 से 71.0 पर; InternVL 62.7 से 67.9 पर। पेपर बराबर-ट्रैक माध्य रिपोर्ट करता है।

ये एग्रीगेट सुधार हैं, इस बात का प्रमाण नहीं कि हर अंतर्निहित सब-टास्क सुधरा।

डेटा दक्षता का लाभांश

ट्रेनिंग-बजट की तुलना में SP-DocReader वाला Qwen3-VL-4B 30,000 अलग रेफ़रेंस पेज इस्तेमाल करके 82.46 का कंपोज़िट स्कोर हासिल करता है। 120,000 पेजों वाला SFT-2 80.73 स्कोर करता है।

यह कंपोज़िट Vary-600K, DocBank और IIT-CDIP की नॉर्मलाइज़्ड एडिट सिमिलैरिटी (0–100 में स्केल की गई) और DocVQA तथा InfographicVQA ANLS को बराबर वज़न देता है। इसलिए इसमें इन-डिस्ट्रिब्यूशन और ज़ीरो-शॉट दोनों प्रदर्शन शामिल हैं।

हर बजट एक ही प्री-टास्क इनिशियलाइज़ेशन से शुरू होता है और अपना सुपरवाइज़्ड चरण ख़ुद पूरा करता है। छोटे बजट वाला मॉडल बड़े डेटासेट पर हुआ एडैप्टेशन विरासत में नहीं लेता। नतीजा इस तुलना में एक-चौथाई ट्रेनिंग-रेफ़रेंस पेजों के साथ बेहतर प्रदर्शन का समर्थन करता है, जबकि कम्प्यूटेशन और एनोटेशन प्रयास अलग सवाल बने रहते हैं।

रेज़ोल्यूशन के प्रति मज़बूती

पेपर चार स्रोत-इमेज सेटिंग पर फ़िक्स्ड Qwen3-VL-4B चेकपॉइंट का मूल्यांकन करता है। DPI लेबल ज्ञात भौतिक आयामों वाले PDF पर लागू होते हैं; केवल रैस्टर पेज अपस्केलिंग के बिना संगत लंबी-भुजा सीमा इस्तेमाल करते हैं:

• 48 DPI: SFT-2 3.41% CER तक पहुँचता है; SP-DocReader 1.74%, यानी लगभग 49% सापेक्ष कमी।
• 72 DPI: SFT-2 2.40%; SP-DocReader 1.11%, लगभग 54% कमी।
• 96 DPI: SFT-2 1.93%; SP-DocReader 0.92%, लगभग 52% कमी।
• 150 DPI: SFT-2 1.52%; SP-DocReader 0.71%, लगभग 53% कमी।

इन सेटिंग में सापेक्ष कमी एक संकरे दायरे में रहती है। विज़ुअल ब्रांच और EasyOCR दोनों को बदली हुई स्रोत इमेज मिलती है, इसलिए यह विज़ुअल एनकोडर को अलग करने के बजाय संयुक्त सिस्टम की रेज़ोल्यूशन के प्रति प्रतिक्रिया मापता है।

असल में कौन से घटक मायने रखते हैं?

Qwen3-VL-4B का कंपोनेंट अध्ययन हर वैरिएंट में डिस्क्रिपेंसी मास्क रखते हुए लॉस योगदान अलग करता है:

• बेसलाइन (SFT-2): Vary-600K CER 2.40% और DocVQA ANLS 81.22।
• कॉन्ट्रास्टिव RDM लॉस के बिना: अकेला FFL 1.88% CER और 83.47 ANLS तक पहुँचता है। इस पंक्ति में भी LCS से चुनी गई रेफ़रेंस पोज़िशन इस्तेमाल होती हैं।
• FFL के बिना: कॉन्ट्रास्टिव लॉस 1.57% CER और 82.96 ANLS तक पहुँचता है। यह अब भी रेफ़रेंस स्कोर बढ़ाने का सापेक्ष प्रोत्साहन देता है, पर FFL का अतिरिक्त सीधा सुपरविज़न इसमें नहीं है।
• पूरा SP-DocReader: संयुक्त ऑब्जेक्टिव रिपोर्ट किए गए सभी पाँच कॉलम में सबसे अच्छा नतीजा देता है, जिसमें 1.11% CER, 84.89 DocVQA ANLS और 58.94 InfographicVQA ANLS शामिल हैं।

प्लॉट की गई तुलना में रिफ़्रेशिंग भी उपयोगी दिखती है। रिफ़्रेश किया गया दूसरे राउंड का चेकपॉइंट दो लोकल एपोक के बाद लगभग 90.3 का औसत पाता है, जो पाँच लोकल एपोक के बाद फ़िक्स्ड-रीडिंग ब्रांच के लगभग 89.8 के औसत से ऊपर है। यह औसत Vary-600K NED, DocBank NED और DocVQA ANLS को मिलाता है। रिफ़्रेश ऑपोनेंट, जनरेट की गई रीडिंग और मास्क को एक साथ बदलता है; प्लॉट उनके अलग-अलग प्रभाव अलग नहीं करता और न ही बराबर कुल ट्रेनिंग लागत सिद्ध करता है।

असली दुनिया की डॉक्यूमेंट इंजीनियरिंग के लिए यह क्यों मायने रखता है

डॉक्यूमेंट-प्रोसेसिंग पाइपलाइन बनाने वाली इंजीनियरिंग टीमों के लिए पेपर तीन व्यावहारिक दिशाएँ सुझाता है, जिन्हें परखा जा सकता है। एक बात ध्यान रखने की है: पेपर केवल अंग्रेज़ी और चीनी पेजों पर परखा गया है, और मज़बूत अंग्रेज़ी OCR का मतलब देवनागरी पर भी अच्छा प्रदर्शन नहीं है, क्योंकि संयुक्ताक्षर, मात्राएँ, शिरोरेखा, नुक़्ता और हिंदी-अंग्रेज़ी कोड-मिक्सिंग जैसी चुनौतियाँ यहाँ मापी ही नहीं गईं।

1. OCR एडैप्टेशन के दौरान लैंग्वेज बैकबोन को फ़्रीज़ रखने पर विचार करें।

   आकलित ज़ीरो-शॉट टास्क पर मॉड्यूलर ट्यूनिंग कम पैरामीटर अपडेट करते हुए बेहतर प्रदर्शन करती है। SP-DR-3 पर उसकी रिपोर्ट की गई संचयी एडैप्टेशन लागत पूरे संयुक्त-ट्यूनिंग SFT-2 रन की 0.33 गुना है, जबकि SP-DR-3 पर संयुक्त ट्यूनिंग की 1.58 गुना। इस लेखांकन में सुपरवाइज़्ड इनिशियलाइज़ेशन, प्रीप्रोसेसिंग, जनरेशन, अलाइनमेंट, स्कोरिंग और ऑप्टिमाइज़ेशन शामिल हैं। यह परखे गए मॉड्यूलर कॉन्फ़िगरेशन का समर्थन करता है, लैंग्वेज-मॉडल ट्यूनिंग के विरुद्ध किसी सार्वभौमिक नियम का नहीं।

2. यह मान लेने से पहले कि और पेज ज़रूरी हैं, डिस्क्रिपेंसी-केंद्रित ट्रेनिंग आज़माएँ।

   30,000 बनाम 120,000 पेजों का नतीजा एरर-केंद्रित एडैप्टेशन को परखने लायक बनाता है। यह इनवॉइस, शिपिंग मैनिफ़ेस्ट या किसी अन्य ख़ास प्रोडक्शन डोमेन के लिए समतुल्य लाभ सिद्ध नहीं करता। इस विचार को लागू करने के लिए रेफ़रेंस ट्रांसक्रिप्शन और उन दस्तावेज़ों पर मूल्यांकन चाहिए जिनसे सिस्टम का असल में सामना होगा।

3. पूरे रीडर का इन्फ़रेंस ओवरहेड मापें।

   पेपर बिना OCR वाले बैकबोन की तुलना में लगभग 10% एंड-टू-एंड इन्फ़रेंस ओवरहेड रिपोर्ट करता है, जो NVIDIA H20 पर बैच साइज़ एक के साथ मापा गया है। प्रोटोकॉल में मॉडल लोड होने के बाद पेज प्रोसेसिंग, बाहरी OCR, एनकोडिंग और जनरेशन शामिल हैं। यह एक उपयोगी रिपोर्टेड नतीजा है, पर ओवरहेड स्वीकार्य है या नहीं, यह डिप्लॉयमेंट पर निर्भर करता है। इसे हार्डवेयर-स्वतंत्र लेटेंसी गारंटी नहीं मानना चाहिए।

जहाँ यह तरीक़ा अपनी सीमाओं तक पहुँचता है

मज़बूत बेंचमार्क नतीजों के बावजूद SP-DocReader की स्पष्ट सीमाएँ हैं:

• एकल-पेज दायरा: अध्ययन एकल-पेज ट्रांसक्रिप्शन पर केंद्रित है; मल्टी-पेज रीडिंग या स्ट्रक्चर्ड एक्सट्रैक्शन नहीं दिखाता। यह क्रॉस-पेज टेबल या दस्तावेज़-स्तर की निर्भरताओं पर प्रदर्शन सिद्ध नहीं करता।
• फ़िक्स्ड आउटपुट बजट: सेल्फ़-प्ले जनरेशन और मूल्यांकन EOS या 1,024 नए टोकन पर रुकते हैं, बिना किसी कंटिन्युएशन या स्टिचिंग के। यह बजट लंबे पेजों की कवरेज सीमित कर सकता है। प्रोटोकॉल कैप किए गए ट्रांसक्रिप्शन को पूरे रेफ़रेंस के विरुद्ध स्कोर करता है; केवल कैप तक पहुँचना अपने-आप में छूट का प्रमाण नहीं है, और EOS निकालना पूर्णता की गारंटी नहीं देता।
• बाहरी OCR पर निर्भरता: मॉड्यूलर रीडर विज़ुअल फ़ीचर के साथ EasyOCR के टेक्स्ट और बॉक्स इस्तेमाल करता है। पेपर अलग से यह स्थापित नहीं करता कि बाहरी इंजन से पूरी तरह छूट गई सामग्री वह कितनी भरोसेमंद ढंग से पा लेता है।
• सीमित भाषा और मॉडल प्रमाण: ट्रेनिंग अंग्रेज़ी और चीनी पेजों पर होती है, और प्रयोग दो बैकबोन परिवारों को कवर करते हैं। नतीजे अन्य भाषाओं या आर्किटेक्चर पर सामान्यीकरण स्थापित नहीं करते।
• बची हुई पहचान त्रुटियाँ: गुणात्मक उदाहरण सुधार दिखाते हैं, पूर्ण ट्रांसक्रिप्शन नहीं। संवैधानिक उदाहरण में SP-DocReader निरसन वर्ष सुधार देता है, पर अनुच्छेद की तारीख़ को अब भी December 16 पढ़ता है, जबकि दिखाए गए रेफ़रेंस में December 18 है। अन्य उदाहरणों में वर्तनी और चिह्नों की गलतियाँ बनी रहती हैं।

इन सीमाओं के भीतर SP-DocReader दिखाता है कि डिस्क्रिपेंसी-केंद्रित सेल्फ़-प्ले एक मॉड्यूलर डॉक्यूमेंट रीडर को उसके सुपरवाइज़्ड शुरुआती बिंदु से आगे ले जा सकता है। सबसे ठोस प्रमाण यह है: दोनों बैकबोन पर तीनों प्राथमिक रीडिंग डेटासेट में कम ट्रांसक्रिप्शन त्रुटि, अधिकांश आकलित क्वेश्चन-आंसरिंग तुलनाओं में बेहतर स्कोर, और रेफ़रेंस-पेज बजट की अनुकूल तुलना। बैकबोन फ़्रीज़ रहता है, जबकि OCR मॉड्यूल उन मतभेदों से सीखता है जो बचे रह जाते हैं।