मिला लेकिन पढ़ा नहीं: Vision-Language Models को अभी भी OCR से फ़ायदा क्यों मिलता है

विज़ुअल डॉक्यूमेंट सर्च का दृष्टिभ्रम

इस परिदृश्य की कल्पना कीजिए। आप ColQwen2 जैसे विज़ुअल रिट्रीवर के इर्द-गिर्द एक डॉक्यूमेंट क्वेश्चन-आंसरिंग (QA) पाइपलाइन तैयार करते हैं। आप PDF पेजों को इमेज के रूप में रेंडर करते हैं और यूज़र के सवाल के आधार पर पेजों को रिट्रीव करते हैं। आपका रिट्रीवर शीर्ष सोलह पेज इमेज निकालता है और उन्हें पढ़ने तथा उत्तर देने के लिए सीधे किसी विज़न-लैंग्वेज मॉडल (VLM)—जैसे Qwen2.5-VL या Qwen3-VL—को सौंप देता है।

यह आर्किटेक्चर सुनने में बहुत साफ़-सुथरा लगता है। पेज की इमेज को सीधे मल्टीमॉडल मॉडल में फ़ीड करके, आप रीडर के इनपुट के रूप में किसी OCR ट्रांसक्रिप्ट की ज़रूरत के बिना दस्तावेज़ के विज़ुअल प्रज़ेंटेशन को सुरक्षित रखते हैं। इसके पीछे की अंतर्निहित धारणा स्वतः स्पष्ट लगती है: सही पेज खोजना ही सबसे कठिन काम है; एक बार जब पेज की इमेज कॉन्टेक्स्ट विंडो में आ जाती है, तो उत्तर पढ़ना बिल्कुल सीधा और आसान होना चाहिए।

Harbin Institute of Technology का एक शोध पत्र, जिसका शीर्षक है Found but Not Read: When Extracted Text Closes the Retrieval-Reading Gap in Document Vision-Language Models (Xia et al., October 2, 2026), इसी धारणा की परीक्षा लेता है।

लेखक दिखाते हैं कि जब कोई विज़ुअल रिट्रीवर लगभग परिपूर्ण रिकॉल (near-perfect recall) हासिल कर लेता है और उत्तर वाले पेजों को सीधे मॉडल के सामने रख देता है, तब भी परखे गए VLMs काफ़ी सारे साक्ष्यों (evidence) का इस्तेमाल किए बिना छोड़ देते हैं। वे इस विफलता को retrieval-reading gap (रिट्रीवल-रीडिंग गैप) कहते हैं: ऐसा साक्ष्य जिसे सर्च सिस्टम ने ढूँढ तो लिया, लेकिन रीडर उसका सफलतापूर्वक उपयोग नहीं कर पाया।

हैरान करने वाली बात इसका समाधान (intervention) है। उन्हीं पेज इमेज को लीजिए, उन पर CPU OCR चलाइए, और इमेज के साथ-साथ प्रॉम्प्ट में चुनिंदा टेक्स्ट ब्लॉक्स जोड़ दीजिए। FoveDoc-Bench पर, मुख्य रीडर के साथ स्ट्रिक्ट आंसर एक्यूरेसी (strict answer accuracy) में 13 से 16 प्रतिशत अंकों की बढ़ोतरी होती है। विज़ुअल मॉडल के पास पिक्सल पहले से मौजूद थे। उनकी टेक्स्ट सामग्री को अलग से प्रस्तुत करने से मॉडल को वहाँ मौजूद जानकारी का उपयोग करने में मदद मिली।

रीडर की परीक्षा: FoveDoc-Bench पर पेयर्ड प्रोटोकॉल

डॉक्यूमेंट बेंचमार्क में किसी असफल प्रश्न की समस्या की पहचान (diagnose) करना मुश्किल हो सकता है। यदि आपकी पाइपलाइन गलत उत्तर देती है, तो क्या आपके सर्च इंजन ने गलत पेज रिट्रीव किए थे, या आपका लैंग्वेज मॉडल सही पेज का उपयोग करने में विफल रहा?

रीडर को रिट्रीवर से अलग करके जांचने के लिए, Xia और उनके सह-लेखकों ने FoveDoc-Bench नाम से एक बेंचमार्क तैयार किया। इसमें 1,173 बॉर्न-डिजिटल (born-digital) दस्तावेज़ों से लिए गए 2,346 प्रश्न शामिल हैं, जिनमें से प्रत्येक 16 से 24 पेजों का संदर्भ प्रदान करता है। प्रत्येक प्रश्न एनोटेटेड सोर्स ब्लॉक्स और सटीक टेक्स्ट अंशों (excerpts) से जुड़ा है। ये दस्तावेज़ अध्ययन के सहायक ट्रेनिंग और वैलिडेशन QA पूल्स से पूरी तरह बाहर (held out) रखे गए हैं।

उन्होंने बेंचमार्क को दो अलग-अलग कार्यों (tasks) में विभाजित किया:

1. V-NIAH: उत्तर एक ही पेज पर मौजूद किसी एक साक्ष्य ब्लॉक (evidence block) पर निर्भर करता है।
2. V-MQAR: उत्तर के लिए अलग-अलग पेजों से दो साक्ष्य ब्लॉक्स को जोड़ना आवश्यक होता है।

इसके बाद, उन्होंने एक रिट्रीवल-सैचुरेटेड (retrieval-saturated) प्रोटोकॉल स्थापित किया। प्रत्येक प्रश्न के लिए शीर्ष 16 पेजों को रिट्रीव करने के लिए ColQwen2 का उपयोग करते हुए, फुल recall@16—अर्थात उन प्रश्नों का अनुपात जिनके लिए हर गोल्ड एविडेंस पेज रिट्रीव किया गया था—V-NIAH पर 1.000 (100%) और V-MQAR पर 0.998 (99.8%) तक पहुँच गया। कुल 2,346 प्रश्नों में से 2,344 के प्रॉम्प्ट में मॉडल के पास हर गोल्ड एविडेंस पेज मौजूद था। इस तरह तुलना से रिट्रीवल की विफलता को लगभग पूरी तरह से हटा दिया गया।

रिट्रीवल को स्थिर रखते हुए, उन्होंने उसी फ्रोज़न मॉडल, मानक Qwen3-VL-2B-Instruct, का दो स्थितियों में परीक्षण किया:

• Arm A (केवल इमेज): मॉडल को प्रश्न और रिट्रीव की गई 16 पेज इमेज दी गईं।
• Arm B (इमेज + टेक्स्ट मेमोरी): मॉडल को प्रश्न, वही 16 पेज इमेज, और उन पेजों से ऐसे 16 टेक्स्ट ब्लॉक दिए गए जिनका प्रश्न के साथ लेक्सिकल स्कोर सबसे अधिक था। ब्लॉक्स को पेज के अनुसार समूहीकृत किया गया, पेज नंबरों के साथ टैग किया गया, और प्रत्येक को अधिकतम 300 वर्णों (characters) तक सीमित रखा गया।

चूँकि Arm B कुछ भी हटाता नहीं है और केवल पहले से मौजूद पेजों से निकाले गए टेक्स्ट को जोड़ता है, इसलिए एक्यूरेसी का अंतर उस सामग्री को अलग से सुलभ बनाने के फ़ायदे को मापता है।

उत्तरों का मूल्यांकन एक LLM जज द्वारा किया गया, जिसमें स्ट्रिक्ट एक्यूरेसी के तहत केवल 'correct' (सही) फैसलों की ही गिनती की गई। मुख्य और बाहरी तुलनाओं में GPT-5.4 का उपयोग किया गया; लोकलाइज़ेशन और रिट्रीवल कंट्रोल्स के लिए GPT-5.6 Luna का इस्तेमाल हुआ। 1,963 समान प्रेडिक्शन्स पर जजों ने 98.8% स्ट्रिक्ट फैसलों पर सहमति जताई। दो लेखकों ने इमेज और OCR आर्म्स के बीच असहमति वाले 200 नमूनों की भी जाँच की, और वे 96% मामलों में जज से सहमत रहे।

स्कोर: CPU OCR से 13 से 16 अंकों की छलांग

केवल-इमेज (image-only) पाइपलाइन का बेसलाइन प्रदर्शन आश्चर्यजनक रूप से कमज़ोर था।

सिंगल-नीडल टास्क, V-NIAH पर, Qwen3-VL-2B केवल 35.0% बार ही सही उत्तर दे पाया: साक्ष्य वाला पेज मिलने के बावजूद 1,173 में से केवल 410 प्रश्न। CPU पर PP-OCR मॉडल्स का उपयोग करते हुए RapidOCR द्वारा निकाले गए टेक्स्ट को जोड़ने से एक्यूरेसी 50.6% या 1,173 में से 594 तक पहुँच गई। यह +15.7 प्रतिशत अंक की बढ़त है (p = 2.8e-24)।

दो पेजों वाले टास्क, V-MQAR पर यह सापेक्ष उछाल और भी बड़ा था। अकेले विज़ुअल रीडर ने 15.3% का स्कोर किया, यानी 1,173 में से 180 प्रश्न। CPU से निकाले गए टेक्स्ट को जोड़ने से इसका प्रदर्शन लगभग दोगुना हो गया, और एक्यूरेसी 28.7% या 1,173 में से 337 तक पहुँच गई: +13.4 प्रतिशत अंक की बढ़त (p = 3.3e-26)।

जब लेखकों ने OCR टेक्स्ट को मूल PDF टेक्स्ट लेयर—जो इन पेजों के लिए सटीक बॉर्न-डिजिटल संदर्भ है—से बदल दिया, तो एक्यूरेसी V-NIAH पर 69.1% (अकेले इमेज की तुलना में +34.2 अंक) और V-MQAR पर 43.2% (+27.9 अंक) तक पहुँच गई।

रिसर्च पेपर से एक ठोस उदाहरण देखिए। 23 पेजों के Cloudflare ब्लॉग-पोस्ट संदर्भ के पेज 12 पर, एक कोड कमेंट में लिखा है कि TLS मॉडल नोटेशन के लिए M4 प्रीप्रोसेसर मैक्रोज़ का उपयोग करता है।

प्रश्न पूछता है: "What specific type of preprocessor macros does the TLS model use for notation?"

केवल पेज इमेज दिए जाने पर, Qwen3-VL-2B ने "Mk" उत्तर दिया। जब प्रॉम्प्ट में uses M4 preprocessor macros वाला RapidOCR ब्लॉक (score 22.7, p12_b5) शामिल किया गया, तो मॉडल ने "M4" उत्तर दिया।

इसी प्रकार, पेज 26 और 32 पर Linux कर्नेल ट्रेसिंग कमांड्स से जुड़े दो-पेज वाले प्रश्न पर, केवल-इमेज मॉडल ने tcp_sendmsg और tcp_write_timer लौटाया। OCR टेक्स्ट जोड़ने पर सही जोड़ी प्राप्त हुई: tcp_sendmsg और mod_timer।

CPU OCR को PDF टेक्स्ट लेयर के लाभ का लगभग आधा हिस्सा ही क्यों मिला—V-NIAH पर 46% और V-MQAR पर 48%?

लेखकों ने जाँच की कि क्या OCR केवल कम टेक्स्ट प्रदान कर रहा था। ऐसा नहीं था। बॉर्न-डिजिटल लेयर प्रति पेज लगभग 53 ब्लॉक्स में विभाजित थी जिनकी माध्यिका (median) लंबाई छह वर्ण थी, जबकि OCR समूहीकरण ने प्रति पेज लगभग 17 ब्लॉक तैयार किए जिनकी माध्यिका लंबाई 23 वर्ण थी। तयशुदा ब्लॉक बजट में, 77.1% नमूनों में OCR मेमोरी में अधिक वर्ण थे, जिसका औसत अंतर +894 वर्ण था।

कमी दरअसल साक्ष्य की निष्ठा (fidelity) और पूर्णता (completeness) में थी। गोल्ड अंशों के मुकाबले मापने पर, सबसे अच्छा सिंगल पैक करने योग्य OCR ब्लॉक औसतन किसी अंश के 76% टोकन ही दोबारा हासिल (recover) कर पाया। इसने दोनों कार्यों में 53% साक्ष्य सामग्रियों के लिए कम से कम 90% टोकन हासिल किए। अधिक टेक्स्ट वॉल्यूम होने के बावजूद, लेखक OCR की एक्यूरेसी में कम बढ़त को साक्ष्य की इस अधूरी रिकवरी से जोड़ते हैं।

स्केल और प्रॉम्प्ट ट्रिक्स भी इस अंतर को नहीं पाट सके

एक स्वाभाविक प्रतिक्रिया यह संदेह करने की हो सकती है कि यह मुख्य रूप से एक कॉम्पैक्ट 2-बिलियन-पैरामीटर मॉडल का उपयोग करने का लक्षण है। क्या एक बड़ा रीडर इस अतिरिक्त टेक्स्ट को अनावश्यक बना देगा?

शोधकर्ताओं ने तीन परिवारों के छह मानक (off-the-shelf) विज़न-लैंग्वेज मॉडल्स का परीक्षण किया:

• Qwen3-VL (2B, 4B, और 8B)
• Qwen2.5-VL (7B)
• LLaVA-OneVision (7B)
• Idefics3 (8B)

इस तुलना में पूरे बेंचमार्क पर CPU OCR के बजाय प्रति टास्क पहले 400 नमूनों पर PDF टेक्स्ट-लेयर मेमोरी का उपयोग किया गया। प्रत्येक मॉडल ने दोनों कार्यों में सांख्यिकीय रूप से महत्वपूर्ण बढ़त दिखाई (सभी बारह मॉडल-टास्क संयोजनों में p < 1e-13)।

LLaVA-OneVision-7B पर, टेक्स्ट जोड़ने से V-MQAR पर एक्यूरेसी में 29.2 अंक और V-NIAH पर 38.5 अंकों का सुधार हुआ। Idefics3-8B पर यह बढ़त क्रमशः 42.0 और 61.3 अंकों तक पहुँच गई। इन आंकड़ों में एक शर्त शामिल है: इन रीडर्स में 16 पेजों को फिट करने के लिए इमेज स्प्लिटिंग को अक्षम कर दिया गया था या पिक्सल सीमित कर दिए गए थे। इसलिए लेखक लाभ के आकार की सीधे तुलना करने के बजाय विभिन्न मॉडल परिवारों में लाभ की दिशा की तुलना करते हैं।

Qwen3-VL के भीतर, जहाँ तीनों आकारों का मूल्यांकन समान सेटिंग्स पर किया गया था, स्केलिंग से मदद ज़रूर मिली लेकिन अंतर पूरी तरह खत्म नहीं हुआ:

• 2B रीडर: V-MQAR पर +28.2 pp की बढ़त / V-NIAH पर +36.0 pp
• 4B रीडर: V-MQAR पर +25.0 pp की बढ़त / V-NIAH पर +30.7 pp
• 8B रीडर: V-MQAR पर +23.0 pp की बढ़त / V-NIAH पर +22.5 pp

अतिरिक्त टेक्स्ट से एक बड़े रीडर को अपेक्षाकृत कम लाभ हुआ, लेकिन 8 बिलियन पैरामीटर्स पर भी दोनों कार्यों में यह बढ़त 22 प्रतिशत अंकों से अधिक बनी रही।

शोधकर्ताओं ने चयन (selection), प्रॉम्प्टिंग और फाइन-ट्यूनिंग में भी कई बदलावों का परीक्षण किया:

• V-MQAR पर 4B रीडर के साथ, ब्लॉक बजट को दोगुना करने, यूनियन सेलेक्टर का उपयोग करने, और रीजनिंग-मोड रीडर पर स्विच करने से एक्यूरेसी में अधिकतम केवल +3 प्रतिशत अंकों का ही बदलाव आया।
• इस सेटिंग में Self-ask डिकंपोज़िशन ने एक्यूरेसी को 4.3 प्रतिशत अंक कम कर दिया।
• LoRA फाइन-ट्यूनिंग ने 2B मॉडल के लिए V-MQAR पर 6 अंक और V-NIAH पर 5 अंक हासिल किए; 4B के लिए रिपोर्ट की गई LoRA बढ़त 0.9 अंक थी।

ये परखे गए समाधान टेक्स्ट-लेयर गैप की तुलना में बहुत मामूली थे। वे यह साबित नहीं करते कि स्केलिंग या ट्यूनिंग इसे कभी हल नहीं कर सकते, लेकिन वे यह ज़रूर दिखाते हैं कि यहाँ आज़माए गए विशिष्ट विकल्प इसे हल नहीं कर पाए।

डायग्नोस्टिक सफलता: मॉडल पढ़ सकता है, लेकिन खोजने में जूझता है

यह समझने के लिए कि रीडर्स अपने पास पहले से मौजूद पेजों पर विफल क्यों होते हैं, लेखकों ने तीन नैदानिक (diagnostic) तुलनाएँ कीं।

पहली, उन्होंने प्रश्न के आधार पर ब्लॉक्स का चयन किए बिना, पढ़ने के क्रम (reading order) में सभी 16 पेजों का पूरा OCR ट्रांसक्रिप्ट प्रदान किया। इससे V-MQAR पर एक्यूरेसी 17.9 अंक और V-NIAH पर 22.1 अंक बेहतर हुई। यह एक न्यूट्रल प्रॉम्प्ट के तहत 16-ब्लॉक डाइजेस्ट से मिले लाभ (क्रमशः 14.1 और 16.5 अंक) से भी अधिक था। इसलिए बड़े पैमाने पर लाभ पाने के लिए प्रश्न-आधारित चयन (question-conditioned selection) अनिवार्य नहीं था।

दूसरी, उन्होंने उन चयनित ब्लॉक्स को बिना किसी निकाले गए टेक्स्ट के, पूरे पेजों के साथ इमेज क्रॉप्स (image crops) के रूप में जोड़ा। इन क्रॉप्स में रीडर के अपने पेज पिक्सेल घनत्व (pixel density) का ही उपयोग किया गया था, इसलिए इस तरीके ने पिक्सेल घनत्व बढ़ाए बिना ब्लॉक्स को अलग कर दिया।

इन क्रॉप्स ने V-MQAR पर न्यूट्रल-प्रॉम्प्ट टेक्स्ट डाइजेस्ट के लाभ का 87% (+12.3 अंक) और V-NIAH पर 92% (+15.2 अंक) वापस हासिल कर लिया।

तीसरी, उन्होंने पूरे पेज की इमेज पर उन्हीं ब्लॉक्स के चारों ओर लाल बॉक्स बनाए। इन बॉक्सों से कोई तुलनीय सुधार नहीं हुआ: V-MQAR पर +0.5 अंक और V-NIAH पर 3.0 अंकों की गिरावट दर्ज की गई।

एक साथ देखने पर, यह तुलना कुछ इस प्रकार दिखती है:

16-पेज इनपुट में जोड़ा गया हस्तक्षेप (Intervention)    V-MQAR बढ़त    V-NIAH बढ़त
चयनित ब्लॉक्स के चारों ओर लाल बॉक्स                     +0.5 pp        -3.0 pp
चयनित ब्लॉक्स इमेज क्रॉप्स के रूप में                  +12.3 pp       +15.2 pp
न्यूट्रल प्रॉम्प्ट के तहत OCR डाइजेस्ट                   +14.1 pp       +16.5 pp
रीडिंग ऑर्डर में पूरा OCR टेक्स्ट                       +17.9 pp       +22.1 pp

ये परिणाम एक साक्ष्य-सुलभता अड़चन (evidence-accessibility bottleneck) का समर्थन करते हैं। रीडर जानकारी के एक बड़े हिस्से का उपयोग तब कर सकता है जब उसे आसपास के पेज से बाहर निकाल कर अलग प्रस्तुत किया जाए, भले ही वह जानकारी पिक्सल के रूप में ही क्यों न हो।

प्रयोग इसके कारण के रूप में किसी विशिष्ट अटेंशन घटक (attention component) की पहचान नहीं करते हैं। न ही वे यह साबित करते हैं कि लाल बॉक्स विफल क्यों होते हैं। वे जो स्थापित करते हैं वह यह व्यवहारिक अंतर है: पूरे पेज पर क्षेत्रों को चिह्नित करने से बहुत कम फ़र्क पड़ा, जबकि उन क्षेत्रों को अलग से प्रस्तुत करने से डाइजेस्ट के अधिकांश लाभ वापस मिल गए।

पेज-स्तरीय रिट्रीवल (page-level retrieval) साक्ष्य-स्तरीय रिट्रीवल (evidence-level retrieval) नहीं है। किसी पेज को रिट्रीव करना केवल भूसे के ढेर को सामने लाता है; चयनित टेक्स्ट या क्रॉप्स प्रस्तुत करने से उस सुई का उपयोग करना आसान हो सकता है।

पहला गार्डरेल: फ्लोचार्ट का जाल और एविडेंस मोडैलिटी

इस पड़ाव पर, आप यह निष्कर्ष निकालने के लिए ललचा सकते हैं कि दस्तावेज़ से जुड़े हर सवाल को एक OCR ट्रांसक्रिप्ट दिया जाना चाहिए। यह शोध पत्र दो ऐसी सीमाओं की पहचान करता है जो इस निष्कर्ष को बहुत व्यापक बनाती हैं।

पहली सीमा साक्ष्य मोडैलिटी (evidence modality) से संबंधित है: उत्तर टेक्स्ट पर निर्भर करता है या चार्ट और आकृतियों (figures) जैसी ग्राफिकल संरचनाओं पर।

लेखकों ने MMLongBench-Doc पर इस पेयर्ड प्रोटोकॉल का मूल्यांकन किया, जिसमें 135 दस्तावेज़ों में 1,091 प्रश्न शामिल हैं, जो 468 पेजों तक जाते हैं। FoveDoc-Bench के विपरीत, इसके अधिकांश साक्ष्य ग्राफिकल हैं, और यहाँ रिट्रीवल सैचुरेटेड नहीं है: फुल recall@16 केवल 84.4% है।

एनोटेटेड साक्ष्य वाले 838 उत्तर देने योग्य प्रश्नों में, OCR मेमोरी जोड़ने से कुल मिलाकर +0.4 प्रतिशत अंकों (+0.004, p = 0.86) का नगण्य परिवर्तन हुआ। यह परिणाम सभी 1,091 प्रश्नों के बजाय केवल उत्तर देने योग्य, एनोटेटेड वर्ग पर लागू होता है, क्योंकि बेंचमार्क में जानबूझकर शामिल किए गए अनुत्तरित (unanswerable) प्रश्न भी हैं।

जब लेखकों ने ठीक एक एविडेंस टैग वाले 414 प्रश्नों को अलग किया, तो एक अलग पैटर्न सामने आया:

• केवल-टेक्स्ट साक्ष्य (129 प्रश्न): निकाले गए टेक्स्ट को जोड़ने पर +8.5 प्रतिशत अंक की बढ़त मिली।
• चार्ट या आकृति साक्ष्य (285 प्रश्न): निकाले गए टेक्स्ट को जोड़ने पर −4.6 प्रतिशत अंक का बदलाव (गिरावट) देखा गया।

इन प्रभावों के बीच का अंतर 13.1 प्रतिशत अंक (p = 0.0024) था, जो कि वह बाहरी मोडैलिटी कंट्रास्ट था जो मल्टीपल कंपैरिज़न के लिए पेपर के करेक्शन के बाद भी बरकरार रहा।

ओवरलैपिंग एविडेंस श्रेणियों ने भी इसी तरह का क्रम दिखाया:

• Plain text: +5.2 pp
• Tables: +1.9 pp
• Layout: +0.9 pp
• Figures: −2.8 pp
• Charts: −4.0 pp

ये श्रेणी अनुमान देखे गए पैटर्न का वर्णन करते हैं; ये सभी स्वतंत्र रूप से स्थापित लाभ या नुकसान नहीं हैं।

MMLongBench-Doc से नमूना #44 देखिए। प्रश्न पूछता है: "According to the flowchart 'Analytics Value Chain', what comes between Reporting and Action?"

केवल-इमेज मॉडल ने सही उत्तर दिया: "Analysis"।

पेज 13 से पैक की गई OCR मेमोरी ने Analysis और तीरों को छोड़ दिया, और केवल Reporting, Value, तथा Action जैसे अंशों को बनाए रखा। इस मेमोरी को जोड़ने पर, मॉडल ने "Action" उत्तर दिया।

यह उदाहरण दिखाता है कि कैसे एक ट्रांसक्रिप्ट किसी ग्राफिक की व्याख्या के लिए ज़रूरी संबंधों और लेबल्स को छोड़ सकती है। यह मॉडल के आंतरिक तर्क को उजागर नहीं करता है, लेकिन परिणाम स्पष्ट है: जोड़े गए टेक्स्ट के कारण उत्तर सही से गलत में बदल गया।

फ़्लैट किया गया (flattened) टेक्स्ट उस स्थानिक संरचना (spatial structure) को खो सकता है जो किसी आरेख को अर्थपूर्ण बनाती है। इस मूल्यांकन में, टेक्स्ट साक्ष्य को लाभ हुआ, जबकि चार्ट और आकृति साक्ष्य पर नकारात्मक औसत प्रभाव दिखा।

दूसरा गार्डरेल: टेक्स्ट रिट्रीवल को बढ़ाता है, उसकी जगह नहीं लेता

दूसरी सीमा रिट्रीवल क्वालिटी (retrieval quality) से संबंधित है। यदि आपका रिट्रीवर साक्ष्य वाले पेज को ही छोड़ देता है, तो बाकी पेजों से मिलने वाला टेक्स्ट कितनी मदद कर सकता है?

यह पता लगाने के लिए, शोधकर्ताओं ने नियंत्रित परिस्थितियों में रिट्रीवल की गुणवत्ता को कम (degrade) किया। उन्होंने पेज बजट को स्थिर रखते हुए शीर्ष 16 परिणामों से गोल्ड पेजों को हटा दिया और उनकी जगह ऐसे पेज रख दिए जिन्हें ColQwen2 ने शीर्ष 16 से नीचे रैंक किया था।

योग्य सबसेट में 938 V-MQAR प्रश्न और 1,025 V-NIAH प्रश्न शामिल थे जिनके दस्तावेज़ हर परीक्षण स्तर पर विकल्प प्रदान कर सकते थे।

रिट्रीव किए गए गोल्ड पेजेज़	V-MQAR बढ़त	V-NIAH बढ़त
100% recall	+12.5 pp	+14.9 pp
50% recall	+6.6 pp	—
0% recall	+3.0 pp	+4.3 pp

जैसे ही रिकॉल शून्य पर गिरा, टेक्स्ट का फ़ायदा V-MQAR पर 9.5 अंक और V-NIAH पर 10.6 अंक घट गया। दोनों भीतर-नमूना (within-sample) बदलाव सांख्यिकीय रूप से महत्वपूर्ण थे (p < 1e-9)। पूर्ण-रिकॉल लाभ का लगभग तीन-चौथाई हिस्सा गोल्ड पेजों की मौजूदगी पर ही निर्भर था।

शून्य रिकॉल पर बचे हुए अवशेष (residual) का एक हिस्सा आंसर-स्ट्रिंग लीकेज (answer-string leakage) से जुड़ा था। गैर-गोल्ड पेजों से पैक की गई मेमोरी में V-MQAR के 4.8% और V-NIAH के 12.4% नमूनों में गोल्ड उत्तर की स्ट्रिंग मौजूद थी।

सामान्यीकृत (normalized) आंसर-स्ट्रिंग मैचिंग का उपयोग करके उन मामलों को फ़िल्टर करने के बाद, दोनों कार्यों पर 2.8 अंकों का लाभ बना रहा। डिटेक्टर की न्यूनतम उत्तर लंबाई को चार से बारह वर्णों के बीच बदलने पर भी यह अवशेष 2.5 और 3.1 अंकों के बीच रहा। इसलिए लीकेज शेष बचे लाभ के केवल एक हिस्से की ही व्याख्या कर सका।

यह परखने के लिए कि क्या टेक्स्ट फॉर्मेट ने खुद मदद की, लेखकों ने उसी पैकिंग नियम के तहत प्रत्येक दस्तावेज़ की मेमोरी को किसी अन्य दस्तावेज़ के टेक्स्ट से बदल दिया। किसी भी दस्तावेज़ को उसका अपना टेक्स्ट नहीं दिया गया, और जोड़े गए दस्तावेज़ अलग-अलग स्रोत परिवारों से थे।

शून्य रिकॉल पर, बाहरी टेक्स्ट ने केवल-इमेज की तुलना में कोई ध्यान देने योग्य लाभ नहीं दिया: V-MQAR पर +0.0 अंक और V-NIAH पर −0.9 अंक। पूर्ण रिकॉल पर भी, इसके प्रभाव सांख्यिकीय रूप से शून्य से अप्रभेद्य थे: +1.9 और −1.7 अंक।

ये नियंत्रण लेखकों की इस व्याख्या का समर्थन करते हैं कि बचा हुआ लाभ दस्तावेज़ के अपने गैर-गोल्ड संदर्भ से आता है। केवल उसी रूप का टेक्स्ट जोड़ना पर्याप्त नहीं था।

निकाला गया टेक्स्ट मुख्य रूप से रिट्रीव किए गए साक्ष्य को सुलभ बनाकर मदद करता है, जिसमें संबंधित दस्तावेज़ संदर्भ का योगदान छोटा होता है। यह सफल रिट्रीवल का एक प्रवर्धक (amplifier) है, न कि साक्ष्य खोजने का विकल्प।

यह क्यों महत्वपूर्ण है: प्रोडक्शन डॉक्यूमेंट AI के लिए आर्किटेक्चरल सबक

डॉक्यूमेंट सर्च और क्वेश्चन-आंसरिंग सिस्टम डिज़ाइन करने वाली टीमों के लिए, यह शोध पत्र उपयोगी डिज़ाइन मार्गदर्शन प्रदान करता है। इसके द्वारा मापे गए लाभ इन विशिष्ट कार्यों, रीडर्स और इनपुट सेटिंग्स पर आधारित हैं; इन सीखों को कहीं और लागू करने के लिए उन दस्तावेज़ों और सवालों पर मूल्यांकन करना ज़रूरी है जो आपके अपने सिस्टम के लिए मायने रखते हैं।

1. घने टेक्स्ट वाले साक्ष्यों के लिए एक्सट्रैक्टेड टेक्स्ट को विकल्प में बनाए रखें

यह अध्ययन इस बात का एक ठोस कारण देता है कि VLM द्वारा सीधे पेजों को स्वीकार करने की क्षमता होने पर भी 'इमेज + टेक्स्ट' इनपुट का परीक्षण क्यों किया जाना चाहिए। FoveDoc-Bench पर, CPU OCR ने Qwen3-VL-2B के साथ 13 से 16 अंक जोड़े, और PDF टेक्स्ट-लेयर मेमोरी ने परीक्षण किए गए सभी छह रीडर्स की मदद की।

कॉन्ट्रैक्ट्स, फाइनेंशियल फाइलिंग्स या अन्य प्रोडक्शन कलेक्शन्स के लिए इन लाभों की कोई गारंटी नहीं है; साथ ही, यह भी ध्यान रखना चाहिए कि अंग्रेज़ी में दमदार OCR क्षमता का मतलब स्वचालित रूप से देवनागरी जैसी जटिल लिपियों के लिए अच्छा OCR होना नहीं है। वे दिखाते हैं कि केवल सफल पेज रिट्रीवल और विज़ुअल इनपुट क्षमता ही यह सुनिश्चित नहीं करती कि कोई रीडर साक्ष्य का उपयोग विश्वसनीय रूप से कर ही लेगा।

2. रिट्रीव किए गए पेजों पर OCR का मूल्यांकन करें

परीक्षण किया गया पैटर्न एक व्यावहारिक शुरुआती बिंदु प्रस्तुत करता है:

• एक विज़ुअल रिट्रीवर के साथ संभावित पेज इमेज रिट्रीव करें।
• उन पेजों से टेक्स्ट एक्सट्रैक्ट करें; पेपर में CPU पर PP-OCR मॉडल्स के साथ RapidOCR का इस्तेमाल किया गया था।
• टेक्स्ट ब्लॉक्स को चुनें और पैक करें, फिर उन्हें मूल इमेज के साथ प्रस्तुत करें।

इस प्रयोग में 16 रिट्रीव किए गए पेजों और 16-ब्लॉक मेमोरी बजट का उपयोग किया गया। मुख्य तुलना में CPU OCR ने मूल PDF टेक्स्ट लेयर के लाभ का लगभग आधा हिस्सा बनाए रखा।

यह पेपर क्वेरी-टाइम लेटेंसी (query-time latency), कुल इंडेक्सिंग लागत, या प्रोडक्शन लागत में बचत को स्थापित नहीं करता है। मांग पर (on-demand) एक्सट्रैक्ट करना है, परिणामों को कैश करना है, या पेजों को प्रीप्रोसेस करना है—यह एक ऐसा कार्यान्वयन निर्णय है जिसे मापकर ही तय किया जाना चाहिए।

3. एविडेंस मोडैलिटी को निर्णय का हिस्सा बनाएं

चार्ट और आकृति के परिणाम इस धारणा के खिलाफ तर्क देते हैं कि हर निकाला गया ट्रांसक्रिप्ट मददगार ही होगा। ग्राफिकल साक्ष्यों के लिए, प्रतिनिधित्व (representation) को उस संरचना को संरक्षित करने की आवश्यकता हो सकती है जिसे फ़्लैट टेक्स्ट छोड़ देता है।

इसलिए एक मोडैलिटी-जागरूक (modality-aware) पाइपलाइन का परीक्षण करना सार्थक है: जहाँ उत्तर टेक्स्ट साक्ष्य पर निर्भर करता है वहाँ निकाले गए टेक्स्ट का उपयोग करें, और जहाँ ग्राफिक्स में संबंध महत्वपूर्ण हों वहाँ विज़ुअल या संरचना-संरक्षक प्रतिनिधित्व का मूल्यांकन करें।

यह अध्ययन किसी विशिष्ट लेआउट डिटेक्टर या रूटिंग सिस्टम को मान्य नहीं करता है। इसका योगदान उस सीमा को रेखांकित करना है जिसका ऐसे सिस्टम को सम्मान करना चाहिए, न कि सभी चार्ट टेक्स्ट को बाहर करने का कोई सार्वभौमिक नियम बनाना।

4. समग्र (एग्रीगेट) बेंचमार्क से सावधान रहें

MMLongBench-Doc के उत्तर देने योग्य, एनोटेटेड वर्ग पर कुल लाभ मात्र +0.4 प्रतिशत अंक था। फिर भी सिंगल-टैग तुलना में टेक्स्ट पर 8.5 अंकों की बढ़त और चार्ट तथा आकृतियों पर 4.6 अंकों की गिरावट देखी गई।

परिणामों को एविडेंस मोडैलिटी और रिट्रीवल रिकॉल के आधार पर रिपोर्ट करें। अन्यथा, प्रश्नों के मिश्रण में बदलाव लाभों को छिपा सकता है, नुकसान को दबा सकता है, या किसी एक बेंचमार्क के समग्र स्कोर को दूसरे वर्कलोड के लिए एक भ्रामक मार्गदर्शक बना सकता है।

5. रिट्रीवल और रीडिंग को अलग-अलग मापें

नियंत्रित रिकॉल प्रयोग में OCR लाभ का लगभग तीन-चौथाई हिस्सा गोल्ड पेजों की उपस्थिति पर निर्भर करता था। यह बात रिट्रीवल की गुणवत्ता को यह तय करने में केंद्रीय बनाती है कि निकाला गया टेक्स्ट कहाँ मदद करेगा।

फुल recall@k को स्वतंत्र रूप से मापें, फिर उन्हीं रिट्रीव किए गए पेजों पर केवल-इमेज और इमेज-प्लस-टेक्स्ट उत्तरों की तुलना करें। सवाल सिर्फ़ यह नहीं है कि क्या सिस्टम ने सही पेज ढूँढ लिया। सवाल यह है कि क्या रीडर ने साक्ष्य मिलने के बाद उसका सफलतापूर्वक उपयोग किया।