लंबे PDF के मध्य में एआई डॉक्यूमेंट रीडर्स क्यों अटक जाते हैं

एक 40-पृष्ठ का विक्रेता अनुबंध कल्पना करें। आप इसे अपनी पसंदीदा AI टूल पर अपलोड करते हैं और पूछते हैं कि समाप्ति की शर्त क्या कहती है। वह शर्त पृष्ठ 22 पर है। मॉडल जल्दी जवाब देता है और खुद को सही लगता है। यह गलत भी होता है, और अगर आप गहराई में देखें कि यह वास्तव में क्या किया, तो यह पृष्ठ 3 के बॉयलरप्लेट से भाषा उठाता है।

यह कोई काल्पनिक किनारे का मामला नहीं है। SynthDocBench नामक एक नई पेपर के अनुसार, यह एक पूर्वानुमेय विफलता के करीब है। लंबे दस्तावेज़ का मध्य तिहाई भाग उन छह दृश्य-भाषा मॉडलों में से पांच के लिए सबसे कठिन है जिन्हें शोधकर्ताओं ने करीब से परीक्षण किया, और अधिकांश मॉडल तब तक लगातार खराब होते जाते हैं जब तक आप उन्हें दस्तावेज़ के गहराई में देखने के लिए नहीं कहते। यदि आप इन मॉडलों के ऊपर उत्पाद बना रहे हैं, या आप वास्तविक वर्कफ़्लो के लिए OCR और दस्तावेज़-AI इंजनों के बीच चुन रहे हैं, तो यह आपके ध्यान के बीस मिनट के लायक है।

एक अस्त-व्यस्त परीक्षा पर ग्रेडिंग करने की समस्या

दस्तावेज़ों के लिए अधिकांश विज़न-लैंग्वेज मॉडल (VLM) बेचमार्क, जैसे DocVQA, ChartQA, और MMLongBench-Doc, "क्या यह मॉडल इस दस्तावेज़ को पढ़ सकता है और इसके बारे में एक प्रश्न का उत्तर दे सकता है?" यह पूछने का उचित कार्य करते हैं। वे जो अच्छी तरह नहीं करते हैं, वह यह बताना है कि मॉडल विफल क्यों हुआ।

वास्तविक दस्तावेज़ एक साथ कई आयामों में भिन्न होते हैं: उनकी लंबाई कितनी है, लेआउट कितना जटिल है (एकल कॉलम टेक्स्ट बनाम घना वित्तीय तालिका बनाम चेकबॉक्स वाला फॉर्म), एम्बेडेड सामग्री किस प्रकार की है (सादा टेक्स्ट, तालिकाएं, चार्ट, स्कैन की गई छवियां), और प्रश्न कितना कठिन है। जब कोई मॉडल मौजूदा बेचमार्क पर गलत उत्तर देता है, तो उन सभी चार कारक एक-दूसरे में उलझे होते हैं। क्या मॉडल इसलिए उलझ गया क्योंकि दस्तावेज़ लंबा था? क्योंकि इसका लेआउट असामान्य था? या क्योंकि उत्तर के लिए Word find-and-replace के बजाय तालिका गणित की आवश्यकता थी? आप वास्तव में नहीं बता सकते, क्योंकि बेचमार्क दस्तावेज़ वास्तविक दुनिया से इकट्ठे किए गए थे और किसी ने इनमें से किसी भी चीज़ को नियंत्रित नहीं किया था।

यह वही अंतराल है जिसे SynthDocBench बंद करने का प्रयास करता है। वास्तविक दस्तावेज़ इकट्ठा करने और उम्मीद करने के बजाय कि भिन्नता औसत हो जाएगी, लेखक शून्य से दस्तावेज़ उत्पन्न करते हैं और प्रत्येक कारक को स्वतंत्र रूप से समायोजित करते हैं, ठीक वैसे जैसे आप प्रयोगशाला में एक नियंत्रित प्रयोग डिज़ाइन करेंगे, न कि जंगल में जो कुछ भी मिलता है उसे देखेंगे।

दस्तावेज़ों को एक वैज्ञानिक प्रयोग की तरह, स्क्रैपिंग नहीं बनाएं

सरल शब्दों में, यहाँ तंत्र कुछ इस प्रकार है। शोधकर्ताओं ने एक LLM पाइपलाइन बनाई है जो संपूर्ण दस्तावेज़ों को अंत तक उत्पन्न करती है: सामग्री, संरचना और दृश्य लेआउट एक साथ। प्रत्येक दस्तावेज़ को छह लेआउट आर्किटाइप (जैसे: रिपोर्ट-शैली, फॉर्म-शैली, मिश्रित तालिका-और-पाठ, आदि) में से एक आवंटित किया जाता है, और फिर कागज़ दस्तावेज़ की लंबाई, लेआउट की जटिलता, पाठ/तालिकाओं/चार्ट/छवियों का मिश्रण, और किस प्रकार का प्रश्न पूछा जाता है, इन सभी को एक-दूसरे से स्वतंत्र रूप से बदलता है। यहाँ "संयोजक डिज़ाइन" (combinatorial design) इसी को दर्शाता है: एक ऐसे नॉब के बजाय जो सब कुछ एक साथ मिला दे, आपको कई नॉब मिलते हैं जिन्हें आप एक बार में एक घुमा सकते हैं जबकि बाकी स्थिर रखे जाते हैं।

यहाँ एक चतुर मुड़ है। चालीस प्रतिशत समय, उत्पन्न प्रक्रिया जानबूझकर दस्तावेज़ के लिए "अपेक्षित" पैटर्न को ओवरराइड कर देती है, उदाहरण के लिए, चार्ट को उस जगह रखना जहाँ लेआउट रीति-रिवाजों के अनुसार आमतौर पर एक नहीं होता। इसका उद्देश्य मॉडलों को परीक्षा में धोखा देने से रोकना है। यदि एक मॉडल सीख लेता है कि "राजस्व के बारे में उत्तर हमेशा पेज 1 के शीर्ष के पास होते हैं" क्योंकि वास्तविक वार्षिक रिपोर्ट्स आमतौर पर उसी तरह से व्यवस्थित होती हैं, तो वह दस्तावेज़ को वास्तव में पढ़े बिना भी अच्छा स्कोर कर सकता है; यह दस्तावेज़ रीति-रिवाजों पर पैटर्न-मैचिंग कर रहा है, समझ (comprehension) नहीं। 40% यादृच्छिक ओवरराइड उस शॉर्टकट को तोड़ देता है, क्योंकि मॉडल यह मान नहीं सकता कि दस्तावेज़ "सामान्य" तरीके से व्यवस्थित है।

दूसरा प्रमुख विशेषता लंबाई है। SynthDocBench दस्तावेज़ काफी लंबे होते हैं और संरचनात्मक विविधता में अधिक होते हैं, जो कि DocVQA, ChartQA, या MMLongBench-Doc आमतौर पर शामिल करते हैं। इसका महत्व इसलिए है क्योंकि इस कागज़ में दिलचस्प असफलताओं का एक बड़ा हिस्सा तब तक सामने नहीं आता जब तक दस्तावेज़ लंबे न हों, और छोटे बेंचमार्क उन्हें पूरी तरह से चूक जाते।

लंबे दस्तावेज़ मॉडल्स को मापनीय रूप से खराब बना देते हैं

पहला निष्कर्ष सबसे कम आश्चर्यजनक है, फिर भी इसे स्पष्ट रूप से बयान करना महत्वपूर्ण है: दस्तावेज़ लंबे होने के साथ सटीकता में गिरावट आती है। यह अपने आप में शॉकिंग नहीं है (जैसे-जैसे संदर्भ बढ़ता है, सब कुछ कठिन हो जाता है), लेकिन गिरावट की दर और तीव्रता ही मुख्य बिंदु है। चूंकि SynthDocBench लेआउट और सामग्री के प्रकार से स्वतंत्र रूप से लंबाई को नियंत्रित करता है, शोधकर्ता इस गिरावट को विशेष रूप से लंबाई से जोड़ सकते हैं, न कि "लंबे दस्तावेज़ों में अक्सर अधिक अव्यवस्थित लेआउट भी होते हैं" इस बात से, जो कि पिछले सभी बेंचमार्क में एक भ्रमित करने वाला कारक रहा है।

उन सभी के लिए जो मल्टी-पेज दस्तावेज़ (लीज, मेडिकल रिकॉर्ड, वित्तीय विवरण, तकनीकी मैनुअल) प्रोसेस करने वाले उत्पाद बना रहे हैं, यह एक याद दिलाहट है कि दो-पेज के नमूने पर अच्छी तरह काम करने वाला डेमो आपको यह बताता है बहुत कम कि यह वास्तविक ग्राहक द्वारा अपलोड किए गए 60-पेज के संस्करण पर कैसे काम करेगा।

दस्तावेज़ के मध्य भाग की अंधी धार (Blind Spot)

यह पेपर का सबसे दिलचस्प परिणाम है। शोधकर्ताओं ने प्रत्येक दस्तावेज़ को तीन भागों (प्रारंभिक, मध्य, अंतिम) में विभाजित किया और यह देखा कि मॉडल कहाँ त्रुटियाँ करते हैं। इस प्रकार परीक्षण किए गए छह मॉडल में से पाँच में, मध्य तिहाई दस्तावेज़ का वह सबसे कठिन हिस्सा था जिसके बारे में प्रश्नों के उत्तर देने में मुश्किल हुई। अंत नहीं, जहाँ आप उम्मीद कर सकते हैं कि मॉडल की ऊर्जा समाप्त हो जाएगी। बल्कि मध्य भाग।

उन्होंने "Early-to-Late trend" (प्रारंभ से अंत की प्रवृत्ति) को भी मापा, मूल रूप से, क्या दस्तावेज़ के प्रारंभिक प्रश्नों की सटीकता अंतिम प्रश्नों की तुलना में टेक्स्ट के माध्यम से बढ़ने पर खराब होती है। छह में से पाँच मॉडलों ने एक नकारात्मक प्रवृत्ति दिखाई, जिसका अर्थ है कि वे बाद के सामग्री पर पहले की सामग्री की तुलना में खराब प्रदर्शन करते थे, और सबसे तीव्र गिरावट 8.3 प्रतिशत बिंदुओं तक पहुँची।

यदि यह पैटर्न परिचित लगता है, तो ऐसा होना चाहिए। लंबे संदर्भ वाले केवल-टेक्स्ट भाषा मॉडल पर शोध करने वाले शोधकर्ताओं ने वर्षों से इसी तरह की घटना को दस्तावेज़ी किया है, जिसे अक्सर "lost in the middle" (मध्य में खो जाना) कहा जाता है: मॉडल लंबे इनपुट के शुरुआत और अंत से जानकारी का उपयोग करने में अच्छे होते हैं और केंद्र में दबी हुई जानकारी का उपयोग करने में खराब। SynthDocBench यह दिखा रहा है कि वही विफलता दृश्य दस्तावेज़ समझ में भी दिखाई देती है, न कि केवल सादे टेक्स्ट में। यह एक महत्वपूर्ण विस्तार है, क्योंकि कई लोगों ने माना था कि मल्टीमोडल दस्तावेज़ मॉडल अलग व्यवहार करेंगे क्योंकि वे केवल टोकन स्ट्रीम के बजाय लेआउट और छवियों को प्रसंस्करण कर रहे हैं। वे अलग व्यवहार नहीं करते हैं। कमजोर पॉइंट आर्किटेक्चर के साथ ही चलता है।

व्यावहारिक रूप से, इसका अर्थ है कि एक मॉडल जो 30 पृष्ठों का बीमा पॉलिसी पढ़ रहा है, वह पृष्ठ 2 या पृष्ठ 28 पर किसी चीज़ की तुलना में पृष्ठ 12 से 20 तक किसी चीज़ को छूटने की अधिक संभावना रखता है, भले ही उन मध्य पृष्ठों के बारे में कुछ भी वस्तुनिष्ठ रूप से पढ़ने में अधिक कठिन न हो।

चार्ट ठीक उसी समय टूट जाते हैं जब आपको सबसे ज्यादा उनकी जरूरत होती है

तीसरा विफलता मोड विशेष रूप से चार्ट की समझ से संबंधित है। एक बार चार्ट या लाइन ग्राफ़ को पढ़ना और उसके बारे में किसी प्रश्न का उत्तर देना, पाठ पढ़ने की तुलना में पहले से ही एक कठिन कार्य है, क्योंकि मॉडल को दृश्य तत्वों (बार, अक्ष, लेजेंड) को संख्यात्मक अर्थ से मैप करना होता है। SynthDocBench ने पाया कि चार्ट लंबे दस्तावेज़ों में एम्बेड होने पर यह कौशल बहुत खराब हो जाता है, जो ऊपर वर्णित सामान्य लंबाई-संबंधित गिरावट के आधार पर अनुमानित करने से भी बदतर होता है।

इस बारे में सोचें कि चार्ट वास्तव में उन दस्तावेज़ों में कहाँ मौजूद होते हैं जिनकी लोगों को परवाह है: त्रैमासिक कमाई प्रस्तुतियाँ, वैज्ञानिक पेपर, सरकारी रिपोर्ट, और PDF में निर्यात किए गए बिक्री डैशबोर्ड। ये वही दस्तावेज़ हैं जहाँ 15वीं पृष्ठ पर स्थित चार्ट वह संख्या रखता है जिसे कोई निकालने की कोशिश कर रहा है, और वही सेटिंग है जहाँ SynthDocBench दिखाता है कि मॉडल सबसे कम विश्वसनीय है।

यह क्यों मायने रखता है किसी भी ऐसे व्यक्ति के लिए जो OCR बना रहा है या चुन रहा है

अगर आप किसी टॉय डेमो से आगे के लिए OCR या डॉक्यूमेंट-AI इंजिनों का मूल्यांकन कर रहे हैं, तो इस पेपर से सीधे तीन व्यावहारिक निष्कर्ष सामने आते हैं:

• छोटे सैंपल्स के बजाय अपने असली डॉक्यूमेंट लंबाइयों के साथ टेस्ट करें। एक मॉडल जो आपके पांच-पेज के टेस्ट PDF पर अच्छा स्कोर करता है, वह वही मॉडल नहीं रह जाता जब आपके यूज़र्स 50-पेज के कॉन्ट्रैक्ट्स अपलोड करना शुरू करते हैं। किसी भी वेंडर से (या किसी भी ओपन मॉडल से) उस लंबाई के डॉक्यूमेंट्स के खिलाफ टेस्ट करने के लिए कहें जो आपको प्रोडक्शन में वास्तव में मिलेंगे।
• बिना स्पॉट-चेक किए लंबे डॉक्यूमेंट्स के मध्य भाग के बारे में जवाबों पर भरोसा न करें। अगर कोई वर्कफ़्लो किसी लंबे फाइल के अंदरूनी हिस्से से कुछ निकालने पर निर्भर करता है, तो यही वह ज़ोन है जिसे यह पेपर सबसे कम विश्वसनीय बताता है। लंबे डॉक्यूमेंट्स को चंक (chunk) करने और हर चंक को अलग-अलग क्वेरी करने पर विचार करें, या मॉडल से पढ़ने के लिए कहने से पहले रीट्रिवल का उपयोग करके प्रासंगिक सेक्शन को खींचें, बजाय इसके कि पूरे डॉक्यूमेंट को एक लंबे कॉन्टेक्स्ट विंडो में डंप कर दें।
• चार्ट-भरे लंबे डॉक्यूमेंट्स को अतिरिक्त जांच की ज़रूरत होती है। अगर आपका यूज़ केस एम्बेडेड चार्ट और टेबल्स वाले रिपोर्ट्स (फाइनेंशियल फाइलिंग्स, रिसर्च पेपर्स, एनालिटिक्स एक्सपोर्ट्स) से जुड़ा है, तो यह मानें नहीं कि एक मॉडल जो अलग-थलग चार्ट्स को अच्छे से हैंडल करता है, रिपोर्ट के पेज 20 पर दबा उसी चार्ट को उतनी ही अच्छी तरह हैंडल करेगा। प्लेन टेक्स्ट एक्सट्रैक्शन से अलग, चार्ट्स को विशेष रूप से और अलग से वैलिडेट करें।

इनमें से कोई भी बात डॉक्यूमेंट वर्क के लिए VLMs से बचने की वकालत नहीं है। यह डॉक्यूमेंट AI को SynthDocBench की तरह टेस्ट करने की वकालत है: नियंत्रित टुकड़ों में बांटकर, न कि कुछ उदाहरणों से मिली भावनाओं (vibes) पर आधारित नज़रिए से। मजबूत इंग्लिश OCR का मतलब यह ज़रूरी नहीं कि देवनागरी OCR भी उतना ही अच्छा होगा, इसलिए भारतीय भाषाओं के लिए भी इसी तरह की सख्त वैलिडेशन की ज़रूरत होती है।

यह बेंचमार्क आपको क्या नहीं बता सकता

यहाँ ईमानदार चेतावनियाँ महत्वपूर्ण हैं। SynthDocBench पूरी तरह से सिंथेटिक है, जो वास्तविक दुनिया के स्कैन, फाइलिंग या फॉर्म से स्रोत नहीं किया गया है, बल्कि एक LLM पाइपलाइन द्वारा जनरेट किया गया है। सिंथेटिक दस्तावेज़ इसलिए उपयोगी हैं क्योंकि आप हर वेरिएबल को नियंत्रित कर सकते हैं, लेकिन इस नियंत्रण की एक कीमत है: एक LLM-जनरेट "इनवॉइस" या "रिपोर्ट" में अपना सूक्ष्म सांख्यिकीय फिंगरप्रिंट हो सकता है, जो वास्तविक इनवॉइस और रिपोर्ट्स के लेआउट और शब्दावली से भिन्न होता है। पेपर का अपना दावा, कि वर्तमान मॉडल बेंचमार्क आर्टिफैक्ट्स पर ओवरफिट हो रहे हैं, दोनों दिशाओं में काम करता है। यह संभव है कि SynthDocBench द्वारा मापा जाने वाला कुछ स्वयं एक नई तरह का आर्टिफैक्ट हो, बस अधिक सावधानी से नियंत्रित किया गया हो।

मूल्यांकन सात फ्रंटियर VLMs को भी कवर करता है, जो एक अर्थपूर्ण नमूना है लेकिन फिर भी मध्य-2026 में उपलब्ध मॉडल का एक स्नैपशॉट है। लॉन्ग-कंटेक्स्ट टास्क पर मॉडल व्यवहार तेजी से बदल रहा है, और यह जांचना महत्वपूर्ण है कि क्या नए रिलीज़ ने विशेष रूप से "lost in the middle" कमजोरी को टार्गेट किया है, इससे पहले कि यह माना जाए कि यह आगे भी समान रूप से लागू होता है।

फिर भी, उन चेतावनीों के बावजूद मुख्य योगदान टिकाऊ है: लंबाई, लेआउट, मोडैलिटी और प्रश्न प्रकार को स्वतंत्र रूप से नियंत्रित करके, शोधकर्ताओं ने उन फेल्योर मोड को अलग किया जो असंगत वास्तविक दुनिया के बेंचमार्क संरचनात्मक रूप से सतह पर लाने में असमर्थ थे। विशेष रूप से दस्तावेज़ के मध्य का ब्लाइंड स्पॉट एक वास्तव में नया और उपयोगी खोज है, न कि हमें पहले से ज्ञात किसी चीज़ का पुनः पैकेजिंग। यदि आप कुछ भी बना रहे हैं जो पेशेवर रूप से लंबे दस्तावेज़ पढ़ता है, तो उस ब्लाइंड स्पॉट को ध्यान में रखते हुए अपने मूल्यांकन पाइपलाइन और अपने उत्पाद के चंकिंग स्ट्रैटेजी को डिज़ाइन करना महत्वपूर्ण है।