जब इंजीनियरिंग टीमें Retrieval-Augmented Generation (RAG) के लिए डॉक्यूमेंट पाइपलाइन बनाती हैं, तो बातचीत लगभग तुरंत एक मॉडल शूटआउट में बदल जाती है। क्या आपको Gemini 3.1 Pro कॉल करना चाहिए? पेजों को Mistral OCR v3 पर रूट करना चाहिए? या फिर Granite-Docling जैसे किसी कॉम्पैक्ट मॉडल का इस्तेमाल करना चाहिए?

Abbas Raza Ali (Citigroup), Muhammad Ajmal Siddiqui (Ernst & Young), और Moona Zahid (NVIDIA) का एक रिसर्च पेपर, जिसका शीर्षक Smart Content Ingestion for Generative AI Workloads है, इस चर्चा में प्रोडक्शन की ज़मीनी हकीकत पेश करता है। 5 अक्टूबर, 2026 को एक प्रीप्रिंट के रूप में प्रकाशित, यह MLSys 2027 के लिए अंडर-रिव्यू है।

10,507 पेजों में फैले 180 डॉक्यूमेंट्स के एक इंटरनल कॉर्पस पर माप (measurements) रिपोर्ट करते हुए, लेखक दो ऐसे आंकड़ों पर प्रकाश डालते हैं जिन्हें आपके ingestion आर्किटेक्चर के डिज़ाइन को दिशा देनी चाहिए:

सबसे तेज़ कॉन्फ़िगरेशन में extraction wall-clock time का लगभग 77% शेयर्ड प्रीप्रोसेसिंग में चला गया। Mistral OCR इन्फरेंस के 611 सेकंड की तुलना में इमेज एन्हांसमेंट और लेआउट पार्सिंग में लगभग 2,062 सेकंड लगे। सबसे धीमी कॉन्फ़िगरेशन में, Granite-Docling इन्फरेंस में लगभग 1,350 सेकंड लगे, जिससे प्रीप्रोसेसिंग कुल extraction time का लगभग 60% रही।
लगभग 92% पेजों ने native extraction का रास्ता चुना। 10,507 पेजों में से केवल 853 पेजों ने page-level OCR के लिए सिस्टम के image-area थ्रेशोल्ड को पार किया। बाकी 9,654 पेजों ने लगभग शून्य मॉडल लागत (near-zero model cost) पर नेटिव पाथ फॉलो किया, हालांकि एक्सट्रैक्ट किए गए फिगर्स अभी भी vision captioning को ट्रिगर कर सकते थे।

यदि आप हर डॉक्यूमेंट को थोक में किसी vision API में पाइप करते हैं, तो यह आर्किटेक्चर एक विकल्प सुझाता है: पहले सीधे सुलभ (directly accessible) कंटेंट को एक्सट्रैक्ट करें, और केवल इमेज-प्रधान पेजों के लिए ही page-level OCR रिज़र्व रखें। डॉक्यूमेंट इनजेशन सिर्फ़ एक प्रॉम्प्ट इंजीनियरिंग की कवायद नहीं है। यह पेपर इसे चार चरणों वाली सिस्टम्स पाइपलाइन मानता है जहाँ अपस्ट्रीम पार्सिंग की गलतियाँ डाउनस्ट्रीम रिट्रीवल को उसकी ज़रूरी जानकारी से वंचित कर सकती हैं।

complex financial report table

Agentic systems की perception layer

पारंपरिक मशीन लर्निंग में, डेटा की तैयारी संकीर्ण और स्कीमा-बाउंड होती थी। टास्क, डेटा रिप्रेजेंटेशन, लेबल्स और मॉडल आर्किटेक्चर आपस में मजबूती से जुड़े (closely coupled) थे।

Generative AI ने उस रिश्ते को बदल दिया। फाउंडेशन मॉडल नेचुरल लैंग्वेज निर्देशों और संदर्भ के माध्यम से कई डाउनस्ट्रीम कार्यों का समर्थन करते हैं। जैसे-जैसे मॉडल पक्ष अधिक सामान्य होता गया, डेटा पक्ष अपनी चुनौतियाँ लेकर आया: एंटरप्राइज़ नॉलेज PDF, स्लाइड डेक, स्प्रेडशीट, स्कैन किए गए दस्तावेज़ों, फॉर्म, टेबल और डायग्राम में रहती है।

ये फ़ाइलें टेक्स्ट, विज़ुअल, ज्यामितीय और संरचनात्मक जानकारी को एक ही आर्टिफ़ैक्ट में समेटे होती हैं। यदि कोई ingestion parser दो-कॉलम वाले दस्तावेज़ को इंटरलीव्ड लाइनों में फ़्लैट कर देता है, या किसी वित्तीय टेबल के आंतरिक संबंधों को खो देता है, तो डाउनस्ट्रीम घटकों को एक विकृत रिप्रेजेंटेशन प्राप्त होता है। एक वेक्टर रिट्रीवर अपने इंडेक्स से गायब जानकारी को विश्वसनीय रूप से पुनर्प्राप्त नहीं कर सकता। एक री-रैंकर उन कॉलम अलाइनमेंट्स को बहाल नहीं कर सकता जिन्हें एक्सट्रैक्शन ने छोड़ दिया था।

लेखक नपे-तुले कंटेंट एक्सट्रैक्शन को एंटरप्राइज़ एजेंटिक सिस्टम की परसेप्शन लेयर (perception layer) के रूप में स्थापित करते हैं। उनका तर्क है कि डाउनस्ट्रीम रीज़निंग इस सीमा पर स्रोत (source) को सही ढंग से दर्शाने पर निर्भर करती है।

यह पेपर एक प्रोडक्शन आर्किटेक्चर प्रस्तुत करता है जो चार अनुक्रमिक चरणों (sequential phases) में विभाजित है:

Phase 1: Multimodal Content Extraction, जिसमें हेयुरिस्टिक नेटिव एक्सट्रैक्शन के साथ सेलेक्टिव OCR रूटिंग को संयोजित किया गया है।
Phase 2: Curation and Extraction Evaluation, जिसमें ग्राउंड ट्रुथ के सापेक्ष पार्सर्स का ऑडिट करने के लिए मल्टी-लेबल स्केयर्सिटी-फर्स्ट (scarcity-first) सैंपलिंग का उपयोग किया गया है।
Phase 3: Structure-Aware Parent-Child Chunking, जो रिट्रीवल यूनिट्स को रीडिंग कॉन्टेक्स्ट्स से अलग (decouple) करता है।
Phase 4: Read-Only Retrieval Evaluation, जो रिट्रीवेबिलिटी का परीक्षण करने के लिए ग्राउंडेड सिंथेटिक प्रश्न उत्पन्न करता है।

तीन इंजीनियरिंग सिद्धांत इस डिज़ाइन को नियंत्रित करते हैं: सिमेंटिक्स से पहले स्ट्रक्चर (structure before semantics), जिसे मापते हैं उसे कभी न बदलें (never mutate what you measure), और अपने लेबल्स का बजट तय करें (budget your labels)।

Selective routing: PyMuPDF को भारी ट्रैफिक संभालने दें

Phase 1 में दक्षता का मूल विचार सरल है: सीधे सुलभ कंटेंट को बिना OCR के निकालें, और इमेज-प्रधान पेजों को विज़न मॉडल्स पर रूट करने के लिए एक इमेज-एरिया हेयुरिस्टिक का उपयोग करें।

प्रत्येक आने वाले PDF पेज $p$ के लिए, सिस्टम एक इमेज-एरिया कवरेज अनुपात की गणना करता है:

$$r(p) = \frac{A_{\text{img}}(p)}{A(p)}$$

यदि एम्बेडेड इमेज का कुल क्षेत्रफल $A_{\text{img}}(p)$ कुल पेज क्षेत्रफल $A(p)$ के 80% ($\tau_{\text{cov}} = 0.8$) से अधिक हो जाता है, तो पेज OCR पर रूट हो जाता है। अन्यथा, यह PyMuPDF द्वारा संचालित नेटिव एक्सट्रैक्शन पाथ पर ही रहता है।

लेखकों के 180 दस्तावेज़ों के Orion डेटासेट पर, 10,507 में से 853 पेजों (8.1%) ने OCR रूट लिया। शेष 91.9% ने नेटिव एक्सट्रैक्शन का अनुसरण किया। यह Orion पर देखा गया रूटिंग विभाजन है, सामान्य रूप से एंटरप्राइज़ दस्तावेज़ों के लिए कोई सामान्य अनुमान नहीं।

अलग से, क्यूरेशन इंजन स्कैन किए गए पेजों को लेबल करते समय एक टू-सिग्नल टेस्ट लागू करता है:

$$s(p) = 1_{|T(p)| < \kappa ;\wedge; r(p) > \tau_{\text{cov}}}$$

$\kappa = 40$ के साथ, किसी पेज को 'scanned' लेबल प्राप्त करने के लिए उसमें 40 से कम निकालने योग्य (extractable) वर्ण होने के साथ-साथ उच्च इमेज कवरेज भी होना चाहिए। यह एक बड़ी तस्वीर और एक पर्याप्त टेक्स्ट लेयर वाले पेज को क्यूरेशन के दौरान गलती से स्कैन के रूप में लेबल होने से रोकता है। यह एक्सट्रैक्शन राउटर के केवल-क्षेत्र (area-only) वाले नियम को नहीं बदलता है।

इमेज-प्रधान पेजों के लिए, पेपर एक वैकल्पिक एन्हांसमेंट अनुक्रम का वर्णन करता है: बॉर्डर हटाना, गाऊसी, बाइलेटरल या नॉन-लोकल-मीन्स फ़िल्टर में से चुनने के लिए लाप्लासियन वेरिएंस के माध्यम से नॉइज़ का अनुमान लगाना, Contrast Limited Adaptive Histogram Equalization (CLAHE), अनशार्प मास्किंग और क्यूबिक अपस्केलिंग। इसके बाद रास्टराइज़्ड पेज OCR बैक-एंड पर जाते हैं। इन्फरेंस इंफ्रास्ट्रक्चर में 429/5xx प्रतिक्रियाओं के लिए पुनः प्रयास (retry) और बैक-ऑफ हैंडलिंग तथा 401 पर OAuth2 टोकन रीफ्रेश शामिल हैं।

डीप लर्निंग के बिना Deterministic layout reconstruction

नेटिव-टेक्स्ट पेजों के लिए, स्ट्रक्चरल रीकंस्ट्रक्शन स्टेज सीखे गए मॉडलों (learned models) से बचता है। इसके बजाय, यह नियतात्मक हेयुरिस्टिक्स (deterministic heuristics) पर निर्भर करता है:

Font size calibration: एक्सट्रैक्टर पूरे दस्तावेज़ में मोडल फ़ॉन्ट साइज़ $f^$ की गणना करता है, इसे मानक बॉडी टेक्स्ट मानता है। $f \ge 1.12 f^$ को पूरा करने वाले अलग-अलग फ़ॉन्ट आकार हेडिंग उम्मीदवार बन जाते हैं। मार्कडाउन हेडिंग उत्सर्जित करने के लिए इन आकारों को एक कॉन्फ़िगर की गई गहराई तक पदानुक्रमित स्तरों (hierarchical tiers) में अवरोही क्रम में क्रमबद्ध किया जाता है।
Header and footer suppression: सिस्टम पेज मार्जिन के भीतर टेक्स्ट ब्लॉक्स का निरीक्षण करता है, अंकों को सामान्य करता है ताकि "Page 4" और "Page 9" एक ही कुंजी साझा करें, और 50% से अधिक पेजों पर बार-बार आने वाले मेल खाने वाले मार्जिन कंटेंट को हटा देता है।
Two-tier table detection: रूल्ड टेबल्स को PyMuPDF में lines_strict का उपयोग करके कैप्चर किया जाता है। जब टेबल रणनीति auto पर सेट होती है, तो एक वर्ड-अलाइनमेंट डिटेक्टर शब्दों को पंक्तियों में क्लस्टर करके और x-अलाइनमेंट टॉलरेंस का उपयोग करके कॉलम को समूहीकृत करके बॉर्डरलेस टेबल की भी खोज करता है। एक गार्ड साथ-साथ रखे गद्य (side-by-side prose) को अस्वीकार कर देता है जो किसी टेबल जैसा दिखता है।
Line-granularity reconciliation: किसी खोजी गई टेबल को ओवरलैप करने वाले पूरे टेक्स्ट ब्लॉक को खारिज करने के बजाय, यह पाइपलाइन प्रत्येक लाइन का व्यक्तिगत रूप से परीक्षण करती है। किसी लाइन को केवल तभी दबाया (suppress किया) जाता है जब उसका 50% से अधिक क्षेत्रफल टेबल आयत के अंदर आता हो, जिससे पास के वे वाक्य सुरक्षित रहते हैं जो केवल टेबल के एक टुकड़े के साथ टेक्स्ट ब्लॉक साझा करते हैं।
Raster de-duplication: $32 \times 32$ पिक्सल से बड़ी एम्बेडेड रेखापुंज (raster) छवियों को MD5 हैश का उपयोग करके डि-डुप्लिकेट किया जाता है और ## Figure-{page}.{n} जैसे फिगर प्लेसहोल्डर द्वारा दर्शाया जाता है। शेष प्लेसहोल्डर vision captioning को ट्रिगर करते हैं, जिसमें आर्किटेक्चर में दिखाए गए मॉडलों में Gemma-3 और Llama-4-Scout शामिल हैं।

Phase 1 का आउटपुट टैग किया गया मार्कडाउन है जो स्पष्ट ### Page: N, टेबल और फिगर मार्कर्स को सुरक्षित रखता है। नेटिव स्ट्रक्चरल रीकंस्ट्रक्शन और विज़न कैप्शनिंग उस प्रक्रिया के अलग-अलग हिस्से हैं।

The scarcity trap: जब 90% डेटा टेक्स्ट हो तो एक्सट्रैक्शन का ऑडिट करना

निकाले गए मार्कडाउन को किसी एम्बेडिंग मॉडल में पाइप करने से पहले, आपको यह जानना होगा कि क्या आपके एक्सट्रैक्टर ने वास्तव में काम किया। यह हमें Phase 2 पर लाता है: डेटा क्यूरेशन और एक्सट्रैक्शन मूल्यांकन।

एंटरप्राइज़ रिपॉजिटरी में दस्तावेज़ निष्कर्षण (document extraction) का मूल्यांकन करने में एक जिद्दी सैंपलिंग समस्या का सामना करना पड़ता है। यदि अधिकांश पेज सादे टेक्स्ट हैं, तो एक यादृच्छिक नमूना (random sample) स्कैन किए गए पेजों, रेखाचित्रों और इन्फोग्राफिक्स के बहुत कम उदाहरण छोड़ सकता है, जिससे निष्कर्षण गुणवत्ता का अनुमान लगाना कठिन हो जाता है। दुर्लभ मोडैलिटीज को मूल्यांकन सेट में जानबूझकर प्रतिनिधित्व की आवश्यकता होती है।

लेखक इसे प्रति पेज कई लेबल्स वाली एक कवरिंग समस्या (covering problem) के रूप में औपचारिक रूप देते हैं। उनके वर्गीकरण में Scanned, Text, Table, Diagram, Graph/Infographic, और Photo/Signature श्रेणियां शामिल हैं।

कुल $N$ पेजों के बजट में प्रत्येक मोडैलिटी के लिए लक्षित कोटा $t_m = \lceil \phi_m N \rceil$ को देखते हुए, Algorithm 1 एक स्केयर्सिटी-फर्स्ट लालची हेयुरिस्टिक (scarcity-first greedy heuristic) लागू करता है:

मोडैलिटीज को उनके लक्षित कोटा के आरोही क्रम में क्रमबद्ध करें। यह क्रम कॉन्फ़िगर किए गए कोटा का पालन करता है, जरूरी नहीं कि कॉर्पस में उनकी देखी गई आवृत्ति का।
सक्रिय मोडैलिटी के लिए, हेल्पफुलनेस स्कोर द्वारा उम्मीदवार पेजों को रैंक करें: अन्य अभी भी अपूर्ण कोटा की संख्या जिन्हें एक पेज भी पूरा करता है।
पेजों का चयन करें जब तक कि उस मोडैलिटी का कोटा अधूरा हो और उम्मीदवार शेष हों, सभी मेल खाने वाले लेबलों में घाटे (deficits) को अपडेट करते रहें।
पेज बजट तक पहुँचने के लिए अचयनित पेजों से टॉप अप करें या कम-सहायक चयनों को ट्रिम करें, फिर लक्षित बनाम प्राप्त कवरेज की रिपोर्ट करें।

यह विधि एक हेयुरिस्टिक है, इस बात की कोई गारंटी नहीं है कि हर कोटा पूरा किया जा सकता है। संदर्भ महत्वपूर्ण होने पर चयनित पेजों को अलग एकल-पेज PDF या संपूर्ण स्रोत दस्तावेज़ों के रूप में निर्यात किया जा सकता है। एक छह-शीट वाली वर्कबुक कॉन्फ़िगरेशन, चयन, आंकड़े और प्राप्त वितरण को रिकॉर्ड करती है। इसके बाद सैंपल पर ग्राउंड-ट्रुथ डिजिटलीकरण और मानवीय सत्यापन किया जाता है।

टेक्स्ट और टेबल की सटीकता (fidelity) का स्कोरिंग

मूल्यांकन हार्नेस यूनिकोड NFKC, केस-फोल्डिंग, विराम चिह्न और संयुक्ताक्षर (ligature) एकीकरण, मार्कडाउन और HTML स्ट्रिपिंग, और व्हाइटस्पेस को छोटा करने के माध्यम से टेक्स्ट को सामान्य करता है। यह Levenshtein दूरी के माध्यम से Character Error Rate (CER) और Word Error Rate (WER) की गणना करता है, साथ ही precision, recall, F1, bag-of-words F1, smoothed BLEU-4 और एक लंबाई अनुपात $(|\hat{c}| / |c|)$ की भी गणना करता है।

वह अनुपात संभावित अधिक-उत्पादन (over-production) या सामग्री हानि को चिह्नित करता है। यह अपने आप में यह स्थापित नहीं करता है कि अतिरिक्त टेक्स्ट डुप्लीकेशन है या मतिभ्रम (hallucination)।

टेबलों के लिए, स्कोरर Tree Edit Distance-based Similarity (TEDS) का उपयोग करके संरचनात्मक तुलना जोड़ता है। पाइप और HTML तालिकाओं को आयताकार ग्रिड में पार्स किया जाता है और पेड़ों (table -> row -> cell) के रूप में मॉडल किया जाता है। रिपोर्ट की गई समानता निम्नलिखित रूप लेती है:

$$\text{TEDS}(T_a, T_b) = 1 - \frac{\text{EditDist}(T_a, T_b)}{\max(|T_a|, |T_b|)}$$

यह टेबल संगठन और वर्णित सामग्री-संवेदनशील (content-sensitive) मोड में सेल स्ट्रिंग्स के बीच अंतर को मापता है।

अंत में, बैक-एंड्स को एक समग्र स्कोर ($Q_m \in [0, 100]$) का उपयोग करके रैंक किया जाता है:

$$Q_m = 100 \cdot \frac{\sum_j w_j \mu_{j,m}}{\sum_j w_j} \cdot \text{cov}_m$$

ये मेट्रिक्स सटीकता की ओर उन्मुख हैं और कॉन्फ़िगर करने योग्य भार (weights) का उपयोग करके जोड़े गए हैं। वेरिएबल $\text{cov}_m$ अपेक्षित फ़ाइलों के उस अंश का प्रतिनिधित्व करता है जिसके लिए मॉडल ने आउटपुट उत्पन्न किया। गायब फ़ाइलें स्कोर को आनुपातिक रूप से कम करती हैं, स्पष्ट रूप से उस इंजन को दंडित करती हैं जो कठिन दस्तावेज़ों को छोड़ देता है।

परिणाम एक कॉन्फ़िगर करने योग्य मूल्यांकन स्कोर है, न कि सही ढंग से निकाली गई सामग्री का स्टैंडअलोन प्रतिशत।

Parent-child chunking: बड़े फ़ोल्डर्स के अंदर छोटे कार्ड्स

Phase 3 चंकिंग को संबोधित करता है। पेपर दो प्रतिस्पर्धी विफलता मोड (failure modes) का वर्णन करता है:

बड़े चंक्स (Large chunks) किसी एम्बेडिंग में प्रासंगिक गद्यांश के योगदान को कम (dilute) कर सकते हैं। पेपर के मीन-पूलिंग सन्निकटन (mean-pooling approximation) के तहत, जैसे-जैसे वाक्यों की संख्या बढ़ती है, एक प्रासंगिक वाक्य का योगदान कम होता जाता है।
छोटे चंक्स (Small chunks) किसी उत्तर को ऐसे टुकड़ों में खंडित कर सकते हैं जो व्यक्तिगत रूप से खराब रिट्रीवल मैच होते हैं।

आर्किटेक्चर रिट्रीवल यूनिट को कॉन्टेक्स्ट यूनिट से अलग करके इस ट्रेड-ऑफ का समाधान करता है।

रिट्रीव की गई इकाइयाँ children हैं: 320 टोकन को लक्षित करने वाले केंद्रित इंडेक्स कार्ड, सामान्य गद्य के लिए 512 टोकन की अधिकतम सीमा (ceiling) के साथ। कॉन्टेक्स्ट इकाइयाँ parents हैं: 3,500 टोकन के कॉन्फ़िगर किए गए अधिकतम आकार वाले स्ट्रक्चरल फ़ोल्डर्स। ये कोई बिना शर्त सीमाएँ नहीं हैं: अत्यधिक लंबे व्यक्तिगत वाक्यों और पूर्ण (atomic) तालिकाओं या आंकड़ों को पूरा संरक्षित किया जाता है, और एक बड़ी तालिका या आंकड़ा भी मूल (parent) सीमा से अधिक हो सकता है।

चिल्ड्रेन को GTE के साथ एम्बेड किया जाता है, L2-सामान्यीकृत किया जाता है, और एक सटीक इनर-प्रोडक्ट इंडेक्स (IndexFlatIP) का उपयोग करके FAISS में इंडेक्स किया जाता है। पेरेंट्स को parent_id से पेरेंट टेक्स्ट के की-वैल्यू मैप में स्टोर किया जाता है।

क्वेरी के समय, वेक्टर सर्च चाइल्ड कार्ड्स को पुनर्प्राप्त करता है। किसी चाइल्ड को उसके संग्रहीत पेरेंट में विस्तारित करने के लिए एक $O(1)$ लुकअप की आवश्यकता होती है। वह जटिलता केवल संदर्भ लुकअप का वर्णन करती है, वेक्टर सर्च या संपूर्ण क्वेरी का नहीं।

Document Markdown
       │
       ▼
[Parent Section Folder: configured maximum 3,500 tokens]
       │                                      (Key-Value Store)
       │
       ├──► Child Card 1: target ~320 tokens (FAISS Index)
       │      Optional prefix: "Doc > Section > Subsection (p.4)"
       │
       ├──► Child Card 2: target ~320 tokens (FAISS Index)
       │      Optional prefix: "Doc > Section > Subsection (p.4)"
       │
       └──► Child Card 3: whole atomic table (FAISS Index)

चार पैकिंग नियम (The four packing rules)

pack_sentences() के अंदर सेंटेंस पैकिंग चार नियमों का पालन करती है:

Rule 1 (Token budgeting): GPT-2 टोकनाइज़र का उपयोग करके लगभग 320 टोकन को लक्षित करें, सामान्य गद्य पैकिंग के लिए 512-टोकन की सीमा रखें।
Rule 2 (Sentence preservation): कभी भी वाक्य के बीच में न काटें। अंतिम कोट्स और कोष्ठक को संरक्षित करते हुए विराम चिह्नों पर विभाजित करें। यदि कोई एक वाक्य सीमा से अधिक हो जाता है, तो उसे छोटा करने के बजाय एक अलग चंक के रूप में उत्सर्जित करें।
Rule 3 (No crumbs): यदि कोई पैक किया गया समूह न्यूनतम टोकन थ्रेशोल्ड से नीचे आता है, तो इसे पिछले चंक के गैर-ओवरलैपिंग वाक्यों में मिला दें, बशर्ते संयुक्त आकार सीमा का सम्मान करता हो।
Rule 4 (Atomic tables and figures): जब पैकर किसी टेबल या फिगर का सामना करता है, तो यह लंबित गद्य को फ्लश करता है और पूरी संरचनात्मक इकाई को एक चाइल्ड के रूप में उत्सर्जित करता है, भले ही वह इकाई सामान्य टोकन बजट से अधिक हो।

जब कोई चंक इसलिए बंद हो जाता है क्योंकि अगला वाक्य सीमा से अधिक हो जाएगा, तो सिस्टम अगले चंक में 48 टोकन तक के अंतिम पूरे वाक्यों को आगे ले जाता है।

बिना LLM रीराइट के स्थितिजन्य संदर्भ (positional context) जोड़ने के लिए, वैकल्पिक ब्रेडक्रम्ब्स प्रत्येक चाइल्ड के एम्बेडिंग टेक्स्ट को उसके संरचनात्मक पते के साथ प्रीफ़िक्स करते हैं: Document > Title > Section > Subsection (p.N)। रॉ, बिना प्रीफ़िक्स वाला टेक्स्ट डिस्प्ले के लिए अलग से सुरक्षित रखा जाता है।

Auditing retrieval: रीड-ओनली इवैल्यूएटर के साथ 25,050 प्रश्न

Phase 4 RetrievalEvaluator के साथ लूप को बंद करता है। never mutate what you measure (जिसे मापते हैं उसे कभी न बदलें) के सिद्धांत का पालन करते हुए, हार्नेस faiss.IO_FLAG_READ_ONLY का उपयोग करके इंडेक्स खोलता है। यह इंडेक्सिंग के दौरान उपयोग किए गए सटीक GTE एम्बेडिंग फ़िंगरप्रिंट और पेज-टैग व्याकरण का पुन: उपयोग करता है।

मूल्यांकनकर्ता उन पेजों के लिए Mistral-Medium का उपयोग करके ग्राउंडेड सिंथेटिक प्रश्न उत्पन्न करता है जिनमें कम से कम एक कॉन्फ़िगर की गई न्यूनतम संख्या में टोकन होते हैं। इसका प्रॉम्प्ट विशिष्ट तथ्य-स्तरीय प्रश्नों और पूरे पेज की सामग्री को संश्लेषित करने वाले व्यापक प्रश्नों का अनुरोध करता है, रॉ JSON की मांग करता है, और बाहरी ज्ञान को प्रतिबंधित करता है। ये निर्देश जनरेशन को सीमित करते हैं; वे स्वतंत्र रूप से यह साबित नहीं करते हैं कि प्रत्येक उत्पन्न प्रश्न मान्य है।

प्रत्येक प्रश्न को GTE का उपयोग करके एम्बेड किया जाता है और FAISS IDSelectorBatch का उपयोग करके इसके स्रोत दस्तावेज़ के भीतर खोजा जाता है, जिसमें चयनकर्ता समर्थन अनुपलब्ध होने पर एक संपूर्ण-फ़िल्टर (exhaustive-filter) फ़ॉलबैक होता है। प्राप्त बच्चों को parent_id द्वारा डि-डुप्लिकेट किया जाता है, जिससे प्रति पेरेंट उच्चतम स्कोरिंग चाइल्ड बना रहता है। अलग-अलग पेरेंट्स को लौटाने का समर्थन करने के लिए खोज उम्मीदवारों को ओवर-फ़ेच करती है।

एक हिट तब दर्ज की जाती है जब उम्मीदवार चाइल्ड कोसाइन समानता थ्रेशोल्ड $s(q, c) \ge \theta$ को पार करता है और इसका स्रोत पेज प्रश्न की उत्पत्ति के एक पेज ($\delta = 1$) के भीतर आता है:

$$\text{hit}(q, c) = 1_{s(q, c) \ge \theta ;\wedge; |\pi(c) - \pi(q)| \le \delta}$$

Orion कॉर्पस पर, परीक्षक ने 180 दस्तावेज़ों में 25,050 प्रश्न उत्पन्न और मूल्यांकित किए:

hit@1: 68.58%
hit@3: 82.30%
hit@5: 87.66%
hit@10: 92.77%
Mean Reciprocal Rank (MRR): 0.7745
Median Rank: 1.0 (Mean Rank: 1.81)
Questions missed at all evaluated ranks: 1,810 (7.2%)
Mean Per-Query Latency: 0.81 seconds, reported as dominated by remote embedding calls

दो-तिहाई से अधिक प्रश्नों ने पहले लौटे पेरेंट पर ही मूल्यांकनकर्ता के हिट मानदंड को पूरा किया। दस अलग-अलग पेरेंट्स तक, यह हिस्सा 92.77% तक पहुंच गया।

ये रिट्रीवल-प्रॉक्सी परिणाम हैं। यह मानदंड समानता और पेज निकटता की जांच करता है, न कि किसी स्वतंत्र रूप से लेबल किए गए सटीक लक्ष्य अनुभाग या उत्पन्न उत्तर की शुद्धता की। चूंकि खोज केवल स्रोत दस्तावेज़ तक ही सीमित है, इसलिए ये आंकड़े पूरे कॉर्पस में सही दस्तावेज़ खोजने का भी माप नहीं करते हैं।

Extraction benchmark: बड़े बैक-एंड्स बनाम कॉम्पैक्ट मॉडल्स

लेखक चार प्रोडक्शन बैक-एंड के लिए एक्सट्रैक्शन स्कोर की रिपोर्ट करते हैं। उनके माप आंतरिक कॉर्पोरा पर सिस्टम के अपने मूल्यांकनकर्ताओं से आते हैं; वे कोई स्वतंत्र सार्वजनिक लीडरबोर्ड नहीं हैं।

Model	Composite Score ($Q_m$)	Character Error Rate (CER)	Word Error Rate (WER)	Table Similarity (TEDS)	Inference Time on Orion	Total Wall-Clock Time on Orion
Gemini 3.1 Pro	97.37	0.13%	0.13%	0.9952	Not separately reported	Not separately reported
Mistral OCR v3	95.98	1.39%	1.55%	0.9737	~611 s	2,672.67 s
Granite-Docling (258M)	92.92	2.60%	2.90%	0.9599	~1,350 s	3,411.86 s
SmolDocling (256M)	90.70	4.43%	4.82%	0.9274	Not separately reported	Not separately reported

Note: Extraction wall-clock totals include approximately 2,062 seconds of shared preprocessing, described as image enhancement and layout parsing. The paper places the other two back-ends between the reported timing extremes without giving their individual times.

Gemini 3.1 Pro ने 0.13% का CER और 0.9952 का TEDS स्कोर दर्ज करते हुए रिपोर्ट की गई सटीकता रैंकिंग में शीर्ष स्थान हासिल किया।

Mistral OCR v3 95.98 के कंपोजिट स्कोर के साथ दूसरे स्थान पर रहा। इसका 1.39% का CER जेमिनी की तुलना में लगभग एक ऑर्डर ऑफ मैग्नीट्यूड अधिक था, जबकि इसने सबसे तेज़ रिपोर्ट किया गया एक्सट्रैक्शन समय दिया। इसके मॉडल इन्फरेंस घटक में लगभग 611 सेकंड लगे, जबकि Granite-Docling के लिए लगभग 1,350 सेकंड लगे।

कॉम्पैक्ट मॉडल, Granite-Docling और SmolDocling, जेमिनी से लगभग 4.5 और 6.7 कंपोजिट अंक पीछे रहे। उनके रिपोर्ट किए गए CER क्रमशः 2.60% और 4.43% थे; उनके TEDS स्कोर 0.9599 और 0.9274 थे। ये कुल बेंचमार्क परिणाम हैं, सादे बॉडी टेक्स्ट या विशेष टेबल कठिनाई स्तरों के अलग-अलग माप नहीं।

पेपर में पहले के CNN टेबल डिटेक्शन और Encoder-Dual-Decoder सेल एक्सट्रैक्शन कार्य का भी हवाला दिया गया है, जिसमें इमेज टेबल पर 85% वर्ड एक्यूरेसी की रिपोर्ट की गई थी। यह ऐतिहासिक संदर्भ प्रदान करता है, लेकिन दिए गए परिणाम एक मैच्ड-डेटासेट तुलना स्थापित नहीं करते हैं जिससे उस पहले के सिस्टम पर एक नियंत्रित सुधार की गणना की जा सके।

यह क्यों मायने रखता है: प्रोडक्शन डॉक्यूमेंट पाइपलाइनों के वास्तविक ट्रेड-ऑफ़

यदि आप एंटरप्राइज़ सर्च या एजेंटिक वर्कफ़्लो के लिए डॉक्यूमेंट इनजेशन बनाने वाले एक इंजीनियरिंग लीड या प्रोडक्ट मैनेजर हैं, तो यह पेपर कई परिचालन सबक (operational lessons) प्रदान करता है:

1. The cheapest OCR call is the one you never make

सेलेक्टिव रूटिंग ने Orion के 91.9% पेजों को page-level OCR पाथ से बाहर रखा। यह एक ठोस परिणाम है जो आपके अपने दस्तावेज़ों के विरुद्ध परीक्षण करने लायक है।

यह कुल लागत में मापी गई 91.9% की कमी नहीं है। नेटिव एक्सट्रैक्शन में अभी भी प्रोसेसिंग लागत होती है, और फिगर कैप्शनिंग अभी भी विज़न मॉडल को इनवोक कर सकती है। पेपर प्रति-पेज मूल्य या बिलिंग की पहले और बाद की तुलना प्रदान नहीं करता है। समर्थित सबक अधिक संकीर्ण है: सीधे सुलभ टेक्स्ट को स्वचालित रूप से page-level OCR प्राप्त करने की आवश्यकता नहीं है।

2. Shared preprocessing deserves a place in your latency budget

Figure 4 एक्सट्रैक्शन टाइमिंग को दृश्यमान बनाता है: Mistral OCR इन्फरेंस के 611 सेकंड की तुलना में लगभग 2,062 सेकंड शेयर्ड इमेज एन्हांसमेंट और लेआउट पार्सिंग में गए।

यह प्रीप्रोसेसिंग को सबसे तेज़ कॉन्फ़िगरेशन में एक्सट्रैक्शन वॉल-क्लॉक समय के लगभग 77% और सबसे धीमी गति में लगभग 60% पर रखता है। लेखक इसे अगले अनुकूलन लक्ष्य (optimization target) के रूप में पहचानते हैं।

माप CPU उपयोग, क्रमिक निष्पादन, या उस गति को स्थापित नहीं करते हैं जो एक विशेष मल्टीप्रोसेसिंग या छवि-फ़िल्टर परिवर्तन प्रदान करेगा। वे दिखाते हैं कि सबसे तेज़ OCR बैक-एंड चुनने से भी निष्कर्षण समय का एक बड़ा हिस्सा अछूता क्यों रह जाता है।

3. Character error rate is only part of extraction quality

एक टेक्स्ट स्कोर टेबल फिडेलिटी का पूरा हिसाब नहीं देता है। पेपर टेबल संरचना और सेल से संबंधित मेट्रिक्स के साथ कैरेक्टर- और वर्ड-लेवल के उपायों को मिलाकर दोनों का मूल्यांकन करता है।

जब एक्सट्रैक्टर्स की तुलना करें, तो उस अंतर को बनाए रखें। TEDS, CER और WER के साथ-साथ संरचनात्मक साक्ष्य प्रदान करता है; कंपोजिट स्कोर इन संकेतों को जोड़ता है लेकिन इन्हें छिपाना नहीं चाहिए। इसके साथ ही, अंग्रेज़ी में मजबूत OCR क्षमता देवनागरी जैसी जटिल लिपि के लिए स्वतः अच्छे OCR की गारंटी नहीं देती, जहाँ मात्राओं, शिरोरेखा और संयुक्ताक्षरों के कारण अलग चुनौतियाँ होती हैं।

4. Separate your retrieval cards from your context windows

पेपर का पैरेंट-चाइल्ड आर्किटेक्चर व्यापक संदर्भ लौटाते हुए छोटे अंशों से मिलान करने का एक ठोस तरीका प्रदान करता है। स्ट्रक्चरल टैग तालिकाओं और आंकड़ों को बरकरार रखते हैं, और वैकल्पिक ब्रेडक्रम्ब्स एम्बेड किए जा रहे टेक्स्ट में दस्तावेज़ की स्थिति जोड़ते हैं।

Orion रन प्रदर्शित करता है कि इस डिज़ाइन का बड़े पैमाने पर मूल्यांकन किया जा सकता है। इसमें एक नियंत्रित रिट्रीवल तुलना शामिल नहीं है जो यह साबित करती है कि पैरेंट-चाइल्ड चंकिंग उसी कॉर्पस पर निश्चित आकार (fixed-size), सिमेंटिक या अन्य विकल्पों से बेहतर प्रदर्शन करती है।

सिस्टम कहाँ अपनी सीमाओं से टकराता है

लेखक सिस्टम को प्रोडक्शन-रेडी बताते हैं, लेकिन सबूत इसके परिणामों को पढ़ने के तरीके पर कई सीमाओं का समर्थन करते हैं:

Synthetic question dependence: रिट्रीवल माप Mistral-Medium द्वारा उत्पन्न प्रश्नों का उपयोग करते हैं। पेपर स्पष्ट रूप से नोट करता है कि यह प्रॉक्सी जनरेटर की गुणवत्ता पर निर्भर करता है। यह वास्तविक उपयोगकर्ता प्रश्नों के एक सेट के विरुद्ध सत्यापन की रिपोर्ट नहीं करता है।
Document-scoped, page-based hits: खोज प्रश्न के स्रोत दस्तावेज़ के भीतर होती है, और सफलता समानता और पेज निकटता पर निर्भर करती है। ये परिणाम पूरे कॉर्पस में दस्तावेज़ चयन या उत्तर की शुद्धता को स्थापित नहीं करते हैं।
Internal evaluation and limited comparisons: रिपोर्ट किए गए स्कोर आंतरिक कॉर्पोरा पर स्व-माप हैं। पेपर में चर्चा की गई वैकल्पिक रणनीतियों के खिलाफ चंकिंग एब्लेशन या नियंत्रित रिट्रीवल तुलना की रिपोर्ट नहीं की गई है।
Configurable routing heuristics: 80% इमेज-एरिया थ्रेशोल्ड Orion पर रिपोर्ट किए गए रूटिंग विभाजन को उत्पन्न करता है। पेपर अन्य दस्तावेज़ आबादी में इसकी रूटिंग सटीकता स्थापित नहीं करता है, और सख्त स्कैन किए गए पेज लेबलिंग नियम एक्सट्रैक्शन रूटिंग के बजाय क्यूरेशन से संबंधित हैं।
Monitoring remains partly a proposal: संदर्भ-आधारित (Reference-based) CER और WER के लिए ग्राउंड ट्रुथ की आवश्यकता होती है। पेपर संदर्भ-मुक्त संकेतों और अंशांकन रणनीतियों पर चर्चा करता है, लेकिन निगरानी के औचित्य को शिप किए गए अंशांकन कोड के बजाय एक परिकल्पना या भविष्य की दिशा के रूप में लेबल करता है। ऐसे सिग्नल अपने आप में वास्तविक त्रुटि दर की रिपोर्ट नहीं कर सकते।

मुख्य निष्कर्ष (The takeaway)

डॉक्यूमेंट इनजेशन एक बार बनाई गई और फिर भुला दी गई यूटिलिटी स्क्रिप्ट की तुलना में कहीं अधिक ध्यान देने योग्य है। लेखकों के नज़रिए में, यह एक जनरेटिव एआई सिस्टम की परसेप्शन लेयर है।

सेलेक्टिव रूटिंग, डिटर्मिनिस्टिक लेआउट रीकंस्ट्रक्शन, स्ट्रक्चर-अवेयर पैरेंट-चाइल्ड चंकिंग और रीड-ओनली इवैल्यूएटर्स को संयोजित करके, यह पेपर इनजेशन निर्णयों को स्पष्ट और मापने योग्य बनाने का एक ठोस तरीका प्रस्तुत करता है। इसका सबसे मजबूत योगदान उन घटकों और उनके द्वारा अपने बारे में उत्पन्न किए गए साक्ष्यों के बीच का संबंध है।

इससे पहले कि आप प्रॉम्प्ट्स में फेरबदल करने या री-रैंकिंग मॉडल्स के परीक्षण में एक और हफ्ता बिताएं, अपनी इनजेशन लेयर पर गंभीरता से नज़र डालें। यदि आपका पार्सर पेज पर मौजूद जानकारी को खो देता है, तो डाउनस्ट्रीम रिट्रीवल एक ऐसी समस्या के साथ शुरू होता है जिसे ठीक करने का उसके पास शायद कोई रास्ता न हो।

हर पेज को Vision Model पर भेजना बंद करें: Citigroup, EY और NVIDIA के रिसर्चर्स से सबक