विज़न LLMs को दस पेज फीड करना बंद करें: ViSAR के ट्रेनिंग-फ्री एडाप्टिव रेट्रीवल के अंदर
Based on: ViSAR: Training-Free Adaptive-$k$ Retrieval for Visual Document Question Answering — Adrien Mialland, Marc Plantevit, Julien Gallois, Céline Robardet
दस्तावेज़ खोज में गति और सटीकता को संतुलित करना
एक दृश्य भाषा मॉडल (visual language model) से एक लंबे दस्तावेज़ में जानकारी खोजने के लिए कहें, और मानक दस्तावेज़ खोज आर्किटेक्चर कुछ अत्यंत अपव्ययी काम कर सकते हैं। वे एक दृश्य एन्कोडर (visual encoder) का उपयोग करके प्रत्येक पेज के स्क्रीनशॉट को स्वतंत्र रूप से स्कोर करते हैं, सूची को क्रमबद्ध करते हैं, और भारी Large Vision-Language Model (LVLM) को एक निश्चित शीर्ष पांच या दस पेज दे देते हैं।
यदि क्वेरी सरल है, तो सबूत एक ही पेज पर हो सकता है, जबकि शेष प्राप्त पेज अप्रासंगिक दृश्य संदर्भ जोड़ते हैं। मॉडल फिर भी उन तालिकाओं, हेडर और लेआउट को संसाधित करता है जो प्रश्न का उत्तर देने में मदद नहीं करते। इसके विपरीत, एक कठोर बजट (rigid budget) उन पेजों को छोड़ सकता है जब प्रश्न को कई पेजों से जानकारी की आवश्यकता होती है।
यह दुविधा आधुनिक दृश्य दस्तावेज़ खोज में एक मौलिक डिज़ाइन विकल्प से उत्पन्न होती है: निश्चित शीर्ष-$k$ चयन। मौजूदा दृष्टिकोण आमतौर पर क्वेरी की जटिलता की परवाह किए बिना समान संख्या में पेज प्राप्त करते हैं, भले ही यह निर्धारित करना कि किसी विशेष प्रश्न को कितने पेजों की आवश्यकता है, उसका सीधा प्रभाव लेटेंसी और उत्तर की गुणवत्ता पर पड़ता है।
2 सितंबर, 2026 को प्रकाशित एक शोध पत्र में, Adrien Mialland, Marc Plantevit, Julien Gallois, और Céline Robardet (INSA Lyon, CNRS, LIRIS, EPITA, और Lowit) ने एक सुंदर वैकल्पिक समाधान पेश किया: ViSAR (Visual Semantic Activation Retrieval)। ViSAR विजुअल एन्कोडर को प्रशिक्षित किए बिना, अनुमान समय (inference time) पर प्राप्त करने के लिए पेजों की संख्या को गतिशील रूप से निर्धारित करता है। लेट-इंटरेक्शन एम्बेडिंग स्पेस के भीतर पहले से मौजूद इंटरैक्शन का विश्लेषण करके, ViSAR ने रिपोर्ट किए गए प्रयोगों में एंड-टू-एंड प्रश्नोत्तर लेटेंसी को 58.7% तक कम किया, जबकि उत्तर की सटीकता को बनाए रखा या सुधारा।
लेट-इंटरैक्शन एन्कोडर्स के अंदर का ब्लाइंड स्पॉट
ViSAR कैसे काम करता है, यह समझने के लिए पहले यह देखें कि विजुअल डॉक्यूमेंट रीट्रीवर (visual document retrievers) कैसे काम करते हैं।
पारंपरिक टेक्स्ट-आधारित रीट्रीवल को एम्बेड करने से पहले पिक्सेल्स को टेक्स्ट स्ट्रिंग्स में बदलने के लिए ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) की आवश्यकता होती है। उस प्रक्रिया में विजुअल कंटेंट और डॉक्यूमेंट-विशिष्ट लेआउट छूट सकता है। आधुनिक OCR-फ्री विजुअल रीट्रीवर, जिनमें ColPali और ColQwen2.5 शामिल हैं, इसके बजाय एक पेज स्क्रीनशॉट को एक शेयर्ड स्पेस में विजुअल पैच एम्बेडिंग्स के सेट के रूप में रिप्रेजेंट करते हैं। यूजर क्वेरी को भी इसी तरह मल्टीपल एम्बेडिंग्स द्वारा रिप्रेजेंट किया जाता है।
रिलेवेंस की गणना ColBERT द्वारा पेश किए गए MaxSim ऑपरेटर द्वारा संचालित लेट इंटरैक्शन (late interaction) का उपयोग करके की जाती है:
$$S_{Q, P^p} = \sum_{i=1}^m \max_{j \in {1, \dots, n_p}} \langle q_i, v_j^p \rangle$$
हर क्वेरी एम्बेडिंग $q_i$ के लिए, रीट्रीवर पेज $p$ पर विजुअल पैच एम्बेडिंग्स $v_j^p$ के आसपास खोजता है, सबसे उच्च सिमिलैरिटी लेता है, और उन पीक एलाइनमेंट्स को जोड़ता है।
लेट इंटरैक्शन फाइन-ग्रेन्ड क्वेरी-पेज मैचिंग और ऑफलाइन पेज एन्कोडिंग को सक्षम बनाता है। फिर भी, इसमें दो संरचनात्मक सीमाएँ हैं:
- स्वतंत्र पेज मूल्यांकन: रीट्रीवर पेजों के लिए रिलेवेंस स्कोर स्वतंत्र रूप से जनरेट करता है, बिना पेजों के आसपास सेमैंटिक स्ट्रक्चर का लाभ उठाए।
- समान सेमैंटिक वेटिंग: हर क्वेरी और पेज एम्बेडिंग मानक लेट-इंटरैक्शन स्कोर में समान रूप से योगदान देती है।
टेक्स्ट रीट्रीवल ने टोकन-फ्रीक्वेंसी स्टैटिस्टिक्स, सीखे गए इम्पोर्टेंस एस्टिमेट्स, या स्पार्स रिप्रेजेंटेशन का उपयोग करके संबंधित वेटिंग प्रश्नों को संबोधित किया है। लेकिन उन दृष्टिकोणों का निर्भरता डिस्क्रीट टोकन स्ट्रक्चर या अतिरिक्त ट्रेनिंग पर है और वे विजुअल एम्बेडिंग्स में सीधे तौर पर विस्तारित नहीं होते हैं।
परिणामस्वरूप, लेट इंटरैक्शन स्केलर स्कोरों की एक रैंकedList जनरेट करता है। पिछले एडाप्टिव-$k$ दृष्टिकोण स्कोर हीयुरिस्टिक्स, जैसे कि लगातार स्कोरों के बीच सबसे बड़ा अंतर पहचानने या स्कोर डिस्ट्रीब्यूशन को क्लस्टर करने, पर निर्भर रहे हैं। ViSAR इसके बजाय लेट-इंटरैक्शन रिप्रेजेंटेशन में एन्कोडेड सेमैंटिक स्ट्रक्चर का उपयोग करता है।
ViSAR कैसे काम करता है: सेमैंटिक एक्टिवेशन को डिकोड करना
ViSAR अंतर्निहित एन्कोडर वेट्स (encoder weights) को नहीं बदलता है। इसके बजाय, यह मल्टी-वेक्टर इंटरैक्शन्स को बनाए रखता है, जिन्हें स्टैंडर्ड लेट इंटरैक्शन (late interaction) आमतौर पर एक स्केलर स्कोर में ढाल देता है।
इस आर्किटेक्चर को चार क्रमिक चरणों में विभाजित किया गया है: क्वेरी-टू-पेज वेट्स की गणना करना, पैच-लेवल महत्व (patch-level importance) प्राप्त करना, एक क्वेरी-कंडीशनड पेज सिमिलैरिटी मैट्रिक्स का निर्माण करना, और एक एडाप्टिव पार्टिशन कॉस्ट फंक्शन को न्यूनतम करना।
Query & Page Embeddings
│
▼
[1. Query-to-Page] ──► Weights query semantics and page co-activations
│
▼
[2. Page-to-Query] ──► Reverses MaxSim and derives patch-level weights
│
▼
[3. Page-to-Page] ──► Matches weighted visual patches across pages (N x N matrix)
│
▼
[4. Adaptive-k] ──► Evaluates coherence and leakage to pick optimal k*
1. क्वेरी-टू-पेज इंटरैक्शन वेटिंग
स्टैंडर्ड लेट इंटरैक्शन तुरंत क्वेरी वेक्टर $q_i$ और पेज $p$ के बीच की इंटरैक्शन को एक योग (sum) में ढाल देता है। ViSAR पूर्ण एक्टिवेशन मैट्रिक्स को बनाए रखता है:
$$A_{p,i} = \max_{j} \langle q_i, v_j^p \rangle$$
यह मान दर्शाता है कि क्वेरी सेमैंटिक्स $i$ पेज $p$ पर कहीं भी कितनी मजबूती से प्रकट होता है। ViSAR इस एक्टिवेशन को डॉक्यूमेंट पेजों के माध्यम से इसके माध्य ($\hat{A}_{p,i}$) द्वारा सामान्यीकृत (normalize) करता है और इसे इसके सामान्यीकृत इंटर-पेज मानक विचलन (standard deviation) से स्केल करता है:
$$\tilde{A}{p,i} = \hat{A}{p,i} \cdot \hat{\sigma}_i$$
पेजों में समान एक्टिवेशन वाले क्वेरी एम्बेडिंग को कम वेट दिया जाता है, जबकि मजबूत, स्थानिक रूप से स्थानीयकृत (spatially localized) एक्टिवेशन वाले को अधिक जोर दिया जाता है।
इन मॉड्युलेटेड एक्टिवेशन से, ViSAR दो वेट्स की गणना करता है:
- क्वेरी एम्बेडिंग वेट ($w_i$): इसे $w_i = \log(N / (1 + a_i))$ के रूप में परिभाषित किया गया है, जहाँ $a_i = \sum_p \tilde{A}_{p,i}$ है। यह व्यापक सेमैंटिक कंटेंट को दंडित करता है और विरल (sparse) एक्टिवेशन पर जोर देता है।
- पेज वेट ($w_p$): यह सेमैंटिक सह-एक्टिवेशन (co-activation) को मापता है। उन पेजों को अधिक महत्व दिया जाता है जहाँ डिस्क्रिमिनेटिव क्वेरी सेमैंटिक्स एक साथ सक्रिय होते हैं।
2. पेज-टू-क्वेरी इंटरैक्शन वेटिंग
अगला, ViSAR खोज की दिशा को उलट देता है। केवल यह पूछने के बजाय कि एक पेज क्वेरी के साथ कितना अच्छा मेल खाता है, यह मूल्यांकन करता है कि पेज पर प्रत्येक विजुअल पैच क्वेरी के लिए कितना प्रासंगिक है।
प्रत्येक विजुअल पैच $v_j^p$ के लिए, ViSAR क्वेरी वेक्टरों के माध्यम से अधिकतम एलाइनमेंट लेकर और पहले चरण में गणना किए गए टोकन और पेज वेट्स द्वारा मॉड्युलेट करके इसकी प्रासंगिकता स्कोर $r_j^p$ की गणना करता है:
$$r_j^p = \max_i \left[ \langle v_j^p, q_i \rangle \cdot \tilde{A}_{p,i} \cdot \hat{w}_i \cdot \hat{w}_p \right]^2$$
यह प्रासंगिकता को सेंटर और थ्रेशोल्ड करता है:
$$w_j^p = \max(0, r_j^p - \text{mean}_{p,j}(r_j^p))$$
यह थ्रेशोल्डिंग शून्य वेट वाले निष्क्रिय पैच उत्पन्न करती है। कुछ पेज पूरी तरह से निष्क्रिय हो सकते हैं, और उन पेजों को पेज-टू-पेज सिमिलैरिटी गणना में योगदान देने की आवश्यकता नहीं होती है।
3. पेज-टू-पेज इंटरैक्शन मैट्रिक्स
वेटेड पैच हासिल करने के बाद, ViSार क्रॉस-पेज संबंधों को मापता है। एक स्रोत पेज $P^p$ और टारगेट पेज $P^{p'}$ के लिए, यह गणना करता है कि पेज $p$ पर वेटेड पैच पेज $p'$ पर वेटेड पैच के साथ कितना अच्छा मेल खाते हैं:
$$S_j^{p \to p'} = \hat{w}j^p \cdot \max{j'} \left[ \langle v_j^p, v_{j'}^{p'} \rangle \cdot \hat{w}_{j'}^{p'} \right]$$
ViSAR शीर्ष $T=50$ पैच इंटरैक्शन्स का औसत लेता है और वर्गमूल लेता है, जिससे एक दिशात्मक सिमिलैरिटी स्कोर प्राप्त होता है:
$$\text{Sim}(p, p') = \sqrt{\frac{1}{T} \sum_{j \in \mathcal{T}} S_j^{p \to p'}}$$
चूंकि स्रोत पैच टारगेट पेज में स्वतंत्र रूप से अपने सर्वोत्तम समकक्षों की तलाश करते हैं, इसलिए यह सिमिलैरिटी दिशात्मक है: $\text{Sim}(p, p') \neq \text{Sim}(p', p)$। इन पेयरवाइज स्कोर्स को एकत्र करने से उपयोगकर्ता क्वेरी पर कंडीशनड एक $N \times N$ पेज-लेवल सिमिलैरिटी मैट्रिक्स बनता है।
4. कोहेरेंस और लीकेज के माध्यम से एडाप्टिव-k
रिट्रीवल को कहाँ रोकना है, यह तय करने के लिए, ViSAR पेजों को उनकी सेल्फ-सिमिलैरिटी स्कोर $s_p = \text{Sim}(p, p)$ का उपयोग करके रैंक करता है।
प्रत्येक उम्मीदवार कटऑफ $k$ के लिए, डॉक्यूमेंट को दो समूहों में विभाजित किया जाता है: शीर्ष-$k$ पेजों वाले उम्मीदवार प्रासंगिक सेट $R_k$, और शेष पेजों वाले अप्रासंगिक सेट $I_k$।
प्रत्येक पेज $p \in R_k$ के लिए, ViSAR दो विपरीत बलों का मूल्यांकन करता है:
- आंतरिक कोहेरेंस ($c_k^p$): पेज $p$ और रिट्रीव्ड उम्मीदवार सेट $R_k$ में पेजों के बीच औसत सिमिलैरिटी।
- बाहरी लीकेज ($l_k^p$): पेज $p$ और $I_k$ में त्यागे गए पेजों के बीच औसत सिमिलैर
डेटा क्या दिखाता है: पतले सेट और तेज़ इनफेरेंस
लेखकों ने 48 GB मेमोरी वाले NVIDIA A6000 GPU पर दो मल्टी-पेज बेचमार्क: MMLongBench और LongDocURL पर ViSAR का मूल्यांकन किया। दोनों डेटासेट पेज रैंकिंग का मूल्यांकन करने के लिए उत्तर-सबूत पृष्ठ प्रदान करते हैं, साथ ही पाठ्य और दृश्य तर्क की आवश्यकता वाले दस्तावेज़ प्रश्न-उत्तर परिदृश्यों को भी शामिल करते हैं।
उन्होंने Tesseract OCR (ColBERTv2) का उपयोग करने वाले एक पाठ रीट्रीवर और एक सिंगल-वेक्टर दृश्य रीट्रीवर (VisRAG-Ret) के साथ-साथ तीन दृश्य लेट-इंटरेक्शन एन्कोडर—ColQwen2.5, ColPali, और ColModernVBERT—का परीक्षण किया। उत्तर जनरेशन के लिए Qwen2.5-VL-7B-Instruct का उपयोग किया गया, जबकि Qwen2.5-14B-Instruct को फ्यू-शॉट संरचित आउटपुट का उपयोग करते हुए LLM-as-a-judge एवैल्यूएटर के रूप में काम किया।
दोनों बेचमार्कों में, ग्राउंड-ट्रूथ सबूत औसतन 1.9 पेजों की आवश्यकता करते हैं: MMLongBench पर मध्यिका एक पेज है और LongDocURL पर दो पेज हैं।
1. रीट्रीवल दक्षता और संदर्भ संपीड़न
टेबल 1 दिखाता है कि ऑरैकल (Oracle) के सापेक्ष एडाप्टिव रीट्रीवल विधियाँ कैसे व्यवहार करती हैं, जिसे मानक लेट-इंटरेक्शन रैंकिंग में सबसे छोटा टॉप-$k$ विंडो के रूप में परिभाषित किया गया है जिसमें हर सबूत पेज शामिल होता है:
| एन्कोडर | विधि | MMLongBench Mean $k^\star$ | MMLongBench Median | LongDocURL Mean $k^\star$ | LongDocURL Median |
|---|---|---|---|---|---|
| ColQwen2.5 | Oracle (Late-Int.) | 8.3 | 2 | 10.7 | 3 |
| Score-Cluster | 18.6 | 8 | 36.6 | 20 | |
| Largest-Gap | 15.4 | 2 | 28.7 | 3 | |
| ViSAR (हमारा) | 4.7 | 3 | 7.9 | 5 | |
| ColPali | Oracle (Late-Int.) | 8.8 | 2 | 12.4 | 3 |
| Score-Cluster | 18.7 | 8 | 35.8 | 18 | |
| Largest-Gap | 16.2 | 3 | 24.7 | 2 | |
| ViSAR (हमारा) | 5.3 | 3 | 8.1 | 6 | |
| ColModernVBERT | Oracle (Late-Int.) | 10.5 | 2 | 13.0 | 3 |
| Score-Cluster | 23.0 | 12 | 47.4 | 44 | |
| Largest-Gap | 20.0 | 4 | 39.3 | 4 | |
| ViSAR (हमारा) | 7.5 | 4 | 13.5 | 11 |
ऑरैकल यह दर्शाता है कि सभी सबूत पेजों को रीट्रीव करने के लिए सबूत पेजों की संख्या से कहीं अधिक बड़े विंडो की आवश्यकता हो सकती है। क्योंकि अंतर्निहित लेट-इंटरेक्शन रैंकिंग सबूत पेजों से पहले प्रासंगिक नहीं पेजों को आगे रख सकती है, इसलिए सभी सबूतों को शामिल करने के लिए रीट्रीवल विंडो को बढ़ाना पड़ सकता है।
Score-Cluster और Largest-Gap आमतौर पर ViSAR की तुलना में अधिक पेज रीट्रीव करते हैं। ColQwen2.5 के साथ MMLongBench पर, ViSAR औसतन 4.7 पेज रीट्रीव करता है। इसकी रिकॉल Largest-Gap (75.16% बनाम 81.12%) से कम है लेकिन प्रिसिजन (50.37% बनाम 45.13%) अधिक है, जो एक अधिक कॉम्पैक्ट रीट्रीव्ड सेट को प्राथमिकता देता है।
2. डाउनस्ट्रीम प्रश्न-उत्तर सटीकता
रिपोर्ट किए गए परिणाम दिखाते हैं कि एडाप्टिव रीट्रीवल इनपुट बजट को अधिकतम पांच या दस पेजों तक सीमित रखते हुए उत्तर सटीकता में सुधार कर सकता है।
| रीट्रीवल विधि | MMLongBench Max-5 | MMLongBench Max-10 | LongDocURL Max-5 | LongDocURL Max-10 |
|---|---|---|---|---|
| फिक्स्ड टॉप-$k$ बेसलाइन्स | ||||
| ColBERTv2 (OCR + Text) | 24.51% | 24.70% | 47.18% | 47.70% |
| M3DocRAG (ColPali) | 34.86% | 35.08% | 59.31% | 58.71% |
| VisRAG-Ret (Single-Vector) | 34.48% | 35.69% | 57.29% | 58.02% |
| ColQwen2.5 (Fixed Top-$k$) | 35.04% | 35.69% | 59.79% | 59.27% |
| एडाप्टिव रीट्रीवल (ColQwen2.5) | ||||
| Largest-Gap | 35.79% | 35.88% | 61.01% | 60.89% |
| Score-Cluster | 36.25% | 35.97% | 60.00% | 59.83% |
| ViSAR (हमारा) | 36.53% | 36.63% | 61.06% | 60.97% |
तीन एन्कोडर, पांच LVLMs, दो पेज बजट, और दो डेटासेट के संयोजन वाले 60 कॉन्फ़िगरेशन में, ViSAR ने 24 मामलों में सटीकता में सुधार किया और शेष 36 मामलों में सटीकता बनाए रखी। पेपर में कोई सांख्यिकीय रूप से महत्वपूर्ण गिरावट नहीं रिपोर्ट की गई है। ColQwen2.5 और ColPali के साथ, परिणाम आमतौर पर ऊपर की ओर प्रवृत्त होते हैं, और McNemar’s टेस्ट के अनुसार LongDocURL पर सांख्यिकीय रूप से महत्वपूर्ण सुधार ($p < 0.05$) देखे गए।
सबसे बड़े सुधार उन LVLMs के साथ दिखाई दिए जिन्हें लेखक लंबे संदर्भों के प्रति अधिक संवेदनशील बताते हैं, जो इस तथ्य के अनुरूप है कि ViSAR रीट्रीव्ड पेजों और अप्रासंगिक पेजों दोनों को कम करता है।
3. लेटेंसी लाभांश (Latency Dividend)
मूल्यांकित दृश्य दस्तावेज़ पाइपलाइन में व्यावहारिक बाधा LVLM जनरेशन टाइम है। फिक्स्ड टॉप-$k$ रीट्रीवल हमेशा LVLM इनपुट बजट को भर देता है, जबकि ViS
मैट्रिक्स ज्यामिति: जब विरलता (Sparsity) सही उत्तरों का संकेत देती है
इस पेपर के सबसे आकर्षक अवलोकनों में से एक क्वेरी-शर्तित पेज समानता मैट्रिक्स $\text{Sim}(p, p')$ की संरचना में निहित है।
लेखकों ने दो विपरीत मामलों को उजागर किया है:
- विरल मैट्रिक्स (Sparse matrices): जब क्वेरी-संबंधित अर्थशास्त्र स्थानीयकृत होते हैं, तो अपेक्षाकृत कम पेज संबंधित सामग्री साझा करते हैं। मैट्रिक्स विरल होता है और लागत फलन $J(k)$ का न्यूनतम मान अधिक तीक्ष्ण होता है, जिससे एक अधिक विश्वसनीय रीट्रिवल सीमा का समर्थन होता है।
- घन मैट्रिक्स (Dense matrices): जब क्वेरी-संबंधित अर्थशास्त्र अधिक पेजों में वितरित होते हैं, तो मैट्रिक्स अधिक घना हो जाता है। $J(k)$ में संबंधित न्यूनतम मान कम गहरा होता है, जिससे रोकने का निर्णय कम विश्वसनीय हो जाता है।
MMLongBench पर परीक्षण किए गए एन्कोडर्स में, और LongDocURL के लिए रिपोर्ट की गई समान प्रवृत्ति के साथ, उच्च समानता-मैट्रिक्स विरलता उच्च उत्तर सटीकता से सहसंबंधित है।
यह एक पूर्ण आत्मविश्वास प्रणाली के बजाय एक उपयोगी शोध दिशा है। लेखक सुझाव देते हैं कि मैट्रिक्स संरचना भविष्य की रीट्रिवल रणनीतियों के लिए एक लेबल-मुक्त प्रतिक्रिया संकेत बन सकती है, जिसमें पुनरावृत्ति क्वेरी परिष्करण या साक्ष्य चयन शामिल है, बिना किसी अतिरिक्त मॉडल या प्रशिक्षण की आवश्यकता के।
इंजीनियरिंग सावधानियाँ: ट्रेनिंग-फ्री प्रुनिंग की सीमाएँ
ViSAR एक एल्गोरिदमिक योगदान है जिसमें कई व्यावहारिक बाधाएँ हैं जिनका ध्यान रखना महत्वपूर्ण है:
- पृष्ठ-से-पृष्ठ गणना दस्तावेज़ के आकार के साथ बढ़ती है: ViSAR एक पृष्ठ-स्तर की समानता मैट्रिक्स (page-level similarity matrix) बनाता है और पृष्ठ-से-पृष्ठ इंटरैक्शन को ब्लॉक-वाइज़ (block-wise) के रूप में मूल्यांकन करता है, घने टेंसर (dense tensor) के रूप में नहीं। इसकी निष्क्रिय-पृष्ठ अनुकूलन (inactive-page optimization) अनावश्यक गणना से बचाती है, लेकिन पेपर रिपोर्ट करता है कि जैसे-जैसे दस्तावेज़ बड़े होते जाते हैं, रीट्रीवल ओवरहेड बढ़ता जाता है। यह ओवरहेड इसकी 468-पृष्ठ वाली MMLongBench उदाहरण में सबसे अधिक स्पष्ट होता है।
- एन्कोडर की गुणवत्ता एक सीमा निर्धारित करती है: ViSAR एन्कोडर द्वारा पहले से सीखी गई सेमैंटिक संरचना पर निर्भर करता है। ColQwen2.5 और ColPali ने ColModernVBERT की तुलना में मजबूत परिणाम दिखाए। पेपर ColModernVBERT की अधिक मध्यम वृद्धि का एक कारण इसके छोटे आकार—250M पैरामीटर बनाम 3B—और सेमैंटिक्स को कॉम्पैक्ट रीट्रीवल सेट्स में अलग करने में होने वाली कठिनाई को मानता है।
- एन्कोडिंग अस्थिरता देखी गई: 7.31% LongDocURL क्वेरीज़ के लिए एन्कोडिंग के दौरान ColModernVBERT में संख्यात्मक अस्थिरता (numerical instability) देखी गई। लेखकों ने रिपोर्ट किया कि यह समस्या ViSAR से स्वतंत्र रूप से हुई, और उन सैंपल्स को मूल्यांकन से बाहर कर दिया गया।
- ViSAR कॉम्पैक्ट रीट्रीवल को प्राथमिकता देता है: जैसे-जैसे Oracle कटऑफ बढ़ता है, ViSAR औसतन कम पृष्ठ रीट्रीव करता है, जिससे अप्रासंगिक संदर्भ सीमित होते हैं, लेकिन कुछ सेटिंग्स में रिकॉल (recall) के बदले में प्रिसिजन (precision) का समायोजन भी होता है। Largest-Gap LongDocURL पर सर्वोत्तम एग्रीगेट F1 स्कोर प्राप्त करता है, जबकि ViSAR $k_{\text{Oracle}}$ के विभिन्न मानों के लिए अधिक स्थिर अनुकूली व्यवहार प्रदान करता है।
डॉक्यूमेंट पाइपलाइन्स के लिए इसका महत्व क्यों है
डॉक्यूमेंट क्वेश्चन आंसरिंग (Document Question Answering) पर काम करने वाली टीमों के लिए, ViSAR रिकवरी की गहराई (retrieval depth) को एक स्थायी स्थिरांक (permanent constant) मानने का एक विकल्प प्रदान करता है।
इसका मुख्य निष्कर्ष यह है कि मल्टी-वेक्टर विजुअल रिकवर्स (multi-vector visual retrievers) में एक अंतिम स्केलर लेट-इंटरेक्शन स्कोर (final scalar late-interaction score) द्वारा उजागर की गई जानकारी से अधिक जानकारी होती है। ViSAR क्वेरी-टू-पेज एक्टिवेशन (query-to-page activations), पैच-लेवल वेट्स (patch-level weights), और पेज-टू-पेज सेमैंटिक स्ट्रक्चर (page-to-page semantic structure) का उपयोग करके क्वेरी के अनुसार अनुकूलित रिकवरी सेट का चयन करता है।
गर्ब में रिपोर्ट किए गए परिणाम तीन ठोस निहितार्थों की ओर इशारा करते हैं:
- ज्यादा कॉम्पैक्ट पेज सेट: रिपोर्ट की गई तुलनाओं में, ViSAR औसतन Oracle, Largest-Gap, और Score-Cluster विधियों की तुलना में कम पेज रिकवर करता है।
- कम एंड-टू-एंड लेटेंसी: Max-10 बजट पर, यह MMLongBench पर एंड-टू-एंड RAG लेटेंसी को 58.7% तक और LongDocURL पर 38.5% तक कम करता है।
- भविष्य की रिकवरी-क्वालिटी रिसर्च के लिए एक सिग्नल: सिमिलैरिटी मैट्रिक्स स्पार्सिटी (similarity-matrix sparsity) और उत्तर की सटीकता के बीच संबंध भविष्य की रिकवरी और एविडेंस-सेलेक्शन विधियों के लिए एक संभावित फीडबैक सिग्नल का सुझाव देता है।
यदि एक विजुअल डॉक्यूमेंट स्टैक पहले से ही ColPali या ColQwen2.5 जैसे लेट-इंटरेक्शन एन्कोडर का उपयोग कर रहा है, तो ViSAR एडाप्टिव-$k$ रिकवरी की जांच करने का एक ट्रेनिंग-फ्री (training-free) तरीका प्रदान करता है। इसके परिणाम सुझाव देते हैं कि एम्बेडिंग ज्यामिति (embedding geometry) यह तय करने में मदद कर सकती है कि डॉक्यूमेंट पाइपलाइन ने कब पर्याप्त पेज रिकवर कर लिए हैं—इस धारणा के बिना कि हर क्वेरी को समान फिक्स्ड कॉन्टेक्स्ट विंडो (fixed context window) की आवश्यकता होती है। मजबूत अंग्रेजी OCR का मतलब यह नहीं है कि देवनागरी OCR भी उतना ही कुशल होगा; इसलिए ऐसे पाइपलाइन्स में भाषा-विशिष्ट मेट्रिक्स पर ध्यान देना आवश्यक है।