छोटे मॉडल्स, संरचित डेटा: क्या जटिल दस्तावेज़ निष्कर्षण के लिए हल्के VLMs क्लाउड APIs का स्थान ले सकते हैं?
आधारित शोध-पत्र: From Pixels to Structure: Lightweight Vision-Language Models for Document OCR and Structured JSON Extraction — Uddipan Basu Bir, Vincent Christlein, Andreas Maier, Mathias Zinnen
किसी मल्टीमॉडल मॉडल को एक साफ-सुथरा डिजिटल इनवॉइस सौंपें, तो की-वैल्यू पेयर्स (key-value pairs) निकालना सीधा और सरल लग सकता है। लेकिन उसी मॉडल को कर्सिव लिपि (cursive script) में लिखा कोई ऐतिहासिक जर्मन पुरातात्विक रजिस्टर, या प्रिंटेड लेबल्स, हस्तलिखित प्रविष्टियों और तकनीकी चेकबॉक्सों के मिश्रण वाला कोई आर्किटेक्चरल सर्वे देकर देखें। शब्दों को केवल पढ़ पाना काम का एक हिस्सा भर है।
पारंपरिक दृष्टिकोण कई चरणों को मिलाते हैं: इमेज बाइनराइजेशन, लेआउट सेगमेंटेशन, Tesseract जैसे बाहरी ऑप्टिकल कैरेक्टर रिकॉग्निशन (OCR) इंजन, और आगे के चरणों के लिए LayoutLM जैसे की इंफॉर्मेशन एक्सट्रैक्शन (KIE) मॉडल्स। बड़े कमर्शियल विज़न-लैंग्वेज मॉडल्स (VLMs) एक दूसरा विकल्प पेश करते हैं, लेकिन उनकी अपनी डिप्लॉयमेंट सीमाएं (deployment constraints) होती हैं।
GLAM सेक्टर (गैलरी, पुस्तकालय, अभिलेखागार और संग्रहालय) के संस्थानों के लिए, क्लाउड APIs बड़ी बाधाएं खड़ी कर सकते हैं। कमर्शियल प्रोवाइडर्स को आर्काइवल रिकॉर्ड्स भेजने से डेटा ऑटोनॉमी (data autonomy) को लेकर चिंताएं पैदा होती हैं, बार-बार होने वाले खर्च जुड़ते हैं, और बड़े पैमाने पर कंप्यूटेशन के पर्यावरणीय प्रभाव (environmental footprint) पर सवाल उठते हैं। ये चिंताएं स्थानीय (लोकल) विकल्पों को अपनाने के लिए प्रेरित करती हैं; ये इस अध्ययन से प्राप्त लागत या ऊर्जा के माप नहीं हैं।
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) की एक रिसर्च टीम ने अपने शोधपत्र, From Pixels to Structure: Lightweight Vision-Language Models for Document OCR and Structured JSON Extraction (Uddipan Basu Bir, Vincent Christlein, Andreas Maier, and Mathias Zinnen, October 8, 2026, arXiv:2610.11818) में इस अड़चन को संबोधित किया। लेखकों ने एक सीधा इंजीनियरिंग सवाल पूछा: क्या 7 बिलियन या उससे कम पैरामीटर्स वाले हल्के VLMs ऐतिहासिक दस्तावेज़ों को ट्रांसक्राइब कर सकते हैं और संस्थान-नियंत्रित प्रोसेसिंग के अनुकूल स्कीमा-गाइडेड JSON तैयार कर सकते हैं?
शोधकर्ताओं ने तीन विशिष्ट जर्मन अभिलेखीय संग्रहों (archival collections) में आठ मॉडलों का मूल्यांकन किया। इस प्रक्रिया में, उन्होंने ऐसे व्यावहारिक निष्कर्ष खोजे जो दस्तावेज़-प्रोसेसिंग से जुड़ी पारंपरिक सलाह को जटिल बनाते हैं—विशेष रूप से प्रॉम्प्ट डिमॉन्स्ट्रेशन, क्लासिकल इमेज फिल्टर्स, और कई कलेक्शन्स में एक ही चेकपॉइंट को प्रशिक्षित करने के मामले में।
Three Collections, Three Nightmares: Cursive, Catalog Cards, and Nested Stairs
संरचित दस्तावेज़ निष्कर्षण (structured document extraction) का मूल्यांकन करने के लिए मॉडलों को वास्तविक अभिलेखीय चुनौतियों के सामने परखने की आवश्यकता होती है। लेखकों ने लगभग 70% ट्रेनिंग, 15% वैलिडेशन और 15% टेस्ट स्प्लिट्स का उपयोग करते हुए तीन अलग-अलग कलेक्शन्स में 1,062 दस्तावेज़ों का एक बेंचमार्क तैयार किया:
+------------------------+-------+-------+-----+------+-------------------+--------------------------------+
| Dataset | Total | Train | Val | Test | Text Type | Schema Complexity |
+------------------------+-------+-------+-----+------+-------------------+--------------------------------+
| Erlangen-Prehistoric | 308 | 216 | 46 | 46 | Handwritten | Medium (8 top-level fields) |
| Pforzheim Jewelry | 590 | 413 | 88 | 89 | Mostly printed | Medium (17 flat fields) |
| Regensburg Scalalogy | 164 | 114 | 25 | 25 | Mixed (print/pen) | High (deeply nested, booleans) |
| Total | 1,062 | 743 | 159 | 160 | — | — |
+------------------------+-------+-------+-----+------+-------------------+--------------------------------+
प्रत्येक संग्रह एक अलग संरचनात्मक बाधा का प्रतिनिधित्व करता है:
- Erlangen-Prehistoric Dataset: FAU के Inventarbuch der Anthropologisch Prähistorischen Sammlung से प्राप्त, इन 308 पृष्ठों में प्रिंटेड हेडर या लेबल्स के साथ ऐतिहासिक लिखावट शामिल है। चित्रित लक्षित JSON स्कीमा में आठ टॉप-लेवल फ़ील्ड्स हैं, जिनमें एक इमेज पहचानकर्ता और
L,B, औरDमें नेस्टेड आर्टिफ़ैक्ट आयाम (Maße) शामिल हैं। अन्य फ़ील्ड्स में खोज का स्थान (Fundort), खोज की तारीख (Fundzeit), और विवरणात्मक नोट्स (Beschreibungstext) शामिल हैं। ग्राउंड-ट्रुथ ट्रांसक्रिप्शन Gemini का उपयोग करके तैयार किए गए थे और Zenodo पर प्रकाशन से पहले मैन्युअल रूप से सत्यापित किए गए थे। - Pforzheim Jewelry Dataset: HS Pforzheim के KUPFER शोध प्रोजेक्ट से प्राप्त, इस संग्रह में 1879 और 1970 के बीच अधिग्रहित आभूषणों का वर्णन करने वाले 590 ऐतिहासिक इन्वेंट्री कार्ड शामिल हैं। 1980 के आसपास जब वस्तुएं स्थायी ऋण (permanent loan) पर Pforzheim Jewellery Museum में स्थानांतरित हुईं, तब ये कार्ड ऐतिहासिक किताबों से बनाए गए थे। दस्तावेज़ अधिकांशतः प्रिंटेड हैं लेकिन सामग्री, वजन, खरीद मूल्य और बीमा मूल्य (
Vers.-Wert) को कवर करने वाले घने 17-फ़ील्ड स्कीमा में निष्कर्षण की मांग करते हैं। - Regensburg Scalalogy Dataset: यह संरचनात्मक स्ट्रेस टेस्ट था। OTH Regensburg के Friedrich Mielke Institute for Scalalogy (FMIS) से प्राप्त, ये 164 सर्वेक्षण प्रपत्र (survey forms) विशेष शब्दावली का उपयोग करके सीढ़ी की वास्तुकला (staircase architecture) का दस्तावेजीकरण करते हैं। लक्षित JSON स्कीमा काफी गहराई से नेस्टेड है, जिसमें संरचनात्मक विशेषताओं के लिए बूलियन फ़्लैग शामिल हैं, जिनमें आंतरिक और बाहरी हाउसिंग श्रेणियां (
GEHÄUSE), घूमने की दिशा (LAUF), और रेलिंग की स्थिति (HANDLAUF) के साथ-साथ पूर्णांक माप और सीढ़ियों की संख्या (STUFEN) शामिल हैं।
यदि कोई अभिलेखीय फ़ील्ड अस्पष्ट या अनुपस्थित थी, तो कार्य के अनुसार टेक्स्ट फ़ील्ड को खाली स्ट्रिंग्स ("") और बूलियन फ़ील्ड को false होना आवश्यक था। प्रत्येक संग्रह का एक निश्चित लक्षित स्कीमा था, इसलिए सफलता के लिए निकाले गए कंटेंट को पहचानने के साथ-साथ उसे उपयुक्त फ़ील्ड्स में सही ढंग से रखना भी आवश्यक था।
The 8-Model Showdown and the Prompting Divide
लेखकों ने आठ मॉडलों का मूल्यांकन किया, जिन्हें पेपर में ओपन-सोर्स VLMs के रूप में वर्णित किया गया है, जो 200M से 7B पैरामीटर्स तक के हैं:
- Donut-Base (200M) और Donut-CORD (200M): OCR-मुक्त (OCR-free) एन्कोडर-डिकोडर मॉडल्स।
- Florence-2-Large (0.77B): एक एकीकृत विज़न-लैंग्वेज मॉडल (unified vision-language model)।
- PaddleOCR-VL (0.9B): एक OCR-विशिष्ट विज़न-लैंग्वेज मॉडल।
- Nanonets-OCR-s (4B): एक OCR-विशिष्ट VLM।
- Gemma-3-4B (4B): एक इंस्ट्रक्शन-ट्यून किया गया VLM।
- Phi-3.5-Vision (4.2B): एक इंस्ट्रक्शन-ट्यून किया गया VLM।
- Qwen2.5-VL-7B (7B): एक इंस्ट्रक्शन-ट्यून किया गया VLM।
इस अध्ययन का एक महत्वपूर्ण योगदान इसका कंस्ट्रेंट-अवेयर मूल्यांकन प्रोटोकॉल (constraint-aware evaluation protocol) है। विभिन्न प्रकार के VLMs की बेंचमार्किंग पेचीदा होती है क्योंकि उनके समर्थित इंटरफेस अलग-अलग होते हैं।
अध्ययन के प्रोटोकॉल के तहत, Donut, Florence-2-Large, और PaddleOCR-VL ने निश्चित OCR-शैली के प्रॉम्प्ट्स या कार्य-विशिष्ट टोकन का उपयोग किया, जैसे कि <OCR> या <s_cord-v2>। उन्हें मनमाने संवादात्मक निर्देश (conversational instructions) या फ़्यू-शॉट डिमॉन्स्ट्रेशन नहीं दिए गए थे। लेखकों ने JSON पार्सिंग का प्रयास करने से पहले न्यूनतम पोस्ट-प्रोसेसिंग लागू की—रैपर्स, चैट प्रिफिक्स, व्हाइटस्पेस और कोड फेंसेस को हटाना।
इसके विपरीत, Gemma-3-4B, Phi-3.5-Vision, Qwen2.5-VL-7B, और Nanonets-OCR-s का मूल्यांकन कस्टम प्राकृतिक भाषा प्रॉम्प्ट्स (natural-language prompts) के साथ किया गया था। ज़ीरो-शॉट मूल्यांकन में, उन प्रॉम्प्ट्स में लक्षित JSON स्केलेटन शामिल था और उस स्कीमा का पालन करते हुए आउटपुट का अनुरोध किया गया था।
परिणामों की व्याख्या करते समय यह अंतर मायने रखता है: बेंचमार्क प्रत्येक मॉडल को एक समान स्कीमा-युक्त प्रॉम्प्ट देने के बजाय, अध्ययन में उपयोग किए गए इंटरफेस के माध्यम से OCR-से-JSON प्रदर्शन को मापता है।
Why Standard OCR Metrics Can Miss Structured JSON Failures
संरचित दस्तावेज़ AI का मूल्यांकन करने के लिए आउटपुट की सटीकता (fidelity) और संरचनात्मक विश्वसनीयता (structural reliability) दोनों को मापने की आवश्यकता होती है। यदि मॉडल मैलफॉर्म्ड (विकृत) JSON लौटाता है या गलत फ़ील्ड्स में मान निर्दिष्ट करता है, तो पहचाने जाने योग्य टेक्स्ट भी सीधे इनजेशन (ingestion) के लिए अनुपयोगी हो सकता है।
लेखकों ने तीन पूरक मेट्रिक्स को ट्रैक किया:
- Character Error Rate (CER): कैनोनिकल ग्राउंड-ट्रुथ JSON स्ट्रिंग के सापेक्ष कैरेक्टर-स्तरीय संपादन त्रुटियों (edit errors) को मापता है, जिसे संदर्भ लंबाई द्वारा सामान्यीकृत (normalized) किया जाता है; यह जितना कम हो उतना बेहतर है। तुलना से पहले पार्स की गई भविष्यवाणियों को उसी कैनोनिकल प्रारूप में सीरियलाइज़ किया जाता है। यदि पार्सिंग विफल हो जाती है, तो कच्चे (raw) आउटपुट की तुलना कैनोनिकल संदर्भ से की जाती है। यह केवल ट्रांसक्रिप्शन सटीकता के बजाय संरचना सहित JSON टेक्स्ट की शुद्धता को मापता है।
- Approximate Normalized Levenshtein Similarity (ANLS*): $\tau = 0.5$ के थ्रेशोल्ड का उपयोग करने वाला एक संरचित समानता मीट्रिक, जिसमें उस थ्रेशोल्ड से नीचे की समानताओं को शून्य पर सेट किया जाता है। यदि आउटपुट JSON के रूप में पार्स हो जाता है, तो यह नेस्टेड ऑब्जेक्ट्स का मूल्यांकन करता है; यदि पार्सिंग विफल हो जाती है, तो यह कैनोनिकल ग्राउंड-ट्रुथ JSON स्ट्रिंग के विरुद्ध स्ट्रिंग-स्तरीय समानता पर वापस आ जाता है।
- Mean Average Precision F1 (mAP-F1): अध्ययन का संरचना-प्राथमिक (structure-first) मीट्रिक। ऑब्जेक्ट-डिटेक्शन मूल्यांकन प्रोटोकॉल और DAN के mAPCER से प्रेरित होकर, यह भविष्यवाणियों और ग्राउंड ट्रुथ को डॉट-नोटेटेड लीफ़ कीज़ (dot-notated leaf keys) में फ़्लैट करता है, जैसे कि
GEHÄUSE.innen.1। प्रति-फ़ील्ड ओवरलैप स्कोर ($1 - \text{CER}$) का मूल्यांकन चार थ्रेशोल्ड पर किया जाता है: $\theta \in {0.3, 0.5, 0.7, 0.8}$। प्रत्येक थ्रेशोल्ड पर F1 स्कोर की गणना करने के लिए फ़ील्ड्स में प्रिसिजन और रिकॉल का मैक्रो-औसत निकाला जाता है, और mAP-F1 चारों का माध्य (mean) है।
महत्वपूर्ण बात यह है कि, यदि आउटपुट json.loads के माध्यम से पायथन डिक्शनरी में पार्स नहीं होता है, तो mAP-F1 को 0.0% स्कोर दिया जाता है। CER और ANLS* अभी भी अपनी रॉ-टेक्स्ट तुलनाओं के माध्यम से आंशिक क्रेडिट दे सकते हैं।
लेखकों ने JSON वैधता (JSON validity) को अलग से भी ट्रैक किया। Gemma-3, Phi-3.5-Vision, और Qwen2.5-VL ने विभिन्न डेटासेट्स और सेटिंग्स में लगभग 95%–100% वैधता बनाए रखी, हालांकि मुख्य तालिकाओं में उन दरों को छोड़ दिया गया है। सफलतापूर्वक पार्स होने का अर्थ अपने आप में यह स्थापित नहीं करता कि प्रत्येक फ़ील्ड या मान सही है।
इस बीच, Donut, Florence-2, और PaddleOCR-VL की JSON वैधता काफी कम थी। ज़ीरो-शॉट मूल्यांकन में सभी ने 0.0% mAP-F1 स्कोर किया, भले ही CER या ANLS* ने दिखाया कि उनके आउटपुट ने कुछ संदर्भ सामग्री को बनाए रखा था।
Zero-Shot, Few-Shot, and the In-Context Prompting Trap
ज़ीरो-शॉट सेटिंग में, प्रॉम्प्ट-लचीले मॉडल्स ने संरचित-निष्कर्षण परिणामों में बढ़त बनाई। Qwen2.5-VL-7B ने तीनों डेटासेट्स पर उच्चतम ANLS* और mAP-F1 हासिल किया। Pforzheim Jewelry पर, यह 2.6% CER, 96.0% ANLS*, और 96.3% mAP-F1 तक पहुंचा, हालांकि Nanonets-OCR-s का CER 1.9% के साथ कम था। हस्तलिखित Erlangen-Prehistoric रिकॉर्ड्स पर, Qwen 21.4% CER और 56.2% mAP-F1 तक पहुंचा।
नीचे दी गई परिणाम तालिकाओं में सभी मीट्रिक मान प्रतिशत में हैं।
+------------------+--------------------------+--------------------------+--------------------------+
| | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| Zero-Shot Model | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+------------------+--------------------------+--------------------------+--------------------------+
| Donut-Base | 93.4 0.0 0.0 | 97.2 0.0 0.0 | 90.1 0.0 0.0 |
| Donut-CORD | 78.8 0.0 0.0 | 91.9 0.0 0.0 | 93.1 0.0 0.0 |
| Florence-2-Large | 45.6 50.4 0.0 | 33.6 66.4 0.0 | 75.6 0.0 0.0 |
| Nanonets-OCR-s | 25.7 49.4 28.5 | 1.9 86.5 86.5 | 39.3 22.8 15.2 |
| PaddleOCR-VL | 69.2 20.1 0.0 | 51.3 57.0 0.0 | 78.1 0.0 0.0 |
| Gemma-3-4B | 33.6 41.8 34.6 | 4.4 92.1 87.4 | 37.6 26.3 22.5 |
| Phi-3.5-Vision | 50.9 28.1 23.4 | 7.3 85.3 67.9 | 28.7 57.1 27.9 |
| Qwen2.5-VL-7B | 21.4 54.0 56.2 | 2.6 96.0 96.3 | 21.3 67.0 33.3 |
+------------------+--------------------------+--------------------------+--------------------------+
जब लेखकों ने फ़्यू-शॉट इन-कॉन्टेक्स्ट लर्निंग का परीक्षण किया, तो उन्होंने ट्रेनिंग सेट से लिए गए इमेज–JSON डिमॉन्स्ट्रेशन प्रदान किए: Pforzheim Jewelry के लिए एक और Erlangen-Prehistoric व Regensburg Scalalogy के लिए दो। केवल चार प्रॉम्प्ट-लचीले मॉडलों ने इसमें भाग लिया।
परिणाम एक उपयोगी चेतावनी थी: फ़्यू-शॉट प्रॉम्प्टिंग ने जटिल-दस्तावेज़ निष्कर्षण में लगातार सुधार नहीं किया।
+------------------+--------------------------+--------------------------+--------------------------+
| Few-Shot Model | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (1-2 Examples) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+------------------+--------------------------+--------------------------+--------------------------+
| Nanonets-OCR-s | 61.9 53.3 44.7 | 1.7 93.1 90.7 | 33.3 44.5 44.9 |
| Gemma-3-4B | 26.8 61.7 53.6 | 2.0 97.3 92.1 | 34.9 33.8 20.2 |
| Phi-3.5-Vision | 59.3 40.7 38.9 | 7.2 85.9 71.1 | 52.7 27.5 23.1 |
| Qwen2.5-VL-7B | 18.9 79.0 74.7 | 0.9 98.9 99.4 | 24.1 55.6 30.7 |
+------------------+--------------------------+--------------------------+--------------------------+
फ़्यू-शॉट प्रॉम्प्टिंग ने रिपोर्ट किए गए सभी मेट्रिक्स में Pforzheim Jewelry पर चारों मॉडलों की मदद की। Qwen2.5-VL का CER 2.6% से घटकर 0.9% हो गया, जबकि mAP-F1 बढ़कर 99.4% हो गया। बाकी जगहों पर स्थिति मिली-जुली रही:
- Erlangen-Prehistoric लिखावट पर Nanonets-OCR-s का CER 25.7% से बढ़कर 61.9% हो गया, भले ही इसके ANLS* और mAP-F1 में सुधार हुआ।
- Regensburg Scalalogy पर Gemma-3-4B का mAP-F1 22.5% से घटकर 20.2% हो गया, जबकि CER और ANLS* में सुधार हुआ था।
- Scalalogy पर Phi-3.5-Vision का CER 28.7% से बिगड़कर 52.7% हो गया, साथ ही अन्य दो मेट्रिक्स में भी गिरावट आई।
- Qwen और Gemma ने Erlangen-Prehistoric पर तीनों मेट्रिक्स में सुधार किया, जबकि Nanonets ने Scalalogy पर तीनों में सुधार किया।
डिमॉन्स्ट्रेशन ने कुछ सेटिंग्स में मदद क्यों की और दूसरों को नुकसान क्यों पहुंचाया? लेखकों का सुझाव है कि लंबे प्रॉम्प्ट निर्देशों की जटिलता को बढ़ा सकते हैं, लेकिन प्रयोग किसी विशिष्ट अटेंशन या विज़ुअल-एन्कोडिंग तंत्र को स्थापित नहीं करते हैं। इससे मिलने वाला पुष्ट निष्कर्ष सीमित है: उदाहरण (examples) परीक्षण करने के लिए एक अनुकूलन रणनीति (adaptation strategy) हैं, कोई गारंटीशुदा अपग्रेड नहीं।
Local Fine-Tuning: QLoRA on a 32GB GPU
लेखकों ने प्रत्येक मूल्यांकित मॉडल को फ़ाइन-ट्यून भी किया।
1B से कम पैरामीटर वाले मॉडलों के लिए, उन्होंने पूर्ण-पैरामीटर फ़ाइन-ट्यूनिंग (full-parameter fine-tuning) की। बड़े मॉडलों के लिए, उन्होंने बेस वेट्स को फ़्रोज़न रखते हुए अटेंशन और MLP लेयर्स में LoRA एडेप्टर्स के साथ 4-बिट क्वांटाइजेशन को जोड़ते हुए क्वांटाइज्ड लो-रैंक एडेप्टेशन (QLoRA) का उपयोग किया। मेथड्स सेक्शन इस QLoRA सेटअप के लिए 32GB VRAM वाले NVIDIA V100 को निर्दिष्ट करता है।
चेकपॉइंट चयन के लिए सबसे कम ऑटोरिग्रैसिव वैलिडेशन CER का उपयोग किया गया, और टेस्ट मूल्यांकन के लिए ऑटोरिग्रैसिव जेनरेशन का उपयोग किया गया। यह इमेज-टू-JSON जेनरेशन है, न कि एक ही फ़ॉरवर्ड पास में एक साथ पूरे दस्तावेज़ का आउटपुट तैयार करना।
+------------------+--------------------------+--------------------------+--------------------------+
| Fine-Tuning | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| Baseline Results | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+------------------+--------------------------+--------------------------+--------------------------+
| Donut-Base | 16.4 78.0 0.0 | 6.3 93.6 0.0 | 59.5 0.0 0.0 |
| Donut-CORD | 20.6 75.0 0.0 | 6.9 92.9 0.0 | 66.0 0.0 0.0 |
| Florence-2-Large | 10.7 75.5 45.4 | 11.1 89.9 0.0 | 57.4 4.3 0.0 |
| Nanonets-OCR-s | 23.0 82.5 81.2 | 0.5 96.7 87.2 | 20.2 79.9 50.7 |
| PaddleOCR-VL | 13.7 90.1 85.3 | 1.1 98.7 84.7 | 65.1 0.0 0.0 |
| Gemma-3-4B | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Phi-3.5-Vision | 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Qwen2.5-VL-7B | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
+------------------+--------------------------+--------------------------+--------------------------+
मजबूत संरचित-निष्कर्षण मॉडलों के लिए फ़ाइन-ट्यूनिंग ने ज़ीरो-शॉट मूल्यांकन की तुलना में काफी बढ़त प्रदान की:
- Qwen2.5-VL-7B हस्तलिखित Erlangen-Prehistoric रिकॉर्ड्स पर 5.8% CER और 90.0% mAP-F1 तक पहुंचा।
- Phi-3.5-Vision ने Regensburg Scalalogy पर बेसलाइन फ़ाइन-ट्यूनिंग परिणामों का नेतृत्व किया, जो ज़ीरो-शॉट मूल्यांकन में 27.9% mAP-F1 से बढ़कर 6.3% CER, 90.1% ANLS*, और 72.0% mAP-F1 तक पहुंच गया।
- Gemma-3-4B ज्वेलरी पर 99.4% mAP-F1 और प्रागैतिहासिक रिकॉर्ड्स पर 83.1% तक पहुंचा, हालांकि Scalalogy पर इसके 46.9% mAP-F1 ने दिखाया कि नेस्टेड निष्कर्षण अभी भी कठिन बना हुआ था।
फ़ाइन-ट्यूनिंग ने हर संरचनात्मक विफलता को हल नहीं किया। दोनों Donut वेरिएंट्स ने तीनों डेटासेट्स में अभी भी 0.0% mAP-F1 स्कोर किया। इसके विपरीत, PaddleOCR-VL Erlangen-Prehistoric पर 85.3% mAP-F1 तक पहुंच गया, जिससे यह साबित हुआ कि OCR-विशिष्ट मॉडल पूरी तरह से असफल नहीं थे।
ज़ीरो-शॉट, फ़्यू-शॉट और फ़ाइन-ट्यूनिंग सेटिंग्स में प्रदर्शन के साथ-साथ स्थिर JSON जेनरेशन के आधार पर, लेखकों ने तीन माध्यमिक अध्ययनों (secondary studies) के लिए Gemma-3-4B, Phi-3.5-Vision, और Qwen2.5-VL-7B को चुना।
Testing Document AI Folk Wisdom: Preprocessing and HPO Are Not Automatic Wins
लेखकों ने मानक फ़ाइन-ट्यूनिंग बेसलाइन के विरुद्ध हाइपरपैरामीटर ऑप्टिमाइज़ेशन, इमेज प्रीप्रोसेसिंग और मल्टी-स्टेज ट्रेनिंग का परीक्षण किया। प्रत्येक हस्तक्षेप का स्वतंत्र रूप से मूल्यांकन किया गया था, इसलिए ये परिणाम तीनों को मिलाकर बनाई गई किसी पाइपलाइन का वर्णन नहीं करते हैं।
Study 1: Hyperparameter Optimization (HPO)
ट्री-स्ट्रक्चर्ड पारज़ेन एस्टीमेटर (TPE) सैंपलर के साथ Optuna का उपयोग करते हुए, लेखकों ने वैलिडेशन CER को ऑप्टिमाइज़ करते हुए प्रत्येक 5 एपॉक्स के 20 ट्रायल्स चलाए। फिर उन्होंने चुने गए हाइपरपैरामीटर्स का उपयोग बेसलाइन फ़ाइन-ट्यूनिंग कोड के माध्यम से एक पूर्ण ट्रेनिंग रन में किया। पेपर सर्च स्पेस या चयनित पैरामीटर मानों को निर्दिष्ट नहीं करता है।
+-------------------------+--------------------------+--------------------------+--------------------------+
| Hyperparameter Tuning | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (Optuna vs Default) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (Default) | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Gemma-3-4B (HPO) | 9.3 88.8 65.4 | 0.4 99.2 99.5 | 3.4 92.3 77.9 |
| Phi-3.5-Vision (Default)| 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Phi-3.5-Vision (HPO) | 17.7 84.0 81.2 | 0.3 99.5 99.7 | 3.2 91.8 73.8 |
| Qwen2.5-VL-7B (Default) | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
| Qwen2.5-VL-7B (HPO) | 4.3 93.4 91.2 | 0.5 99.3 99.5 | 3.1 89.4 67.1 |
+-------------------------+--------------------------+--------------------------+--------------------------+
निष्कर्ष चौंकाने वाले थे:
- Regensburg Scalalogy पर, HPO ने तीनों मॉडलों के लिए तीनों मेट्रिक्स में सुधार किया। Gemma-3-4B का CER 14.6% से घटकर 3.4% हो गया, जबकि इसका mAP-F1 46.9% से बढ़कर 77.9% हो गया। Qwen2.5-VL का CER 7.6% से घटकर 3.1% हो गया, और Phi का 6.3% से घटकर 3.2% हो गया।
- Pforzheim Jewelry पर, निरपेक्ष सुधार तुलनात्मक रूप से छोटे थे क्योंकि बेसलाइन स्कोर पहले से ही मजबूत थे।
- Erlangen-Prehistoric पर, HPO ने तीनों मेट्रिक्स में Qwen की मदद की। Gemma के CER में 10.4% से 9.3% तक सुधार हुआ, लेकिन mAP-F1 83.1% से गिरकर 65.4% पर आ गया। Phi के CER में थोड़ा सुधार हुआ जबकि ANLS* और mAP-F1 में गिरावट आई।
यह विचलन मायने रखता है: वैलिडेशन CER द्वारा हाइपरपैरामीटर्स का चयन करने से टेस्ट-सेट पर बेहतर संरचित निष्कर्षण की गारंटी नहीं मिली। परिणाम यह पहचानने के बिना कि किन फ़ील्ड त्रुटियों के कारण ऐसा हुआ, मीट्रिक परिणामों के बीच बेमेल (mismatch) को प्रदर्शित करते हैं।
Study 2: The Image Preprocessing Trap
लेखकों ने चार-चरणीय क्लासिकल प्रीप्रोसेसिंग पाइपलाइन बनाई:
- Illumination Flattening: असमान प्रकाश व्यवस्था को कम करने के लिए ग्रेस्केल रूपांतरण, बैकग्राउंड रोशनी का अनुमान लगाने के लिए मॉर्फोलॉजिकल ओपनिंग, और सामान्यीकरण (normalization)।
- Denoising: किनारों को संरक्षित करते हुए शोर को कम करने के लिए डिफ़ॉल्ट रूप से बाईलैटरल फ़िल्टरिंग, या नॉन-लोकल मीन्स डीनॉइज़िंग।
- Contrast Limited Adaptive Histogram Equalization (CLAHE): ल्यूमिनेन्स चैनल पर स्थानीय कंट्रास्ट को बढ़ाना।
- Letterbox Resizing: पहलू अनुपात (aspect ratio) को बनाए रखने के लिए पैडिंग के साथ एक निश्चित कैनवास पर आकार बदलना; कार्यप्रणाली में एक उदाहरण के रूप में $1024 \times 1024$ दिया गया है।
उन्होंने बेसलाइन फ़ाइन-ट्यूनिंग के शीर्ष पर एक रॉ-इमेज बेसलाइन के विरुद्ध पूरी पाइपलाइन का मूल्यांकन किया। यहां "रॉ" का अर्थ इस अतिरिक्त क्लीनअप पाइपलाइन के बिना है; छवियों को अभी भी मॉडल-विशिष्ट प्रीप्रोसेसिंग से गुजरना पड़ा।
+-------------------------+--------------------------+--------------------------+--------------------------+
| Image Preprocessing | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (Raw vs Preprocessed) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (Raw) | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Gemma-3-4B (Preproc ✓) | 10.4 88.8 85.3 | 1.2 97.6 97.7 | 16.4 69.7 43.6 |
| Phi-3.5-Vision (Raw) | 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Phi-3.5-Vision (Pre ✓) | 19.0 80.4 76.5 | 0.3 99.2 99.3 | 5.5 89.5 61.1 |
| Qwen2.5-VL-7B (Raw) | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
| Qwen2.5-VL-7B (Pre ✓) | 5.2 90.0 87.4 | 0.7 99.1 99.3 | 12.0 81.7 53.6 |
+-------------------------+--------------------------+--------------------------+--------------------------+
परीक्षण की गई प्रीप्रोसेसिंग पाइपलाइन ने नौ में से आठ मॉडल-डेटासेट संयोजनों में mAP-F1 को कम कर दिया, भले ही कुछ अन्य मेट्रिक्स में सुधार हुआ।
Regensburg Scalalogy पर:
- Qwen2.5-VL का CER 7.6% से बिगड़कर 12.0% हो गया, और इसका mAP-F1 62.8% से गिरकर 53.6% पर आ गया।
- Phi-3.5-Vision के CER में 6.3% से 5.5% तक सुधार हुआ, लेकिन mAP-F1 72.0% से गिरकर 61.1% हो गया।
- Gemma-3-4B का CER 14.6% से बिगड़कर 16.4% हो गया, साथ ही ANLS* और mAP-F1 में भी गिरावट आई।
अन्य जगहों पर कुछ अपवाद थे। Gemma का Erlangen-Prehistoric mAP-F1 83.1% से बढ़कर 85.3% हो गया, जबकि उसी डेटासेट पर Qwen का CER कम संरचित स्कोर के बावजूद 5.8% से सुधरकर 5.2% हो गया।
प्रयोग ने पूरी पाइपलाइन का परीक्षण किया, न कि प्रत्येक फ़िल्टर का स्वतंत्र रूप से। इसलिए यह पहचान नहीं कर सकता कि डीनॉइज़िंग, कंट्रास्ट एडजस्टमेंट, रोशनी सुधार, रीसाइज़िंग या उनके संयोजन ने किसी विशेष बदलाव को जन्म दिया या नहीं। यह रिग्रेशन के लिए किसी न्यूरल तंत्र को भी स्थापित नहीं करता है। व्यावहारिक सबक यह है कि शुद्धता और संरचित-निष्कर्षण दोनों मेट्रिक्स का उपयोग करके रॉ-इमेज बेसलाइन के विरुद्ध प्रीप्रोसेसिंग की तुलना की जाए।
Study 3: Multi-Stage Curriculum Training
लेखकों ने दो-चरणीय शेड्यूल का परीक्षण किया: बेस लर्निंग रेट के $3\times$ पर सुपरवाइज्ड JSON टारगेट्स पर टीचर फोर्सिंग का उपयोग करते हुए एक संक्षिप्त वॉर्म-अप, जिसके बाद उसी डेटासेट पर बेस लर्निंग रेट पर रिफाइनमेंट।
प्रत्येक एपॉक पर वैलिडेशन चलाया गया, जिसमें सबसे कम वैलिडेशन CER द्वारा चेकपॉइंट का चयन किया गया और बिना किसी सुधार के एक पेशेंस पीरियड (patience period) के बाद अर्ली स्टॉपिंग की गई। तुलना में समान कुल एपॉक बजट और कोसाइन लर्निंग-रेट डिके के साथ सिंगल-स्टेज बेसलाइन का उपयोग किया गया।
+-------------------------+--------------------------+--------------------------+--------------------------+
| Multi-Stage Training | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| (Single vs Multi-Stage) | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (Single) | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Gemma-3-4B (Multi-stage)| 8.1 89.9 86.5 | 0.4 99.3 99.5 | 10.3 80.2 63.8 |
| Phi-3.5-Vision (Single) | 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Phi-3.5-Vision (Multi) | 18.0 86.7 83.0 | 0.3 99.5 99.7 | 4.9 90.5 72.5 |
| Qwen2.5-VL-7B (Single) | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
| Qwen2.5-VL-7B (Multi) | 5.8 91.4 89.1 | 0.7 88.5 90.2 | 7.8 86.0 57.8 |
+-------------------------+--------------------------+--------------------------+--------------------------+
मल्टी-स्टेज ट्रेनिंग ने मॉडल-निर्भर परिणाम दिए। इसने तीनों मेट्रिक्स और कलेक्शन्स में Gemma-3-4B को लाभान्वित किया, जिससे प्रागैतिहासिक CER 10.4% से घटकर 8.1% हो गया और Scalalogy mAP-F1 46.9% से बढ़कर 63.8% हो गया।
Phi ने Scalalogy पर तीनों मेट्रिक्स में सुधार दिखाया, जबकि अन्य जगहों पर छोटे या मिश्रित बदलाव हुए। Qwen ने Erlangen-Prehistoric पर केवल थोड़ा ANLS* सुधार दिखाया, जिसमें अपरिवर्तित CER और कम mAP-F1 रहा। ज्वेलरी और Scalalogy दोनों पर तीनों मेट्रिक्स में इसके परिणाम खराब हुए। अध्ययन इन परिणाम अंतरालों को स्थापित करता है, बिना यह प्रदर्शित किए कि ट्रेनिंग अस्थिरता (training instability) ही इसका कारण थी।
The Multi-Dataset Dilemma: Gemma's Gains, Qwen's Negative Transfer
प्रोडक्शन में, इंजीनियरिंग टीमें प्रत्येक दस्तावेज़ संग्रह के लिए अलग-अलग मॉडल के बजाय एक एकल चेकपॉइंट चाह सकती हैं। लेखकों ने मानक फ़ाइन-ट्यूनिंग विधि का उपयोग करते हुए तीनों संग्रहों के संयुक्त प्रशिक्षण सेटों (कुल 743 दस्तावेज़) पर प्रत्येक चयनित मॉडल को एक बार फ़ाइन-ट्यून करके इसका परीक्षण किया।
फिर उन्होंने प्रत्येक संग्रह के टेस्ट सेट पर उस चेकपॉइंट का मूल्यांकन किया और संबंधित डेटासेट-विशिष्ट चेकपॉइंट के साथ इसकी तुलना की:
+-------------------------+--------------------------+--------------------------+--------------------------+
| Single-Dataset vs | Erlangen-Prehistoric | Pforzheim Jewelry | Regensburg Scalalogy |
| Multi-Dataset Checkpoint| CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ | CER↓ ANLS*↑ mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (Single) | 10.4 88.6 83.1 | 0.9 99.0 99.4 | 14.6 73.8 46.9 |
| Gemma-3-4B (Multi-Joint)| 8.7 90.6 87.9 | 0.3 99.4 99.7 | 9.1 81.5 68.0 |
| Phi-3.5-Vision (Single) | 17.9 86.5 82.2 | 0.3 99.4 99.5 | 6.3 90.1 72.0 |
| Phi-3.5-Vision (Multi) | 19.7 84.0 45.4 | 0.5 99.2 99.4 | 7.4 84.3 54.1 |
| Qwen2.5-VL-7B (Single) | 5.8 91.0 90.0 | 0.5 99.2 99.4 | 7.6 87.0 62.8 |
| Qwen2.5-VL-7B (Multi) | 7.1 89.3 91.9 | 1.6 98.2 99.1 | 24.9 65.2 41.4 |
+-------------------------+--------------------------+--------------------------+--------------------------+
इस प्रयोग ने तीनों मॉडलों में बिल्कुल अलग व्यवहार का खुलासा किया:
- Gemma-3-4B को संयुक्त प्रशिक्षण से लगातार लाभ हुआ। इसके मल्टी-डेटासेट चेकपॉइंट ने प्रत्येक रिपोर्ट किए गए मीट्रिक में डेटासेट-विशिष्ट चेकपॉइंट्स को पछाड़ दिया। Regensburg Scalalogy पर, CER 14.6% से घटकर 9.1% हो गया और mAP-F1 46.9% से बढ़कर 68.0% हो गया। ये परिणाम इस बेंचमार्क में Gemma के लिए संयुक्त प्रशिक्षण का समर्थन करते हैं, बिना यह स्थापित किए कि यह किसी अनदेखे संग्रह पर कैसा प्रदर्शन करेगा।
- Qwen2.5-VL-7B ने Scalalogy पर पर्याप्त नकारात्मक स्थानांतरण (negative transfer) दिखाया। CER 7.6% से बढ़कर 24.9% हो गया, और mAP-F1 62.8% से गिरकर 41.4% हो गया। तीनों संग्रहों में CER और ANLS* खराब हो गए, हालांकि Erlangen-Prehistoric mAP-F1 90.0% से सुधरकर 91.9% हो गया।
- Phi-3.5-Vision में भी तीनों संग्रहों में गिरावट आई, विशेष रूप से बड़े संरचित-निष्कर्षण नुकसान के साथ: प्रागैतिहासिक mAP-F1 82.2% से गिरकर 45.4% पर आ गया, और Scalalogy mAP-F1 72.0% से 54.1% पर आ गया। ज्वेलरी पर बदलाव काफी छोटे थे।
लेखक इन गिरावटों को विभिन्न स्कीमा और टेक्स्ट मोडैलिटी वाले संग्रहों में नेगेटिव ट्रांसफर के संकेत के रूप में व्याख्यायित करते हैं। अध्ययन ग्रेडिएंट इंटरफेरेंस (gradient interference), परस्पर विरोधी लेआउट या किसी अन्य विशिष्ट कारण को अलग नहीं करता है। इसलिए डिप्लॉयमेंट निर्णयों के लिए प्रति-संग्रह मूल्यांकन की आवश्यकता होती है: संयुक्त प्रशिक्षण ने इस बेंचमार्क में एक मॉडल की मदद की और महत्वपूर्ण सेटिंग्स में दूसरों को नुकसान पहुंचाया।
Where Models Still Struggle: Qualitative Failure Modes
नमूना आउटपुट की जांच उन सुधारों को उजागर करती है जो फ़ाइन-ट्यूनिंग ला सकती है और उन त्रुटियों को भी जो अभी बाकी हैं।
Figure 4 में, लेखक हस्तलिखित Erlangen-Prehistoric पृष्ठ के लिए Gemma-3-4B की ज़ीरो-शॉट और फ़ाइन-ट्यून की गई भविष्यवाणियों की तुलना करते हैं। निम्नलिखित संक्षिप्त अंश उस तुलना को दर्शाते हैं; दीर्घवृत्त (ellipses) और कोष्ठक वाले नोट्स संपूर्ण मॉडल आउटपुट के बजाय केवल उदाहरणात्मक हैं।
ज़ीरो-शॉट भविष्यवाणी, नमूना CER: 26.8%।
{
"Überschrift": "Anthropologisch-prähistorifche ...",
"Inventarnummer": "J.-Nr. E024",
"Maße": {"L": "", "B": "", "D": ""},
"Objektbezeichnung": "Primitiver Kratzer",
"Fundort": "Spay, Belgien",
"Fundzeit": "Aumente Helin",
"Beschreibungstext": "Flacher Stein ... [many OCR errors]"
}
फ़ाइन-ट्यून की गई भविष्यवाणी, नमूना CER: 13.9%।
{
"Überschrift": "Anthropologisch=prähistorische ...",
"Inventarnummer": "Eo 24",
"Maße": {"L": "6,25", "B": "3,95", "D": "1,7"},
"Objektbezeichnung": "Primitiver Kratzer ...",
"Fundort": "Spy, Belgien Ausbeute Helin",
"Fundzeit": "",
"Beschreibungstext": "Flacher Stein ... [partially correct]"
}
फ़ाइन-ट्यूनिंग ने भविष्यवाणी के कई हिस्सों में सुधार किया:
- हेडर
Anthropologisch-prähistorifcheसे बदलकरAnthropologisch=prähistorischeहो गया। - इन्वेंट्री नंबर
J.-Nr. E024से बदलकरEo 24हो गया, जिसे लेखक सुधार के रूप में पहचानते हैं। - नेस्टेड आयाम
"L": "6,25", "B": "3,95", "D": "1,7"हो गए, जिससे ज़ीरो-शॉट आउटपुट में खाली छोड़े गए माप पुनः प्राप्त हो गए।
हालाँकि, पेपर स्पष्ट रूप से लंबे हस्तलिखित पाठ और Fundort को Fundzeit से अलग करने में लगातार कठिनाई की ओर इशारा करता है। फ़ाइन-ट्यून किया गया अंश "Spy, Belgien Ausbeute Helin" को Fundort में रखता है और Fundzeit को खाली छोड़ देता है। यह अंश प्रत्येक वाक्यांश के सही आवंटन को स्थापित नहीं करता है और न ही इसके ऐतिहासिक अर्थ की व्याख्या करता है।
यह उदाहरण व्यापक चुनौती को दर्शाता है: एक कम समग्र त्रुटि दर (lower overall error rate) और पार्स करने योग्य JSON ऑब्जेक्ट अनसुलझी फ़ील्ड-बाउंड्री त्रुटियों (field-boundary errors) के साथ सह-अस्तित्व में हो सकते हैं।
Why it matters for document engineering and GLAM pipelines
सॉफ्टवेयर आर्किटेक्ट्स, ML इंजीनियर्स और आर्काइवल डिजिटाइजेशन टीमों के लिए, यह अध्ययन अपने तीन संग्रहों के दायरे में व्यावहारिक मार्गदर्शन प्रदान करता है—हालांकि यह ध्यान रखना भी जरूरी है कि अंग्रेज़ी में मजबूत OCR प्रदर्शन देवनागरी जैसी जटिल लिपि (जिसमें संयुक्ताक्षर, मात्राएं और शिरोरेखा शामिल हैं) के लिए अच्छे OCR की गारंटी नहीं देता:
- जब आपको सीधे JSON निष्कर्षण की आवश्यकता हो तो इंस्ट्रक्शन-ट्यून किए गए VLMs का मूल्यांकन करें: विश्वसनीय संरचित जेनरेशन के लिए Gemma-3-4B, Phi-3.5-Vision, और Qwen2.5-VL-7B कुल मिलाकर सबसे मजबूत उम्मीदवार थे। यह स्थापित नहीं करता कि विशिष्ट OCR इंजनों को पूरी तरह त्याग दिया जाना चाहिए: बेंचमार्क ने विशेष मॉडलों और इंटरफेस का परीक्षण किया, और कुछ विशिष्ट मॉडलों ने व्यक्तिगत संग्रहों पर फ़ाइन-ट्यूनिंग के बाद अच्छा प्रदर्शन किया।
- फ़्यू-शॉट प्रॉम्प्टिंग को मददगार मान लेने के बजाय उसका परीक्षण करें: डिमॉन्स्ट्रेशन ने ज्वेलरी पर सभी चार मूल्यांकित मॉडलों में सुधार किया, लेकिन लिखावट और नेस्टेड फॉर्म्स पर परिणाम मिले-जुले रहे। प्रॉम्प्टिंग रणनीति चुनने से पहले प्रतिनिधि दस्तावेज़ों पर ज़ीरो-शॉट और फ़्यू-शॉट परिणामों की तुलना करें।
- क्लीनअप का परीक्षण करते समय रॉ-इमेज बेसलाइन बनाए रखें: पूर्ण प्रीप्रोसेसिंग पाइपलाइन ने अक्सर संरचित-निष्कर्षण स्कोर को कम किया, लेकिन इसका प्रभाव मॉडल, डेटासेट और मीट्रिक पर निर्भर था। ये निष्कर्ष अनुभवजन्य तुलना (empirical comparison) का समर्थन करते हैं, न कि डीनॉइज़िंग या कंट्रास्ट समायोजन पर पूर्ण प्रतिबंध का।
- एकाधिक मेट्रिक्स को ट्रैक करते हुए जटिल फॉर्म्स के लिए HPO पर विचार करें: Optuna-चयनित सेटिंग्स ने Scalalogy परिणामों में काफी सुधार किया। CER Gemma के लिए 14.6% से गिरकर 3.4%, Phi के लिए 6.3% से 3.2%, और Qwen के लिए 7.6% से 3.1% हो गया। हालांकि, लिखावट पर, कम CER के साथ कभी-कभी खराब mAP-F1 भी देखा गया।
- नेगेटिव ट्रांसफर के लिए मल्टी-डेटासेट चेकपॉइंट्स का ऑडिट करें: मॉडलों को समेकित करने से पहले प्रत्येक संग्रह का अलग से मूल्यांकन करें। कुछ संग्रहों पर Phi और Qwen के लिए डेटासेट-विशिष्ट चेकपॉइंट्स ने काफी बेहतर प्रदर्शन किया, जबकि Gemma को संयुक्त प्रशिक्षण से लगातार लाभ हुआ।
Honest Limitations and What to Watch Next
परिणाम उपयोगी साक्ष्य प्रदान करते हैं, लेकिन उनका दायरा मायने रखता है:
- स्वतंत्र बनाम संयुक्त अध्ययन (Independent vs. Combined Studies): लेखकों ने HPO, प्रीप्रोसेसिंग और मल्टी-स्टेज ट्रेनिंग का स्वतंत्र रूप से परीक्षण किया। क्या इन हस्तक्षेपों को संयोजित करने से अतिरिक्त लाभ मिलते हैं, यह अभी भी अपरीक्षित है।
- कंस्ट्रेंड डिकोडिंग भविष्य का काम बना हुआ है (Constrained Decoding Remains Future Work): मूल्यांकनों में ग्रीडी डिकोडिंग (greedy decoding) का उपयोग किया गया, जिसे टेम्परेचर 0 के रूप में रिपोर्ट किया गया है। लेखक वैध JSON के लिए कंस्ट्रेंड डिकोडिंग को भविष्य की दिशा के रूप में प्रस्तावित करते हैं, लेकिन यहाँ इसके प्रभाव को प्रदर्शित नहीं करते हैं। सिंटैक्टिक वैधता को अभी भी सही फ़ील्ड्स और मानों से अलग करने की आवश्यकता होगी।
- कंप्यूट समानता (Compute Parity): बड़े मॉडलों को QLoRA के साथ अनुकूलित किया गया था, जबकि 1B से छोटे मॉडलों की पूर्ण फ़ाइन-ट्यूनिंग की गई थी। समान कंप्यूट बजट के तहत उन दृष्टिकोणों की नियंत्रित तुलना भविष्य का काम बनी हुई है।
- संग्रह और मॉडल कवरेज (Collection and Model Coverage): बेंचमार्क 46, 89 और 25 दस्तावेज़ों के टेस्ट सेट के साथ तीन विशिष्ट संग्रहों को कवर करता है। लेखक आगाह करते हैं कि मॉडल परिदृश्य तेजी से विकसित हो रहा है और वे व्यापक बहुभाषी मूल्यांकन, लिखावट-विशिष्ट अनुकूलन, और लेआउट-सचेत (layout-aware) फ़ील्ड बाइंडिंग का आह्वान करते हैं।
- क्लाउड प्रतिस्थापन को सीधे बेंचमार्क नहीं किया गया था (Cloud Replacement Was Not Directly Benchmarked): प्रयोग इन मॉडलों की तुलना कमर्शियल API सिस्टम्स या मैन्युअल ट्रांसक्रिप्शन से नहीं करते हैं, और न ही लागत या ऊर्जा की बचत को मापते हैं। वे उन विकल्पों पर मापी गई श्रेष्ठता के बजाय स्थानीय मॉडल के निष्कर्षण परिणामों को प्रदर्शित करते हैं।
व्यापक निष्कर्ष आशाजनक है: सावधानीपूर्वक अनुकूलित हल्के VLMs विशिष्ट अभिलेखीय रिकॉर्ड्स पर संस्थान-नियंत्रित OCR-से-JSON निष्कर्षण का समर्थन कर सकते हैं। रिपोर्ट किए गए 4B–7B QLoRA परिणाम विशेष रूप से प्रिंटेड ज्वेलरी कार्ड्स पर पर्याप्त लाभ दिखाते हैं, जबकि लिखावट और नेस्टेड फॉर्म्स में उल्लेखनीय त्रुटियां बनी रहती हैं। कमर्शियल APIs के विकल्प पर विचार करने वाले संस्थानों के लिए, यह अध्ययन उम्मीदवार मॉडल और अनुकूलन रणनीतियां प्रदान करता है—और सामग्री की सटीकता, फ़ील्ड असाइनमेंट, और JSON वैधता का एक साथ मूल्यांकन करने का एक स्पष्ट कारण प्रस्तुत करता है।