दस्तावेज़ दृष्टि मॉडल प्रशिक्षित करने वालों के लिए एक पहेली

यहाँ एक पहेली है जो किसी भी ऐसे व्यक्ति को परेशान करनी चाहिए जो दस्तावेज़ दृष्टि मॉडल (document vision models) प्रशिक्षित कर रहा हो: सार्वजनिक अंग्रेज़ी दस्तावेज़ लें, उनका टेक्स्ट मिटा दें, लेबल्स का अधिकांश भाग थाई में अनुवाद करें, उन्हें मूल क्षेत्रों में वापस रेंडर करें, और एक OCR रिकग्नाइज़र प्रशिक्षित करें। फिर, असली थाई दस्तावेज़ लें, उनका टेक्स्ट मिटा दें, उनके थाई OCR लेबल्स को उन मूल लेआउट में वापस रेंडर करें, और उसी मॉडल आर्किटेक्चर को प्रशिक्षित करें।

किस मॉडल का प्रदर्शन असली थाई दस्तावेज़ों पर बेहतर है?

अगर आपने असली थाई दस्तावेज़ चुना, तो आप सही होंगे यदि आपका मॉडल एक साथ पूरे पृष्ठों को पढ़ता है। यदि आपका मॉडल क्रॉप किए गए क्षेत्रों (cropped regions) को प्रोसेस करता है, तो इस प्रयोग में आप गलत होंगे। क्रॉप-लेवल प्रशिक्षण के तहत, पुनर्निर्मित अंग्रेज़ी स्रोतों को फ़ीड किए गए मॉडल ने पुनर्निर्मित थाई स्रोतों पर प्रशिक्षित मॉडल को हरा दिया, जो कि होल्ड-आउट प्रिंटेड पेज पर 15.59% के मुकाबले 5.52% का मीडियन कैरेक्टर एरर रेट (median character error rate) दर्ज करता है।

यह उलटाफ़न (inversion) How Far Can Synthetic Data Take Thai OCR? नामक तकनीकी रिपोर्ट के आश्चर्यजनक निष्कर्षों में से एक है, जिसे वेयू रिसर्च (Wayu Research) और पैक्सा लैब्स (Paxa Labs) के कुनत पिपतनाकुल (Kunat Pipatanakul) द्वारा लिखा गया है। सिंथेटिक "वास्तविकता" (realism) को एकल घटक के रूप में मानने के बजाय, यह पेपर टाइपोग्राफी, स्थानिक लेआउट (spatial layout), गैर-टेक्स्ट संदर्भ, और ग्लिफ़ वैरिएशन को अलग करता है, फिर यह परीक्षण करता है कि प्रशिक्षण सेटअप के साथ उनकी योगदान कैसे बदलती है।

व्यावहारिक परिणाम वेयू-पैक्सा-OCR-ज़ीरो (Wayu-Paxa-OCR-Zero) है, जो 45,723 सिंथेटिक पेजों का उपयोग करके पैडलOCR-VL-1.6 (PaddleOCR-VL-1.6) से अनुकूलित 0.9-बिलियन-पैरामीटर मॉडल है। रिपोर्ट किए गए मूल्यांकनों में, अनुकूलन प्रिंटेड पेज पर मीडियन कैरेक्टर एरर रेट को 6.64% से घटाकर 1.24% कर देता है, हैंडराइटिंग एरर को 74.87% से घटाकर 20.55% कर देता है, और पाँचों मूल्यांकन सेटों में टाइफून OCR v1 7B (Typhoon OCR v1 7B) को हरा देता है।

"सिर्फ़ सिंथेटिक" (synthetic-only) विवरण को एक सटीक सीमा की आवश्यकता है: अनुकूलन स्रोत छवियों के रूप में किसी भी असली थाई दस्तावेज़ पेज का उपयोग नहीं करता है और उन दस्तावेज़ों से किसी भी पेज-लेवल OCR सपरविजन का उपयोग नहीं करता है। यह असली हैंडराइटिंग ग्लिफ़ और iApp हैंडराइटिंग क्रॉप्स का उपयोग करता है। यह एक मौजूदा प्री-ट्रेन चेकपॉइंट पर भी आधारित है।

आइए इसमें गहराई से देखें कि इस सिंथेटिक रेसिपी को काम करने के लिए क्या बनाता है, जहाँ इसके लाभ रुक जाते हैं, और दस्तावेज़-प्रोसेसिंग पाइपलाइन के लिए निष्कर्ष क्या सुझाव देते हैं।

scanned thai government document

दस्तावेज़ मॉडलों को चुनौती देने वाला स्क्रिप्ट

यह पेपर असमान भाषा कवरेज से शुरू होता है। ओपन दस्तावेज़ मॉडल, डेटासेट और बेंचमार्क अंग्रेज़ी और चीनी पर केंद्रित हैं, जबकि थाई भाषा के लिए विश्वसनीय, खुले रूप से उपलब्ध दस्तावेज़ लेबल कम हैं।

तीन विवरण इस पर्यवेक्षण समस्या को विशेष रूप से प्रासंगिक बनाते हैं:

बहु-स्तरीय पाठ स्थिति: थाई स्वर और स्वर चिह्न कई ऊर्ध्वाधर स्तरों पर स्थित हो सकते हैं। रेंडरिंग को उन चिह्नों सहित पूर्ण आकार वाले पाठ को ध्यान में रखने की आवश्यकता होती है।
अपूर्ण निकाले गए लेबल: PDF पाठ निष्कर्षण और OCR सेudo-लेबल वर्णों को छोड़ सकते हैं, संयोजक चिह्नों को पुनः व्यवस्थित कर सकते हैं, या पढ़ने के क्रम को बिगाड़ सकते हैं। मैन्युअल सुधार महंगा होता है।
दिखावट में विविधता: मुद्रित फ़ॉन्ट और वास्तविक हाथ से लिखा हुआ पाठ एक पहचानकर्ता को अलग-अलग वर्ण आकारों के सामने लाते हैं। प्रयोग यह परीक्षण करते हैं कि क्या फ़ॉन्ट विविधता और नमूना हाथ से लिखे गए ग्लिफ़्स उस अंतर को पाटने में मदद करते हैं।

सिंथेटिक रिकंस्ट्रक्शन एक उपयोगी लाभ प्रदान करता है: रेंडरर को पता होता है कि वह कौन सा पाठ और कौन से क्षेत्र उपयोग कर रहा है। इससे ट्रेनिंग पाइपलाइन को जनरेटेड कंटेंट से सीधे जुड़े लेबल मिलते हैं, बजाय इसके कि किसी को प्रत्येक तैयार पेज की ट्रांसक्रिप्शन करनी पड़े।

लेकिन सटीक जनरेटेड लेबल सफल ट्रांसफर की गारंटी नहीं देते। एक मॉडल सिंथेटिक पेज से सीख सकता है और फिर भी वास्तविक दस्तावेज़ों के साथ संघर्ष कर सकता है। इसलिए पेपर का केंद्रीय प्रश्न सटीक है: जनरेटेड पेज की कौन सी विशेषताएँ वास्तव में मदद करती हैं?

यह सिंथेटिक पर्यवेक्षण के दो अर्थों में भी अंतर करता है। कुछ नियंत्रित प्रयोग OCR लेबल का उपयोग करके वास्तविक थाई पेजों का पुनर्निर्माण करते हैं। अंतिम Wayu-Paxa-OCR-Zero रेसिपी इसके बजाय सार्वजनिक अंग्रेज़ी स्रोत दस्तावेज़ों का उपयोग करती है, जिनमें जनरेशन के दौरान थाई पाठ और हाथ से लिखे गए सामग्री को शामिल किया जाता है।

ये अलग-अलग डेटा स्थितियाँ हैं, और परिणामों को समझने के लिए उन्हें अलग रखना आवश्यक है।

नियंत्रित पुनर्निर्माण: संश्लेषित पृष्ठ का विश्लेषण

Pipatanakul ने एक इन-प्लेस (in-place) पुनर्निर्माण पाइपलाइन पेश की है, जिसे पेपर में docaug के रूप में लिंक किया गया है। यह एक स्रोत पृष्ठ और एनोटेटेड टेक्स्ट क्षेत्रों से शुरू होता है, मूल टेक्स्ट पिक्सल को मिटाता या इनपेंट (inpaint) करता है, और प्रतिस्थापन लेबल को उसके संबंधित क्षेत्र में वापस रेंडर करता है।

यह दृष्टिकोण प्रयोगों को पांच गुणों पर नियंत्रण प्रदान करता है:

स्रोत डोमेन (Source Domain): DocLayNet, Crello, और PubTabNet से सार्वजनिक अंग्रेजी पृष्ठों का पुनर्निर्माण बनाम वास्तविक थाई मुद्रित पृष्ठ।
गैर-टेक्स्ट संदर्भ (Non-Text Context): स्रोत पृष्ठभूमि और गैर-टेक्स्ट तत्वों को बनाए रखना बनाम टेक्स्ट क्षेत्रों को बनाए रखते हुए उन्हें सफेद से बदलना।
टाइपोग्राफी विविधता (Typography Diversity): मापे गए थाई टाइपफेस प्रोफ़ाइल से सैंपलिंग करना बनाम एकल टाइपफेस का उपयोग करना।
द्वि-आयामी लेआउट (Two-Dimensional Layout): मूल व्यवस्था को बनाए रखना बनाम पढ़ने के क्रम में क्षेत्रों को ऊर्ध्वाधर रूप से स्टैक करना।
हस्तलिखित स्ट्रोक (Handwriting Strokes): हस्तलिखित टाइपफेस को रेंडर करना बनाम ग्लिफ बैंक से वास्तविक वर्ण उदाहरणों की सैंपलिंग करना।

आउट-ऑफ-डोमेन डेटासेट अधिकांश स्रोत पाठ को थाई में अनुवादित करता है। पृष्ठों का शेष 7.61% हिस्सा अपने अंग्रेजी लेबल बनाए रखता है, जो वास्तविक थाई मुद्रित संग्रह में अंग्रेजी भाषा के अनुपात का अनुमान लगाता है।

टेक्स्ट फिटिंग इस प्रक्रिया का एक महत्वपूर्ण हिस्सा है। पाइपलाइन HarfBuzz का उपयोग करके प्रत्येक पूर्ण क्षेत्र-स्तर के लेबल को आकार देती है, एक टाइपफेस और टाइप साइज़ का नमूना लेती है, और तब तक आकार को छोटा करती है जब तक कि टेक्स्ट अपने मूल क्षेत्र में फिट न हो जाए। यदि न्यूनतम स्वीकार्य आकार पर भी लेबल ओवरफ्लो करता है, तो पूरा पृष्ठ अस्वीकार कर दिया जाता है।

परिणामस्वरूप, प्रशिक्षण पृष्ठों की उपस्थिति को बदलने का एक नियंत्रित तरीका प्राप्त होता है, जबकि ज्ञात लेबल और क्षेत्र ज्यामिति को बनाए रखा जाता है।

आश्चर्य: क्या मायने रखता है और क्या सिर्फ शोर है

लेखक ने प्रयोगात्मक परीक्षण के लिए Qwen3-VL-2B-Instruct का उपयोग करते हुए पेज-स्तरीय और क्रॉप-स्तरीय प्रशिक्षण की तुलना की है। स्रोत-गुण अभावन (source-property ablation) क्रमिक रूप से गैर-पाठ संदर्भ, फ़ॉन्ट विविधता और फिर द्वि-आयामी लेआउट को हटाता है।

यह अनुक्रम महत्वपूर्ण है: अंतिम पंक्ति तीनों हटाने के कार्यों को जोड़ती है। इसका पूर्ण पुनर्निर्माण से अंतर केवल लेआउट को ही नहीं माना जा सकता।

1. गैर-पाठ संदर्भ का यहाँ बहुत कम स्थिर प्रभाव है

जब पुनर्निर्माण पृष्ठभूमि, आकृतियों, नियमों और स्कैन कलाकृतियों को सफेद कैनवास (White-layout) से बदल देता है, तो मध्यक प्रदर्शन में अपेक्षाकृत कम परिवर्तन होता है। तीन मूल्यांकन सेटों और दोनों प्रशिक्षण सेटिंग्स में, मध्यक वर्ण त्रुटि दर (CER) में अधिकतम 1.62 प्रतिशत अंकों का बदलाव होता है।

मुद्रित Heldout पेजों पर, गैर-पाठ संदर्भ को हटाने से पेज-स्तरीय मध्यक CER 5.07% से 4.78% हो जाता है और क्रॉप-स्तरीय मध्यक CER 5.52% से 4.86% हो जाता है।

वर्ण-भारित माध्य (character-weighted mean) कम समान है। पेज-स्तरीय मुद्रित पहचान के लिए, यह 16.90% से बढ़कर 21.05% हो जाता है, भले ही मध्यक में सुधार हो। क्रॉप-स्तरीय प्रशिक्षण के तहत, यह 19.09% से घटकर 16.69% हो जाता है।

समर्थित निष्कर्ष "पृष्ठभूमियां मायने नहीं रखतीं" से संकीर्ण है। इन पुनर्निर्माण प्रयोगों में, संरक्षित गैर-पाठ संदर्भ CER को बहुत कम स्थिर लाभ प्रदान करता है। अध्ययन ने सिमुलेटेड कागज क्षति, प्रकाश प्रभाव या पाठ के स्वयं के क्षरण के प्रत्येक प्रकार को अलग से परखा नहीं है।

2. फ़ॉन्ट विविधता हाथ से लिखे टेक्स्ट के हस्तांतरण में मदद करती है

लेखक ने 8,000 सार्वजनिक थाई PDF पेजों का प्रोफ़ाइल बनाया और एक केंद्रित टाइपफेस वितरण पाया। 693 देखे गए परिवार नामों में से, शीर्ष दस थाई वर्णों का 80.9% हिस्सा रखते हैं:

Cordia New: 18.6%
Angsana New: 15.3%
TH Sarabun PSK: 14.7%
TH Sarabun New: 14.2%
Browallia New: 6.9%
TH Sarabun IT๙: 4.7%
DB ThaiText X: 2.4%
Cordia UPC: 1.9%
Tahoma: 1.1%
DB FongNam X: 1.1%
अन्य सभी 683 परिवारों का संयुक्त योग: 19.1%

इस विविध प्रोफ़ाइल को एकल टाइपफेस, TH Sarabun New से बदलने से, सफेद-पृष्ठभूमि वेरिएंट के सापेक्ष, पेज-स्तरीय प्रशिक्षण के तहत मुद्रित मध्यक CER में 0.56 प्रतिशत अंकों की वृद्धि होती है और क्रॉप-स्तरीय प्रशिक्षण के तहत 2.15 अंकों की वृद्धि होती है।

हाथ से लिखे टेक्स्ट के नुकसान अधिक हैं। व्यापक Handwriting सेट पर, पेज-स्तरीय प्रशिक्षण के तहत मध्यक CER 43.16% से बढ़कर 49.86% हो जाता है, जो 6.70 अंकों की वृद्धि है। क्रॉप-स्तरीय प्रशिक्षण के तहत, यह 50.77% से बढ़कर 62.13% हो जाता है, जो 11.36 अंकों की वृद्धि है।

Easy Handwriting में भी समान दिशा दिखाई देती है, जिसमें क्रमशः 9.48 और 13.37 अंकों की वृद्धि होती है।

यह प्रयोग एक व्यावहारिक खोज का समर्थन करता है: टाइपफेस विविधता हाथ से लिखे टेक्स्ट के हस्तांतरण में मदद करती है। यह ठीक से स्थापित नहीं करता कि मॉडल आंतरिक वर्ण विशेषताओं को कैसे सीखता है, या यह कि सबसे आम फ़ॉन्ट्स के एक छोटे चयन से पूर्ण प्रोफ़ाइल के परिणाम दोहराए जा सकते हैं।

3. लेआउट को सपाट करने से हाथ से लिखे टेक्स्ट को और नुकसान होता है

जब शेष पाठ क्षेत्रों को पढ़ने के क्रम में ऊर्ध्वाधर रूप से स्टैक किया जाता है तो क्या होता है? शोधकर्ताओं ने Linear-white-single-font के साथ इसका परीक्षण किया, जो सफेद-पृष्ठभूमि, एकल-फ़ॉन्ट स्थिति पर आधारित है।

Handwriting पर, क्रॉप-स्तरीय मध्यक CER 62.13% से बढ़कर 70.17% हो जाता है। पेज-स्तरीय प्रशिक्षण के तहत, यह 49.86% से बढ़कर 58.40% हो जाता है। दोनों Easy Handwriting मध्यक भी बिगड़ जाते हैं।

मुद्रित पहचान अलग व्यवहार करती है। क्रॉप-स्तरीय मध्यक CER 7.01% से बढ़कर 9.60% हो जाता है, जबकि पेज-स्तरीय मध्यक 5.34% से बदलकर 5.07% हो जाता है।

इसलिए, स्थानिक व्यवस्था दोनों सेटिंग्स में हाथ से लिखे टेक्स्ट के हस्तांतरण के लिए महत्वपूर्ण है, और क्रॉप-स्तरीय तुलना में मुद्रित पहचान के लिए भी। परिणाम प्रत्येक मेट्रिक में सार्वभौमिक क्षरण नहीं दिखाते हैं या क्रॉप-स्तरीय प्रभाव के पीछे के तंत्र को स्थापित नहीं करते हैं।

Successive Ablations: Crop-Level Out-of-Domain Training
-------------------------------------------------------------
Training Variant                    Heldout Med CER   Handwriting Med CER
Full Out-of-Domain Synthetic              5.52%              49.15%
Remove non-text context                  4.86%              50.77%
Also remove font diversity               7.01%              62.13%
Also remove two-dimensional layout       9.60%              70.17%

## दानेदारता उलटफेर: पेज-स्तर बनाम क्रॉप-स्तर

सबसे रोचक परिणाम यह है कि प्रशिक्षण की दानेदारता (granularity) प्राथमिक स्रोत डेटा को कैसे बदल देती है। यह पेपर दो सेटिंग्स की तुलना करता है:

- **पेज-स्तर**: मॉडल को एक पूर्ण दस्तावेज़ छवि प्राप्त होती है और यह एक JSON ऑब्जेक्ट उत्पन्न करता है जिसमें क्षेत्र, बाउंडिंग बॉक्स, श्रेणियाँ और पाठ्यक्रम में पाठ शामिल होते हैं।
- **क्रॉप-स्तर**: रिकग्नाइज़र व्यक्तिगत रूप से एनोटेट किए गए क्षेत्रों पर प्रशिक्षित होता है। अनुमान (inference) के दौरान, एक लेआउट डिटेक्टर रिकग्निशन के लिए क्रॉप प्रदान करता है, इसलिए रिपोर्ट किए गए पाइपलाइन स्कोर में डिटेक्शन और पाठ्यक्रम त्रुटियाँ शामिल होती हैं।

जब लेखक पुनर्निर्मित थाई दस्तावेज़ों की तुलना पुनर्निर्मित अंग्रेज़ी स्रोतों से करता है, तो विजेता बदल जाता है।

प्रशिक्षण दानेदारता उलटफेर: होल्डआउट प्रिंट पर मध्यिका CER

पेज-स्तर मॉडल (Qwen3-VL-2B-Instruct): • इन-डोमेन थाई पुनर्निर्माण: 1.82% <-- कम CER • आउट-ऑफ-डोमेन पुनर्निर्माण: 5.07%

क्रॉप-स्तर मॉडल (Qwen3-VL-2B-Instruct): • इन-डोमेन थाई पुनर्निर्माण: 15.59% • आउट-ऑफ-डोमेन पुनर्निर्माण: 5.52% <-- कम CER


यह उलटफेर दोनों हैंडराइटिंग सेट्स पर भी दिखाई देता है। इन-डोमेन पुनर्निर्माण पेज-स्तर हैंडराइटिंग मध्यिका को 43.99% से 36.27% तक सुधारता है, लेकिन क्रॉप-स्तर मध्यिका को 49.15% से 52.77% तक बिगाड़ देता है।

ऐसा क्यों होता है? पेपर स्पष्ट रूप से कारण को अनसुलझा छोड़ देता है।

दोनों सिस्टम को दस्तावेज़ संदर्भ की अलग-अलग मात्रा प्राप्त होती है, लेकिन केवल यह अंतर यह स्थापित नहीं करता कि एक स्रोत क्यों जीतता है। अध्ययन यह प्रदर्शित नहीं करता कि अंग्रेज़ी-स्रोत क्रॉप अधिक विविध हैं, थाई प्रशासनिक पाठ ब्लॉक अधिक समरूप हैं, या इनमें से कोई भी गुण उलटफेर का कारण बनता है।

यह जो स्थापित करता है, वह एक प्रायोगिक योजना को बदलने के लिए पर्याप्त है: स्रोत-डोमेन मिलान को हर रिकग्निशन आर्किटेक्चर के लिए सहायक माना नहीं जा सकता। इस तुलना में, एक स्रोत जो पेज-स्तर रिकग्निशन को काफी सुधारता है, वह क्रॉप-स्तर प्रिंटेड रिकग्निशन को काफी बिगाड़ देता है।

## लिखित समस्या: फ़ॉन्ट आउटलाइन बनाम वास्तविक ग्लिफ़

एक लिखित टाइपफेस आमतौर पर एक ही अक्षर के प्रत्येक प्रकट होने पर एक ही अंतर्निहित आउटलाइन को दोहराता है। वास्तविक लिखित उदाहरणों का एक बैंक रेंडरर को उन प्रकटनों में विविधता लाने की अनुमति देता है।

गर्भावस्था यह परीक्षण करती है कि क्या यह अंतर स्थानांतरण में सुधार करता है। इसका लिखित-टाइपफेस वेरिएंट मापे गए प्रोफ़ाइल के बजाय 693 फ़ॉन्ट परिवारों के पूर्ण बैंक से नमूने लेता है; 24.0% पृष्ठों का उपयोग एक लिखित टाइपफेस के लिए किया जाता है, और उनमें से आधा प्रति-उदाहरण स्ट्रोक विकृति प्राप्त करते हैं।

वास्तविक-ग्लिफ़ वेरिएंट नमूना अक्षर छवियों का उपयोग करके एक ही लिखित उपसमूह को फिर से बनाता है। लेबल, क्षेत्र एनोटेशन, कलई की ऊंचाई और कलई का रंग स्थिर रहते हैं।

ग्लिफ़ बैंक एक बहु-चरणीय पाइपलाइन से आता है:

1. **पता लगाना**: YOLOv8-आधारित डिटेक्टर iApp लिखित पंक्ति छवियों और वास्तविक थाई लिखित प्रशिक्षण विभाजन से लगभग 5.70 मिलियन उम्मीदवार ग्लिफ़ बॉक्स उत्पन्न करता है।
2. **संरेखण और फ़िल्टरिंग**: उम्मीदवारों को आकारित पंक्ति लेबल के साथ संरेखित किया जाता है, ग्लिफ़ वर्गीकृत या व्यावसायिक OCR के साथ जांच की जाती है, और आकार और आकार द्वारा फ़िल्टर किया जाता है, जिससे 534,404 उम्मीदवार बचते हैं।
3. **VLM सत्यापन**: Gemini 3.5 Flash नमूना उम्मीदवारों की सत्यापन करता है, 12,090 उदाहरणों की पुष्टि करता है।
4. **समूहन**: कागज़ लेखकों के बीच नमूनाकरण का उपयोग करके 76 अक्षर वर्गों में 5,953 ग्लिफ़ उदाहरणों के अंतिम बैंक की रिपोर्ट करता है।

लिखित ग्लिफ़ पाइपलाइन: [5.70M उम्मीदवार] -> [534K फ़िल्टर किए गए] -> [12,090 सत्यापित] -> [5,953 बैंक उदाहरण]


रेंडरिंग के दौरान, समर्थित अक्षर प्रकटन स्वतंत्र रूप से नमूना किए जाते हैं। इसलिए, दोहराए गए अक्षरों को अलग-अलग स्ट्रोक मिल सकते हैं, हालांकि स्वतंत्र नमूनाकरण हर बार अलग उदाहरण की गारंटी नहीं देता है। प्रक्रिया पृष्ठ के भीतर एक सुसंगत लेखक को लागू नहीं करती है।

फिर से बनाए गए पृष्ठों पर, बैंक थाई अक्षर उदाहरणों के 96.3% को कवर करता है। असमर्थित अक्षर पृष्ठ टाइपफेस पर वापस आ जाते हैं।

टेबल 5 में परिणाम एक सुसंगत लिखित लाभ दिखाते हैं:

- आधार-आउट-ऑफ-डोमेन सिंथेटिक डेटा पृष्ठ-स्तर के प्रशिक्षण के तहत लिखित पर **43.99%** मध्यक CER प्राप्त करता है।
- लिखित टाइपफेस जोड़ने से यह **38.65%** तक कम हो जाता है।
- वास्तविक ग्लिफ़ उदाहरणों का उपयोग करने से यह और कम होकर **37.91%** हो जाता है, और आसान लिखित पर **30.66%** तक पहुंचता है।

जब वास्तविक ग्लिफ़ लिखित टाइपफेस को बदलते हैं, तो फसल-स्तर के लिखित मध्यक भी सुधार होते हैं।

वास्तविक लिखित निगरानी के लिए अंतर बरकरार रहता है। वास्तविक थाई प्रिंट और लिखित पर प्रशिक्षण लिखित पर **26.05%** मध्यक CER और आसान लिखित पर **20.79%** तक पहुंचता है। उन वास्तविक-डेटा लेबल OCR-और-VLM पseudo-लेबलिंग पाइपलाइन के माध्यम से निर्मित हैं, न कि मानव ट्रांसक्रिप्शन के रूप में वर्णित हैं।

कागज़ एक बड़े ग्लिफ़ बैंक के प्रभाव को भविष्य के अध्ययन के लिए छोड़ देता है। यह अलग नहीं करता कि शेष लिखित विशेषताओं में से कौन सी अंतर के लिए जिम्मेदार है।


![handwritten study notebook page](https://dzeokqqozcnzbpxvsniv.supabase.co/storage/v1/object/public/blog-images/arxiv-2609.03595/ai-2.jpg)

## Wayu-Paxa-OCR-Zero: परिणामी मॉडल

एब्लेशन (ablations) से मिले सबक को ध्यान में रखते हुए, लेखक ने **PaddleOCR-VL-1.6** को **Wayu-Paxa-OCR-Zero** में अनुकूलित किया है, जिसमें इसके 0.9B-पैरामीटर आर्किटेक्चर को बनाए रखा गया है।

इनफरेंस (inference) के दौरान, PP-DocLayoutV3 रेग्जनाइजर (recognizer) को क्षेत्र (regions) प्रदान करता है। PaddleOCR-VL प्रशिक्षण के लिए, तालिका लक्ष्यों के लिए Optimized Table Structure Language (OTSL) का उपयोग किया जाता है; उन तालिकाओं को हटा दिया जाता है जिनके स्पैन (spans) को विश्वसनीय रूप से दर्शाया नहीं जा सकता।

प्रशिक्षण संग्रह में **45,723 संश्लेषित पृष्ठ** शामिल हैं:

- **39,534 बेस संश्लेषित पृष्ठ** DocLayNet, Crello और PubTabNet से, जिसमें 7,131 पृष्ठों के हाथ से लिखे हुए टाइपफेस रेंडरिंग और वास्तविक ग्लिफ कॉपी दोनों शामिल हैं।
- **3,999 हाथ से लिखे हुए पृष्ठ**: 3,000 असंयुक्त DocLayNet-v1.2 पृष्ठ जिन्हें हाथ से लिखे हुए ग्लिफ के साथ रेंडर किया गया है और 999 संश्लेषित पृष्ठ जिनमें iApp हाथ से लिखे हुए क्रॉप चिपकाए गए हैं।
- **2,190 संश्लेषित फॉर्म** जो CommonForms टेम्पलेट से पुनर्निर्मित किए गए हैं, जिनमें फ़ील्ड मानों में सिला हुआ (stitched) ग्लिफ हैं।

सार्वजनिक अंग्रेजी स्रोत मूल दस्तावेज़ और टेम्पलेट प्रदान करते हैं। इस अंतिम रेसिपी के लिए नियंत्रित अध्ययन से कोई भी वास्तविक थाई दस्तावेज़ पृष्ठ स्रोत पृष्ठ के रूप में उपयोग नहीं किया गया है।

इसका अर्थ यह नहीं है कि पाइपलाइन में वास्तविक थाई हाथ से लिखे हुए इनपुट का कोई अभाव है। इसका ग्लिफ बैंक Real Thai Handwriting प्रशिक्षण स्प्लिट से निकाले गए सामग्री को शामिल करता है, और इसके अतिरिक्त पृष्ठों में iApp क्रॉप शामिल हैं। "केवल संश्लेषित" (Synthetic-only) उत्पन्न प्रशिक्षण पृष्ठों और उनके निगरानी (supervision) का वर्णन करता है, न कि डेटा निर्माण में कहीं भी वास्तविक हाथ से लिखे हुए सामग्री के अभाव का।

सभी 0.9B पैरामीटर्स को एक एपोक (epoch) के लिए प्रशिक्षित किया जाता है, जिसमें 3 × 10⁻⁵ की लर्निंग रेट, कॉसाइन शेड्यूल, 0.03 वार्मअप अनुपात और 16 का प्रभावी बैच साइज़ का उपयोग किया जाता है।

### बेंचमार्क हेड-टू-हेड

लेखक ने पांच सेटों का मूल्यांकन किया है: हेल्डआउट प्रिंटेड थाई पृष्ठ (301 पृष्ठ), हाथ से लिखे हुए (200 पृष्ठ), आसान हाथ से लिखे हुए (200 पृष्ठ), ThaiOCRBench और SEA-DocBench का 1,148-पृष्ठ साफ थाई सबसेट।

ThaiOCRBench परिणाम पांच ऑडिट किए गए रीडिंग टास्क पर प्रत्येक एग्रीगेट का औसत निकालते हैं। आसान हाथ से लिखे हुए सेट दो प्रोप्राइटरी हाथ से लिखे हुए रेग्जनिशन सिस्टम के बीच कम असहमति वाले पृष्ठों का चयन करता है।

तुलनात्मक प्रदर्शन: CER प्रतिशत में; कम बेहतर है

बेंचमार्क PaddleOCR-VL-1.6 Wayu-Paxa-OCR-Zero Typhoon OCR 7B Typhoon OCR 1.5 2B Gemini 3.7 Flash (0.9B Base) (0.9B Adapted)

Heldout (Print) - Med 6.64% 1.24% 2.54% 0.21% 0.00% Heldout (Print) - Mean 27.60% 14.75% 18.27% 5.47% 3.56%

Handwriting - Med 74.87% 20.55% 43.60% 19.36% 11.29% Handwriting - Mean 67.90% 22.28% 49.36% 21.86% 15.04%

Easy Handwriting - Med 73.74% 14.18% 34.99% 9.02% 3.89% Easy Handwriting - Mean 69.41% 17.08% 45.06% 15.74% 7.64%

ThaiOCRBench - Med 38.0% 15.3% 30.6% 6.2% 0.9% ThaiOCRBench - Mean 43.3% 25.6% 44.7% 16.8% 3.8%

SEA-DocBench - Med 8.87% 4.86% 9.22% 5.81% 5.51% SEA-DocBench - Mean 18.54% 9.99% 17.57% 12.80% 10.62%


संख्याएं कई उल्लेखनीय उपलब्धियों को उजागर करती हैं:

1. **बेस मॉडल पर महत्वपूर्ण सुधार**: संश्लेषित रेसिपी ने प्रत्येक मूल्यांकन सेट पर मध्यक (median) और माध्य (mean) CER दोनों को कम किया है। प्रिंटेड मध्यक CER 6.64% से घटकर 1.24% हो गया है, और हाथ से लिखे हुए मध्यक CER 74.87% से घटकर 20.55% हो गया है।
2. **लगभग आठ गुना बड़े मॉडल को पीछे छोड़ना**: Wayu-Paxa-OCR-Zero ने पांचों सेटों पर Typhoon OCR 7B को हराया। इसका हाथ से लिखे हुए मध्यक CER 7B मॉडल के 43.60% से आधा से भी कम है।
3. **साफ थाई SEA-DocBench पृष्ठों पर मजबूत परिणाम**: इसका 4.86% मध्यक और 9.99% माध्य CER उस सबसेट पर सभी चार तुलनात्मक सिस्टमों से कम है, जिसमें Gemini 3.7 Flash भी शामिल है।

नया Typhoon OCR 1.5 2B अभी भी अन्य चार मूल्यांकन सेटों पर Wayu-Paxa-OCR-Zero को पीछे छोड़ता है। Gemini 3.7 Flash के पास तीन आंतरिक सेटों और ThaiOCRBench पर सबसे कम CER है।

ये तुलनाएं रिपोर्ट किए गए मूल्यांकन के तहत प्रतिस्पर्धात्मकता स्थापित करती हैं। ये यह स्थापित नहीं करती हैं कि संश्लेषित निगरानी (supervision) अन्य सिस्टमों द्वारा उपयोग किए जाने वाले प्रशिक्षण डेटा से अंतर्नि

## मेट्रिक फंदा: माध्यिका (Median) और माध्य (Mean) अलग-अलग कहानियाँ क्यों बताते हैं

Wayu-Paxa-OCR-Zero के प्रिंटेड परिणामों को करीब से देखें: माध्यिका CER **1.24%** है, लेकिन माध्य CER **14.75%** है।

इतना बड़ा अंतर क्यों?

ये दो एग्रीगेट्स (समूहीकृत मापदंड) अलग-अलग सवालों के जवाब देते हैं:

- **माध्यिका CER** माध्यिका पेज त्रुटि दर है। यह मूल्यांकित पेज वितरण के मध्य को दर्शाता है, बिना किसी विशेष दस्तावेज़ श्रेणी के लिए सटीकता स्थापित किए।
- **माध्य CER** वर्ण-भारित (character-weighted) होता है। लंबे पेज अधिक योगदान देते हैं, और बड़ी त्रुटि दर वाले पेज एग्रीगेट में असमान रूप से योगदान कर सकते हैं।

प्रत्येक रिपोर्ट किए गए नंबर के पीछे एक स्कोरिंग विवरण भी है। कागज़ **प्रोजेक्टेड CER** का उपयोग करता है: मूल्यांकन से पहले भविष्यवाणियों को सामान्यीकृत (normalized) किया जाता है और मूल्यांकित पाठ क्षेत्रों के साथ फज़ली अलाइनमेंट (fuzzy alignment) की जाती है। दावा किए गए स्पांस (spans) के बाहर का पाठ त्याग दिया जाता है, जबकि दावा किए गए स्पांस के भीतर की त्रुटियाँ और गायब मूल्यांकित क्षेत्र शुल्क योग्य (chargeable) रहते हैं।

एल्गोरिदम सामान्यीकरण के दौरान व्हाइटस्पेस और निर्दिष्ट मार्कअप या सामग्री को हटा देता है और प्रत्येक पेज के CER को 100% तक सीमित करता है। रिपोर्ट किया गया माध्य उन सीमित पेज स्कोरों का वर्ण-भारित औसत है। इसलिए, ये अनफिल्टर्ड पूर्ण-दस्तावेज़ ट्रांसक्रिप्शन स्कोर नहीं हैं।

एक सरल काल्पनिक उदाहरण दिखाता है कि एग्रीगेट्स क्यों अलग हो सकते हैं:

दस समान लंबाई के पेज: नौ पेज 1% CER पर एक पेज 85% CER पर

माध्यिका CER: 1% माध्य CER: 9.4%


वास्तविक माध्यिका-माध्य अंतर इस तथ्य के अनुकूल है कि कठिन पेज एग्रीगेट त्रुटि में असमान रूप से योगदान दे रहे हैं। टेबल अकेले विशेष विफलता मोड्स की पहचान नहीं करती या हमें यह नहीं बताती कि कितने पेज उनसे प्रभावित हुए।

वास्तविक-सुपरविजन तुलना इस सीमा को ठोस रूप में लाती है। मेल खाती पेज-स्तरीय प्रशिक्षण के तहत, इन-डोमेन सिंथेटिक (In-Domain Synthetic) रियल थाई प्रिंट के **1.31%** के मुकाबले **1.82%** माध्यिका CER तक पहुँचता है। लेकिन इसका माध्य **16.20%** है, जो वास्तविक प्रिंटेड सुपरविजन के **9.79%** की तुलना में है।

ये वास्तविक-डेटा लेबल Azure OCR और VLM सामान्यीकरण से आते हैं। आंतरिक मूल्यांकन संदर्भ भी सेudo-लेबल हैं, जो Azure OCR और Gemini 2.5 Flash का उपयोग करके तैयार किए गए हैं।

रिकंस्ट्रक्शन दृष्टिकोण इस प्रयोग में सामान्य प्रिंटेड पेज पर वास्तविक सुपरविजन के करीब पहुँचता है, जबकि वर्ण-भारित एग्रीगेट में एक बड़ा अंतर छोड़ देता है।

## यह क्यों महत्वपूर्ण है: डॉक्यूमेंट AI टीमों के लिए एक व्यावहारिक ब्लूप्रिंट

जिन टीमों को थाई या अन्य ऐसे भाषाओं पर काम करना है जिनकी डॉक्यूमेंट एनोटेशन सीमित हैं, उनके लिए यह पेपर एक उपयोगी एक्सपेरिमेंटल प्लेबुक प्रदान करता है। इसके सबसे मजबूत सबक इस बात से जुड़े हैं कि क्या मापना और तुलना करनी है, न कि प्रोडक्शन के लिए सार्वभौमिक नियम।

### 1. Non-Text Context के मूल्य का परीक्षण करें
यहाँ रीटेन किए गए बैकग्राउंड और non-text एलिमेंट्स CER में बहुत कम सुसंगत लाभ लाते हैं। इसलिए, source-page context में भारी निवेश करने से पहले white-background reconstruction एक उपयोगी तुलना है। परिणाम यह नहीं सिद्ध करते कि बिना टेस्ट किए degradation modeling के हर रूप को त्याग दिया जाए।

### 2. Font Diversity को संरक्षित और मूल्यांकन करें
मापा गया प्रोफाइल थाई डॉक्यूमेंट्स को रेंडर करने के लिए एक ठोस शुरुआती बिंदु प्रदान करता है। इसे एक टाइपफेस से बदलने से handwriting transfer को नुकसान होता है। अध्ययन उस single-font baseline की तुलना में diversity का समर्थन करता है; यह यह नहीं दिखाता कि केवल शीर्ष दस या बीस फॉन्ट्स को रीटेन करना पर्याप्त है।

### 3. मॉडल आर्किटेक्चर के अनुसार डेटा एक्सपेरिमेंट्स को मिलाएं
उस training granularity का उपयोग करके candidate source datasets का मूल्यांकन करें जिसका आप इरादा रखते हैं। यहाँ page-level printed recognition के लिए in-domain reconstruction जीतता है, जबकि crop-level recognition के लिए out-of-domain reconstruction जीतता है। न तो कोई परिणाम एक source domain का उपयोग करने की सार्वभौमिक आवश्यकता स्थापित करता है।

### 4. Handwriting के लिए Real-Glyph Banks का परीक्षण करें
इन एक्सपेरिमेंट्स में handwriting typefaces पहले से ही handwriting recognition में सुधार करते हैं। Real glyph instances अतिरिक्त लाभ जोड़ते हैं। इसलिए, एक सत्यापित glyph bank एक वादा करने वाला पूरक है, जिसमें evaluation sources को उस सामग्री से अलग रखा जाए जिसका उपयोग इसे बनाने के लिए किया गया था। अध्ययन एक इष्टतम bank size स्थापित नहीं करता है या real handwriting supervision के लिए अंतर को समाप्त नहीं करता है।

### 5. सामान्य पेज से परे मूल्यांकन करें
कम मीडियन केवल परिणाम का एक हिस्सा है। बड़ा character-weighted error मुश्किल पेजों को किसी भी follow-up evaluation का एक महत्वपूर्ण हिस्सा बनाता है। पेपर production acceptance rates, confidence calibration, या एक सत्यापित routing system की रिपोर्ट नहीं करता है, इसलिए इसके benchmark scores उन deployment properties को स्थापित नहीं कर सकते हैं। ध्यान दें कि अंग्रेजी OCR में अच्छा प्रदर्शन करने का मतलब यह नहीं है कि देवनागरी लिपि में भी वही सटीकता प्राप्त होगी, क्योंकि देवनागरी की जटिल संयुक्त अक्षरों और शिरोरेखा संरचनाओं को संभालना एक अलग चुनौती है।

## संश्लेषित दस्तावेज़ पार्सिंग के लिए क्षितिज

Wayu-Paxa-OCR-Zero यह दर्शाता है कि संश्लेषित दस्तावेज़ पुनर्निर्माण (synthetic document reconstruction) प्रतिस्पर्धी थाई OCR अनुकूलन का समर्थन कर सकता है। एक सब-बिलियन-पैरामीटर मॉडल अपने बेस चेकपॉइंट में उल्लेखनीय सुधार करता है और पांच मूल्यांकन सेटों पर Typhoon OCR 7B को पीछे छोड़ देता है, बिना उस अनुकूलन के लिए वास्तविक थाई पृष्ठों को स्रोत दस्तावेज़ों के रूप में उपयोग किए।

यह परिणाम तब सबसे मजबूत होता है जब इसके सीमांकन स्पष्ट रहते हैं: वास्तविक हाथ से लिखे गए सामग्री संश्लेषित पृष्ठों में योगदान देते हैं, नए तुलनात्मक सिस्टम कई सेटों पर उल्लेखनीय लाभ बनाए रखते हैं, और गंभीर त्रुटियां महत्वपूर्ण बनी रहती हैं।

खुले प्रश्न ठोस अगले प्रयोगों की ओर इशारा करते हैं:

- **व्यापक हाथ से लिखे गए अक्षरों में विविधता**: वास्तविक ग्लिफ़ सहायक होते हैं, लेकिन नियंत्रित मॉडल वास्तविक हाथ से लिखे गए पृष्ठों के साथ प्रशिक्षण के पीछे हैं। एक बड़े ग्लिफ़ बैंक के प्रभाव का परीक्षण अभी बाकी है।
- **क्रॉप बनाम पेज उलटफेर को समझना**: स्रोत-डोमेन उलटफेर उल्लेखनीय है, लेकिन इसका कारण अज्ञात है। इसे समझना यह समझने में मदद कर सकता है कि प्रशिक्षण के प्रत्येक दानेदार स्तर पर कौन सी पुनर्निर्माण विशेषताएं स्थानांतरित होती हैं।
- **कुल त्रुटि अंतर को कम करना**: संश्लेषित पुनर्निर्माण मध्यक CER पर वास्तविक मुद्रित निगरानी के करीब पहुंचता है, जबकि अक्षर-भारित माध्य CER पर स्पष्ट रूप से पीछे रहता है। सामान्यीकरण को बेहतर बनाने के लिए व्यापक लेआउट, टाइपोग्राफी और हाथ से लिखे गए अक्षरों की कवरेज अभी भी दिशाएं हैं।

दस्तावेज़ AI के लिए, यह पेपर "डेटा गुणवत्ता" को एक अधिक परीक्षण योग्य अर्थ देता है। टाइपफेस विविधता, द्वि-आयामी संरचना, ग्लिफ़ विविधता और प्रशिक्षण दानेदारता को अलग-अलग बदला और मूल्यांकित किया जा सकता है। यह रेसिपी का सबसे उपयोगी योगदान है: एक तरीका जिससे यह जांचा जा सके कि कौन से संश्लेषित तत्व अपनी जगह कमाते हैं।

सिंथेटिक डेटा थाई OCR को कितना आगे ले जा सकता है? 1.24% मीडियन CER तक पहुंचने वाले रेसिपी के अंदर