हैलुसिनेशन लूप को तोड़ना: कैसे TOLA डिफ्यूजन टेक्स्ट सुपर-रिज़ॉल्यूशन को सिर्फ एक स्टेप में पूरा करता है

धुंधला (blurry) टेक्स्ट इमेज रीस्टोरेशन के लिए एक विशिष्ट चुनौती पेश करता है। किसी ख़राब या डिग्रेडेड क्रॉप (degraded crop) में एक भी छूटा हुआ या आपस में जुड़ा हुआ स्ट्रोक पाठक के लिए कैरेक्टर की पहचान बदल सकता है, भले ही रीस्टोर की गई इमेज देखने में कितनी भी शार्प क्यों न लगे। इसलिए टेक्स्ट इमेज सुपर-रिज़ॉल्यूशन (text image super-resolution) को विज़ुअल डिटेल्स को रिकवर करने के साथ-साथ कैरेक्टर की पहचान (character identity) को भी सुरक्षित रखना होता है।

सामान्य इमेज सुपर-रिज़ॉल्यूशन के तरीके विशेष रूप से इस दूसरी आवश्यकता के लिए डिज़ाइन नहीं किए गए हैं। वे किसी इमेज के विज़ुअल अपीयरेंस को तो सुधार सकते हैं, लेकिन उसके टेक्स्ट ट्रांसक्रिप्शन को विश्वसनीय रूप से रीस्टोर नहीं कर पाते। यह अंतर गंभीर डिग्रेडेशन की स्थिति में सबसे अधिक महत्वपूर्ण हो जाता है, जब इनपुट किसी बारीक स्ट्रोक या अस्पष्ट कैरेक्टर के बारे में बहुत कम साक्ष्य प्रदान करता है।

डिफ्यूजन मॉडल्स (Diffusion models) स्वाभाविक लगने वाली हाई-फ़्रीक्वेंसी डिटेल्स जनरेट करने का एक प्रभावी साधन प्रदान करते हैं। हालाँकि, टेक्स्ट के मामले में केवल संभावित डिटेल्स ही पर्याप्त नहीं हैं: किसी गलत कैरेक्टर का बेहद स्पष्ट (crisp) रीकंस्ट्रक्शन भी आखिरकार एक त्रुटि ही है।

Yike Xu, Yue Shi, Yong Guo और Jiezhang Cao द्वारा 24 सितंबर, 2026 को प्रकाशित एक शोध-पत्र TOLA (Text-aware One-step Latent Adaptation) प्रस्तुत करता है। यह डिफ्यूजन-आधारित टेक्स्ट इमेज सुपर-रिज़ॉल्यूशन में लेखकों द्वारा पहचानी गई दो सीमाओं को हल करता है: इटरेटिव प्रेडिक्शन की लेटेंसी और यह जोखिम कि एक गलत टेक्स्ट प्रायर बार-बार इमेज रीस्टोरेशन को प्रभावित करेगा। शोध-पत्र के मापे गए सेटअप में, TOLA प्रति इमेज औसत इन्फेरेंस समय को DiffTSR के 9.9548 सेकंड से घटाकर 0.1319 सेकंड कर देता है, और साथ ही इमेज क्वालिटी व रिकॉग्निशन मेट्रिक्स दोनों में सुधार लाता है।

यहाँ जानिए कि TOLA शोध-पत्र इस फ़ेलियर मोड को कैसे स्पष्ट करता है, इसका वन-स्टेप पाथ कैसे काम करता है, और इसके मूल्यांकन क्या सिद्ध करते हैं।

इटरेटिव टेक्स्ट डिफ्यूजन में हैलुसिनेशन का जाल

DiffTSR एक मॉड्युलेटेड मल्टीमॉडल (MoM) मॉड्यूल के ज़रिए इमेज डिफ्यूजन मॉडल (IDM) को टेक्स्ट डिफ्यूजन मॉडल (TDM) के साथ जोड़ता है। इसका रिपोर्ट किया गया इन्फेरेंस रूट एक लो-रिज़ॉल्यूशन टेक्स्ट क्रॉप को रीस्टोर करने के लिए IDM और TDM दोनों का 200-200 बार मूल्यांकन करता है।

इस दोहराव की एक स्पष्ट लागत होती है। एक NVIDIA RTX PRO 6000 GPU पर, यह पेपर DiffTSR के लिए प्रति 128 × 512 इमेज 9.9548 सेकंड की रिपोर्ट करता है, साथ ही इसके संपूर्ण रीस्टोरेशन ट्रैजेक्टरी के लिए 59,213.970 G MACs की आवश्यकता होती है। ये आंकड़े 100 निर्धारित टेस्ट इमेजेस पर सिंक्रोनाइज़्ड, बैच-साइज़-वन मापों से प्राप्त होते हैं; ये किसी संपूर्ण डॉक्यूमेंट-प्रोसेसिंग सिस्टम का माप नहीं हैं।

लेखक लेटेंसी के अलावा एक दूसरे जोखिम की भी पहचान करते हैं। किसी ख़राब इमेज से निकाला गया टेक्स्ट प्रायर गलत हो सकता है। यदि वह प्रायर बार-बार डिनॉइज़िंग (denoising) का मार्गदर्शन करता है, तो विकसित होती इमेज और टेक्स्ट प्रेडिक्शन्स उस शुरुआती गलती को और पुख्ता कर सकते हैं, जिससे एक शार्प लेकिन गलत कैरेक्टर बन जाता है। शोध-पत्र इसे अलग-अलग डिनॉइज़िंग स्टेप्स में किसी विशिष्ट गलत कैरेक्टर को ट्रैक करने के बजाय, इटरेटिव इमेज-टेक्स्ट रिफ़ाइनमेंट को हटाने की मुख्य प्रेरणा के रूप में प्रस्तुत करता है।

इसके रिकॉग्निशन डायग्नोस्टिक्स CTR-TSR-Test ×4 पर इस समस्या के पैमाने को दर्शाते हैं। 8,089 इमेजेस में, DiffTSR ने पेपर के नॉर्मलाइज़्ड TransOCR मूल्यांकन के तहत कैरेक्टर स्तर पर 18,469 बदलाव (edits) किए, जिनमें 14,657 सब्स्टीट्यूशन शामिल थे। जिन इमेजेस का प्रेडिक्टेड टेक्स्ट प्रायर गलत था, उनमें DiffTSR की इमेज-लेवल सटीक-मिलान ट्रांसक्रिप्शन सटीकता (image-level exact-match transcription accuracy) 10.43% थी। ये माप अविश्वसनीय प्रायर और खराब रिकॉग्निशन के बीच एक संबंध को उजागर करते हैं; ये यह साबित नहीं करते कि हर बदलाव दोनों मॉडल्स के बीच फीडबैक के कारण ही हुआ था।

PRISM तुलना का एक नजदीकी बिंदु प्रस्तुत करता है। यह एकल इमेज-रीकंस्ट्रक्शन स्टेप का उपयोग करता है, लेकिन इसके टेक्स्ट-प्रायर रिकवरी में अभी भी 16 Euler स्टेप्स लगते हैं। TOLA का तरीका अपने टेक्स्ट कंडीशन को केवल एक बार तैयार करता है और इन्फेरेंस के दौरान TDM को पूरी तरह छोड़ देता है।

डिनॉइज़िंग ट्रैजेक्टरी से सेमेन्टिक्स को अलग करना

TOLA का केंद्रीय विचार यह है कि टेक्स्ट गाइडेंस को इमेज प्रेडिक्शन से पहले चुना जा सकता है, जबकि बची हुई विज़ुअल गलतियों को बाद में क्लीन लेटेंट स्पेस (clean latent space) में सुधारा जा सकता है। इन दोनों कार्यों के लिए एक साझा इटरेटिव ट्रैजेक्टरी की आवश्यकता नहीं है।

इसके इन्फेरेंस पाथ के दो भाग हैं:

1. टेक्स्ट गाइडेंस को एक बार बनाना: एक फ्रोज़न रिकॉग्नाइज़र (frozen recognizer) टोकन्स और टोकन-वार कॉन्फिडेंस स्कोर प्रेडिक्ट करता है। इमेज मॉडल द्वारा उपयोग की जाने वाली कंडीशन को MoM द्वारा तैयार करने से पहले, TOLA टोकन एम्बेडिंग्स को उन्हीं स्कोर्स के आधार पर वेट करता है।
2. इमेज लेटेंट का प्रेडिक्शन और सुधार: अनुकूलित IDM केवल एक नॉइज़ प्रेडिक्शन करता है। इसके बाद एक कॉम्पैक्ट लेटेंट रेसिडुअल करेक्शन (LRC) मॉड्यूल डिकोडिंग से पहले परिणामी क्लीन-लेटेंट अनुमान को एडजस्ट करता है।

प्रत्येक इनपुट के लिए, TOLA केवल एक-एक बार TransOCR, VAE एन्कोडर, MoM, IDM U-Net, LRC, और VAE डिकोडर को चलाता है। इसमें TDM को रन नहीं किया जाता।

अनिश्चित टेक्स्ट के लिए कॉन्फिडेंस वेटिंग

TOLA 128 × 512 कैनवास पर एक ख़राब लो-रिज़ॉल्यूशन इमेज $x_{LR}$ से शुरुआत करता है। एक फ्रोज़न TransOCR इंस्टेंस टेक्स्ट टोकन्स और प्रत्येक टोकन के लिए एक कॉन्फिडेंस स्कोर $\alpha$ प्रेडिक्ट करता है। कैरेक्टर नॉर्मलाइज़ेशन और वोकैबुलरी मैपिंग के बाद, TOLA एम्बेडिंग्स को वेट करता है:

$$\alpha \odot \text{Emb}(\tilde{c})$$

यह मल्टिप्लिकेशन प्रत्येक प्रेडिक्टेड टोकन की एम्बेडिंग को उसके संबंधित कॉन्फिडेंस स्कोर के अनुसार स्केल करता है। शोध-पत्र बिना किसी कैलिब्रेशन या थ्रेशोल्ड के रॉ कॉन्फिडेंस वेटिंग निर्दिष्ट करता है। इसलिए कम कॉन्फिडेंस वाला टोकन MoM में एक छोटा एम्बेडिंग योगदान देता है, जो सेमेन्टिक कंडीशन $C_{cond}$ को केवल एक बार बनाता है।

यह अनिश्चित OCR प्रेडिक्शन्स के प्रभाव को कम करता है; हालाँकि यह गारंटी नहीं देता कि किसी गलत प्रेडिक्शन को पूरी तरह नज़रअंदाज़ कर दिया जाएगा। न ही पेपर यह दावा करता है कि कॉन्फिडेंस स्कोर प्रत्येक त्रुटि को विश्वसनीय रूप से पहचानते हैं। विज़ुअल लेटेंट भी MoM की कंडीशनिंग गणना में प्रवेश करता है, और IDM अपने नॉइज़ी लेटेंट के साथ-साथ लो-रिज़ॉल्यूशन लेटेंट भी प्राप्त करता है।

एब्लेशन इस वेटिंग के योगदान का एक ठोस माप प्रदान करता है। एकसमान कॉन्फिडेंस वैल्यूज़ की तुलना में, पूर्ण कॉन्फिडेंस-वेटेड मॉडल TransOCR की सटीक-मिलान सटीकता को 0.5258 से सुधारकर 0.5401 करता है, जो 1.43 प्रतिशत अंकों की बढ़त है। PSNR 24.6159 से बढ़कर 24.8095 dB हो जाता है, जबकि FID 16.9615 से घटकर 12.6849 पर आ जाता है। ये परिणाम परीक्षण किए गए मॉडल और बेंचमार्क के लिए हैं, यह कोई सामान्य गारंटी नहीं है कि अनकैलिब्रेटेड कॉन्फिडेंस अन्य पाइपलाइनों में भी गलतियों को रोकेगा।

नॉइज़ी लेटेंट से सिंगल-स्टेप रीकंस्ट्रक्शन

VAE एन्कोडर ख़राब इमेज को एक अनस्केल्ड थ्री-चैनल लेटेंट $z_{LR}$ में मैप करता है। TOLA एक गाउसीयन नॉइज़ सैंपल $\epsilon$ लेता है और DiffTSR के 1,000-स्टेप लीनियर शेड्यूल के फिक्स्ड, ज़ीरो-इंडेक्स्ड टाइमस्टेप $t = 999$ पर एक नॉइज़ी लेटेंट का निर्माण करता है। इसके शेड्यूल एंडपॉइंट्स $\beta_0 = 0.0015$ और $\beta_{999} = 0.0205$ हैं:

$$z_t = \sqrt{\bar{\alpha}t}z{LR} + \sqrt{1-\bar{\alpha}_t}\epsilon$$

यह $z_{LR}$ का एक नॉइज़ी वर्ज़न है, न कि इनपुट को पूरी तरह शुद्ध नॉइज़ से बदलना। TOLA रिवर्स डिनॉइज़िंग चेन से गुजरने के बजाय सीधे चयनित टाइमस्टेप पर $z_t$ बनाता है।

IDM U-Net चैनल-वार कॉनकैटनेशन $[z_t,z_{LR}]$ और MoM की टेक्स्ट कंडीशन $C_{cond}$ प्राप्त करता है। लेखक आधिकारिक CTR-प्रशिक्षित DiffTSR चेकपॉइंट से शुरुआत करते हैं, इसके बेस वेट्स को फ्रीज करते हैं, और योग्य IDM व VAE-एन्कोडर लेयर्स में रैंक-4 LoRA एडेप्टर्स को ट्रेन करते हैं। LoRA स्केलिंग पैरामीटर $\alpha=4$ है; यहाँ यह प्रतीक ऊपर बताए गए टोकन-कॉन्फिडेंस स्कोर्स से अलग, एक LoRA सेटिंग को दर्शाता है।

अनुकूलित IDM एक बार नॉइज़ $\hat{\epsilon}_{\theta}$ का प्रेडिक्शन करता है। चूँकि विरासत में मिला DiffTSR मॉडल नॉइज़ प्रेडिक्ट करता है, इसलिए TOLA सीधे एक प्रारंभिक क्लीन-लेटेंट अनुमान की गणना करता है:

$$\hat{z}_0=\frac{z_t-\sqrt{1-\bar{\alpha}t}\hat{\epsilon}{\theta}}{\sqrt{\bar{\alpha}_t}}$$

इस गणना के बाद कोई रिवर्स अपडेट नहीं होता। यह अनुमान सीधे LRC के पास भेजा जाता है।

लेटेंट रेसिडुअल करेक्शन के साथ संरचनात्मक विकृतियों को ठीक करना

एक सिंगल नॉइज़ प्रेडिक्शन क्लीन-लेटेंट अनुमान में संरचित त्रुटियां (structured errors) छोड़ सकता है, विशेष रूप से बारीक स्ट्रोक्स, सीमाओं (boundaries) और अस्पष्ट स्थानीय पैटर्न्स के आसपास। TOLA किसी अन्य इटरेटिव रिफ़ाइनमेंट प्रक्रिया के बजाय एक छोटे सुधार मॉड्यूल के साथ उन त्रुटियों को हल करता है।

LRC सबसे पहले लो-रिज़ॉल्यूशन लेटेंट और प्रारंभिक क्लीन अनुमान के बीच के रेसिडुअल को परिभाषित करता है:

$$r=z_{LR}-\hat{z}_0$$

यह सिक्स-चैनल कॉनकैटनेशन $[z_{LR},r]$ लेता है और एक सुधार $\Delta r$ का प्रेडिक्शन करता है। इस मॉड्यूल में 6 से 32 चैनलों का एक $1\times1$ प्रोजेक्शन, तीन रेसिडुअल डेंस ब्लॉक्स से युक्त एक रेसिडुअल-इन-रेसिडुअल डेंस ब्लॉक, और वापस 3 चैनलों में एक $1\times1$ प्रोजेक्शन शामिल है। प्रत्येक डेंस ब्लॉक 16 की ग्रोथ विड्थ के साथ पांच डेंसली कनेक्टेड $3\times3$ कन्वेल्यूशन्स का उपयोग करता है; रेसिडुअल स्केलिंग 0.2 है।

आउटपुट प्रोजेक्शन को शून्य पर इनिशियलाइज़ किया जाता है। इसलिए ट्रेनिंग की शुरुआत में LRC $\hat{z}_0$ को अपरिवर्तित छोड़ देता है। जैसे-जैसे यह सीखता है, इसका प्रेडिक्टेड सुधार रेसिडुअल को बदलता है:

$$r_{\text{corr}}=r+\Delta r$$ $$\hat{z}{0,\text{corr}}=z{LR}-r_{\text{corr}}$$

सुधारे गए लेटेंट को इनहेरिटेड स्केल $s=0.18215$ से विभाजित किया जाता है और $x_{SR}$ उत्पन्न करने के लिए फ्रोज़न VAE डिकोडर से गुजारा जाता है।

LRC में 180,323 पैरामीटर्स हैं। 2,027,520 IDM LoRA पैरामीटर्स और 250,548 VAE-एन्कोडर LoRA पैरामीटर्स के साथ मिलकर, TOLA कुल 2,458,391 अनुकूलन पैरामीटर्स को ऑप्टिमाइज़ और सेव करता है। यह संख्या केवल पैरामीटर काउंट है, कोई फ़ाइल-साइज़ का दावा नहीं। इन्फेरेंस अभी भी प्रीट्रेन्ड बैकबोन का उपयोग करता है।

Degraded image (x_LR)
   ├──> TransOCR ──> tokens + confidences ──> weighted embeddings ──┐
   │                                                                 │
   └──> VAE encoder ──> z_LR ──> q-sampling at t=999 ──> z_t          │
                            │                          │             │
                            └──────────> MoM <─────────┘ <───────────┘
                                          │
                                       C_cond
                                          │
                         [z_t, z_LR] ──> IDM U-Net
                                          │ one noise prediction
                                          v
                                  Clean latent estimate
                                          │
                               LRC residual correction
                                          │
                                   VAE decoder
                                          │
                                          v
                                 Restored image (x_SR)

बेंचमार्क परिणाम: स्पीड, फिडेलिटी और स्वतंत्र जांच

लेखक 8,089-पेयर CTR-TSR-Test ×4 बेंचमार्क और RealCE-200 में 200 पेयर्ड रियल-इमेज क्रॉप्स पर TOLA का मूल्यांकन करते हैं। वे RT50 पर भी गुणात्मक परिणाम दिखाते हैं, जो कि 50 वास्तविक टेक्स्ट इनपुट्स का एक सेट है।

CTR-TSR-Test (×4 अपस्केलिंग)

पेपर के एकीकृत मूल्यांकन प्रोटोकॉल के तहत, TOLA सभी नौ रिपोर्ट किए गए CTR-TSR-Test मेट्रिक्स पर DiffTSR को पछाड़ देता है:

• इन्फेरेंस लेटेंसी: मापे गए बैच-साइज़-वन सेटअप में DiffTSR के 9.9548 सेकंड के मुकाबले TOLA के लिए प्रति इमेज 0.1319 सेकंड, यानी 75.5× स्पीडअप।
• रीस्टोरेशन MACs: संपूर्ण DiffTSR ट्रैजेक्टरी के 59,213.970 G की तुलना में 297.497 G। इन गणनाओं में VAEs और सहायक टेक्स्ट मॉड्यूल शामिल नहीं हैं।
• PSNR: 20.5958 dB के मुकाबले 24.8095 dB, यानी 4.2137 dB की बढ़त।
• इमेज-क्वालिटी मेट्रिक्स: SSIM 0.6261 से बढ़कर 0.7235 हो जाता है, जबकि FID 24.9120 से गिरकर 12.6849 पर आ जाता है।
• TransOCR रिकॉग्निशन: इमेज-लेवल सटीक-मिलान सटीकता 0.4645 से बढ़कर 0.5401 हो जाती है; नॉर्मलाइज़्ड एडिट-डिस्टेंस समानता 0.6519 से बढ़कर 0.7370 हो जाती है।

तालिका में प्रकाशित PRISM के आंकड़े भी शामिल हैं, लेकिन PRISM ने एक अलग BTL-test ×4 और PP-OCRv5 प्रोटोकॉल का उपयोग किया था। इसके रिपोर्ट किए गए आंकड़े केवल एक क्रॉस-प्रोटोकॉल संदर्भ हैं, इसलिए यह सीधा संख्यात्मक दावा करना भ्रामक होगा कि TOLA ने उसी CTR-TSR-Test मूल्यांकन पर PRISM को हराया है।

स्वतंत्र OCR क्रॉस-चेक

TOLA के अध्ययन में TransOCR की कई भूमिकाएँ हैं: अलग-अलग फ्रोज़न इंस्टेंस कंडीशनिंग और रिकॉग्निशन-लॉस सुपरविज़न प्रदान करते हैं, और TransOCR एक प्राथमिक मूल्यांकन मीट्रिक भी प्रदान करता है। इसलिए लेखक एक स्वतंत्र पहचान जांच के रूप में PaddleOCR को जोड़ते हैं। PaddleOCR का उपयोग कंडीशनिंग, ट्रेनिंग, वैलिडेशन या चेकपॉइंट चयन के लिए नहीं किया जाता है।

यह जांच भी उसी दिशा की ओर संकेत करती है। PaddleOCR सटीक-मिलान सटीकता DiffTSR के 0.3970 से बढ़कर TOLA के लिए 0.4626 हो जाती है, जो कि 6.56 प्रतिशत अंकों का सुधार है। PaddleOCR नॉर्मलाइज़्ड एडिट-डिस्टेंस समानता 0.5873 से बढ़कर 0.6585 हो जाती है। एक स्वतंत्र रिकॉग्नाइज़र इस परिणाम को मजबूती देता है, हालांकि यह मूल्यांकन को डेटासेट या प्रोटोकॉल के हर संभावित प्रभाव से पूरी तरह मुक्त नहीं करता।

वास्तविक इमेज मूल्यांकन: RealCE-200 और RT50

RealCE-200 के लिए, लेखक RealCE वैलिडेशन स्प्लिट से 200 पेयर्ड क्रॉप्स तैयार करते हैं। लो-रिज़ॉल्यूशन और रेफरेंस ऑब्जर्वेशन्स समान टेक्स्ट-एनोटेशन निर्देशांकों का उपयोग करते हुए, मैच्ड आधिकारिक 13 mm और 52 mm फोकल इमेजेस से आते हैं। इस सेट को ट्रेनिंग, वैलिडेशन और चेकपॉइंट चयन से बाहर रखा गया है।

TOLA सभी छह RealCE-200 मेट्रिक्स पर तुलना की गई विधियों से आगे है। यह 19.2240 dB PSNR और 0.6199 SSIM तक पहुंचता है, जबकि DiffTSR का स्कोर 17.6287 dB और 0.5970 है। PaddleOCR सटीक-मिलान सटीकता TOLA के लिए 0.5100 और DiffTSR के लिए 0.4300 है।

RT50 एक अलग उद्देश्य की पूर्ति करता है। इसमें 50 वास्तविक इनपुट्स शामिल हैं—17 चीनी, 17 अंग्रेज़ी, और 16 सांख्यिक सैंपल्स—जिन्हें अलग-अलग कैप्चर स्थितियों को कवर करने के लिए चुना गया है। शोध-पत्र इस सेट पर गुणात्मक तुलना प्रस्तुत करता है; यह RT50 के लिए किसी पेयर्ड-रेफरेंस स्कोर या प्रोडक्शन फील्ड ट्रायल की रिपोर्ट नहीं करता है।

एब्लेशन वास्तव में क्या दर्शाते हैं

शोध-पत्र के नियंत्रित वेरिएंट्स अनुकूलन (adaptation), रेसिडुअल सुधार, और टेक्स्ट कंडीशनिंग के अलग-अलग योगदान को अलग करने में मदद करते हैं।

पहला, LoRA वन-स्टेप एडेप्टेशन का अधिकांश भार संभालता है, जबकि LRC रीकंस्ट्रक्शन को बेहतर बनाता है। एक फ्रोज़न वन-स्टेप पाथ 20.0416 dB PSNR और 119.4517 FID स्कोर करता है। केवल LoRA वाला वेरिएंट 24.4220 dB और 12.7420 FID तक पहुंचता है। LRC जोड़ने से PSNR में 0.3847 dB की वृद्धि होती है, SSIM में 0.0127 का सुधार होता है, और LPIPS में 0.0121 की कमी आती है।

अकेले LRC से रिकॉग्निशन में आने वाला बदलाव कम निश्चित है। शोध-पत्र का पेयर्ड विश्लेषण सटीक-मिलान सटीकता में एक मामूली बदलाव की रिपोर्ट करता है जिसका मैकनेमार टेस्ट (McNemar test) सांख्यिकीय रूप से महत्वपूर्ण नहीं है ($p=0.584$)। उपलब्ध साक्ष्य अलग से रिकॉग्निशन लाभ की तुलना में LRC के इमेज-रीकंस्ट्रक्शन लाभ का अधिक मजबूती से समर्थन करते हैं।

दूसरा, पैरामीटर-मैच्ड प्लेन सुधार परीक्षण किए गए LRC डिज़ाइन की तुलना में खराब प्रदर्शन करता है। LRC को पेपर की साधारण रेसिडुअल-करेक्शन बेसलाइन से बदलने पर PSNR 24.8095 से घटकर 23.9846 dB हो जाता है और FID 12.6849 से बढ़कर 16.9340 हो जाता है। यह तुलना दर्शाती है कि यह लाभ केवल पैरामीटर काउंट के कारण नहीं है। हालाँकि यह अलग से यह स्पष्ट नहीं करता कि डेंस-ब्लॉक डिज़ाइन की कौन-सी व्यक्तिगत विशेषता इस अंतर का कारण बनती है।

तीसरा, चुना गया टाइमस्टेप रिपोर्ट किए गए मेट्रिक्स को संतुलित करता है। एक फिक्स्ड-चेकपॉइंट इन्फेरेंस नियंत्रण में, $t=949$, $t=999$ की तुलना में थोड़ा अधिक PSNR देता है—24.8067 dB के मुकाबले 24.9307 dB—लेकिन इसके LPIPS, DISTS और FID खराब आते हैं। $\epsilon=0$ सेट करने से भी डिफ़ॉल्ट की तुलना में PSNR कम होता है और FID बिगड़ता है। लेखक अपने परीक्षण किए गए सेटिंग्स में सर्वश्रेष्ठ समग्र परिणाम के लिए $t=999$ का चयन करते हैं।

दस्तावेज़-प्रसंस्करण पाइपलाइनों के लिए इसके क्या मायने हैं

TOLA एक सीमित लेकिन उपयोगी प्रगति दर्शाता है: यह साबित करता है कि डिफ्यूजन-आधारित टेक्स्ट सुपर-रिज़ॉल्यूशन शोध-पत्र के मापे गए रीस्टोरेशन और रिकॉग्निशन परिणामों को बेहतर बनाते हुए भी इटरेटिव टेक्स्ट-और-इमेज प्रक्रिया से बच सकता है। हालांकि, व्यावहारिक रूप से यह याद रखना भी आवश्यक है कि अंग्रेज़ी में सशक्त OCR प्रदर्शन का यह अर्थ बिल्कुल नहीं है कि वह देवनागरी जैसी जटिल मात्राओं और संयुक्ताक्षरों वाली लिपियों पर भी उतना ही खरा उतरेगा। इन प्रयोगों से तीन मुख्य डिज़ाइन सबक सामने आते हैं।

1. वन-स्टेप रीस्टोरेशन लेटेंसी के गणित को बदल देता है

प्रति क्रॉप लगभग दस सेकंड से घटकर 0.1319 सेकंड पर आना एक उल्लेखनीय गिरावट है। यह TOLA को 200-स्टेप वाले DiffTSR रूट की तुलना में लक्षित रीस्टोरेशन चरण के लिए अधिक व्यावहारिक बनाता है। हालांकि, एंड-टू-एंड थ्रूपुट अभी भी क्रॉप डिटेक्शन, बैचिंग, हार्डवेयर, डेटा मूवमेंट और संपूर्ण OCR सिस्टम के बाकी हिस्सों पर निर्भर करेगा; यह पेपर किसी डिप्लॉयड डॉक्यूमेंट पाइपलाइन के बजाय फिक्स्ड इमेजेस पर केवल मॉडल इन्फेरेंस को मापता है।

2. अनिश्चित टेक्स्ट मार्गदर्शन का प्रभाव कम होना चाहिए

रिपोर्ट किए गए एब्लेशन में TOLA की कॉन्फिडेंस-वेटेड कंडीशन एकसमान वेटिंग से बेहतर प्रदर्शन करती है। यह इस बात का समर्थन करता है कि जब अनिश्चित OCR टोकन्स रीकंस्ट्रक्शन का मार्गदर्शन करते हैं, तो उनके प्रभाव को सीमित किया जाना चाहिए। साथ ही यह एक महत्वपूर्ण सीमा भी तय करता है: वेटिंग उस जानकारी को वापस नहीं ला सकती जिसे ख़राब इमेज और रिकॉग्नाइज़र दोनों ही पकड़ पाने में असमर्थ रहे हों।

3. एक छोटा अनुकूलन स्टेट बड़े प्रीट्रेन्ड मॉडल को बदल सकता है

लेखक DiffTSR बैकबोन को दोबारा ट्रेन करने के बजाय केवल रैंक-4 LoRA एडेप्टर्स और LRC को ट्रेन करते हैं। उनका 2.46 मिलियन पैरामीटर्स वाला एडेप्टेशन स्टेट रिटेन किए गए प्रीट्रेन्ड मॉडल की तुलना में बहुत छोटा है, और वे चार NVIDIA RTX PRO 6000 GPUs पर लगभग 55 घंटे के प्रशिक्षण की रिपोर्ट करते हैं। किसी अन्य टीम के लिए यह दृष्टिकोण अधिक किफायती होगा या नहीं, यह प्रीट्रेन्ड चेकपॉइंट की उपलब्धता, उपयुक्त डेटा और उनके अपने प्रशिक्षण व इन्फेरेंस सेटअप की लागत पर निर्भर करता है।

साक्ष्य कहाँ तक सीमित हैं

TOLA के डायग्नोस्टिक्स उन सीमाओं को भी दर्शाते हैं जो परिणामों का विश्लेषण करते समय मायने रखती हैं:

• गलत टेक्स्ट प्रायर अभी भी एक चुनौती हैं: जब प्रेडिक्टेड TransOCR प्रायर ग्राउंड ट्रुथ से मेल खाता है, तो TOLA की इमेज-लेवल सटीक-मिलान ट्रांसक्रिप्शन सटीकता 0.9683 होती है। लेकिन जब यह गलत होता है, तो सटीकता गिरकर 0.2217 रह जाती है (उसी गलत-प्रायर समूह में DiffTSR के 0.1043 की तुलना में)। ऑरेकल कंडीशन के रूप में ग्राउंड-ट्रुथ टेक्स्ट देने पर TOLA की समग्र सटीकता 0.5401 से बढ़कर 0.6253 हो जाती है। यह अंतर बेहतर सेमेन्टिक मार्गदर्शन की गुंजाइश को तो दिखाता है, लेकिन यह स्थापित नहीं करता कि भविष्य का कौन-सा रिकॉग्नाइज़र या मॉडल इस खाई को पाट सकेगा।

• रिपोर्ट किए गए परीक्षण एक निश्चित कैनवास और निर्धारित डेटासेट्स का उपयोग करते हैं: ट्रेनिंग और एकीकृत पेयर्ड मूल्यांकन में 128 × 512 इमेजेस का उपयोग किया गया है। शोध-पत्र अनपेक्षित डॉक्यूमेंट लेआउट्स का मूल्यांकन नहीं करता है और न ही यह स्थापित करता है कि अपस्ट्रीम क्रॉप डिटेक्टर परिणामों को कैसे प्रभावित करेगा।

• लेटेंसी का परिणाम हार्डवेयर-विशिष्ट है: 0.1319 सेकंड का आंकड़ा बैच साइज़ एक पर एक RTX PRO 6000 GPU से प्राप्त हुआ है। इसी टाइमिंग तालिका में अधिक तेज़ फ़ीडफ़ॉरवर्ड विधियाँ भी मौजूद हैं—उदाहरण के लिए, NAFNet 0.0324 सेकंड लेता है और TSRN 0.0148 सेकंड लेता है—हालाँकि उनके रीस्टोरेशन और रिकॉग्निशन स्कोर्स में अंतर है। पेपर CPU या सर्वरलेस इन्फेरेंस लागतों की रिपोर्ट नहीं करता है।

TOLA का परिणाम उस प्रश्न पर सबसे ठोस है जिसका वह सीधे परीक्षण करता है: क्या उच्च गुणवत्ता प्राप्त करने के लिए टेक्स्ट-अवेयर डिफ्यूजन रीस्टोरेशन को बार-बार इमेज और टेक्स्ट प्रेडिक्शन्स की आवश्यकता होती है। लेखकों के बेंचमार्क पर, केवल एक बार कॉन्फिडेंस-वेटेड गाइडेंस तैयार करना, एक IDM प्रेडिक्शन करना, और इसके लेटेंट रेसिडुअल को ठीक करना, तुलना किए गए DiffTSR तरीके से काफी कम समय में बेहतर परिणाम प्रदान करता है।