GPT-5 को असफल बनाने के लिए बनाया गया OCR बेंचमार्क

एक स्कैम विज्ञापन का स्क्रीनशॉट लें जो आपने शायद देखा होगा: एक "ग्राहक सेवा" फ़ोन नंबर जो एक अस्थिर, अर्ध-पारदर्शी फ़ॉन्ट में प्रस्तुत किया गया है, एक मुस्कुराते हुए व्यक्ति की तस्वीर पर रखा गया है, रंगों को इस तरह चुना गया है कि पाठ पृष्ठभूमि में लगभग गायब हो जाता है। आप इसे बिना किसी प्रयास के आधे सेकंड में पढ़ लेते हैं। उसी छवि को GPT-4o को दें और उसे नंबर ट्रांसक्राइब करने के लिए कहें, और यह संभावना है कि वह इसे गलत कर देगा, या पाठ को बिल्कुल नहीं ढूंढ पाएगा।

वह अंतर, जो एक मानव आंख स्वचालित रूप से करती है और एक अत्याधुनिक दृश्य मॉडल विश्वसनीय रूप से नहीं कर सकता, एक नई पेपर ArmorOCR का विषय है। शोधकर्ताओं ने छवियों का एक बेंचमार्क बनाया जो विशेष रूप से लोगों द्वारा पढ़ने योग्य और मॉडल्स के लिए कठिन होने के लिए डिज़ाइन किया गया था, वर्तमान बड़े मल्टीमोडल मॉडल्स (LMMs) के स्टैक को इसके खिलाफ परखा, और कुछ वास्तव में कठिन संख्याएं पाईं: GPT-4o ने उनके एडवर्सरियल OCR टेस्ट पर 23.2% स्कोर किया। GPT-5 ने बेहतर प्रदर्शन किया लेकिन फिर भी 30% पर ही रुका। यहां तक कि Gemini 2.5 Flash, जो सामान्य OCR में अच्छा है, ने भी 32.3% ही हासिल किया। फिर उन्होंने इस समस्या के लिए विशेष रूप से एक मॉडल को ट्रेन किया और इसे 55.7% तक पहुंचाया, जो GPT-4o के स्कोर से दोगुना से अधिक है, इन फ्रंटियर सिस्टम के आकार के एक छोटे से अंश के बराबर बेस मॉडल का उपयोग करते हुए।

"Grounded" adversarial OCR का वास्तविक अर्थ क्या है

ज्यादातर OCR बेंचमार्क पहचान (recognition) का परीक्षण करते हैं: यहाँ एक छवि है, टेक्स्ट क्या कह रहा है? जब टेक्स्ट स्टाइलाइज़्ड या खराब होता है, तो यह पहले से ही कठिन है, लेकिन यह केवल आधा काम है। एक मॉडल कभी-कभी टेक्स्ट को वास्तव में खोजे बिना सही उत्तर का अनुमान लगा सकता है, संदर्भ (context) पर भरोसा करके। यदि किसी कॉफी शॉप की फोटो में एक साइनबोर्ड संभवतः कॉफी से संबंधित कुछ लिखा है, तो एक मॉडल पूरी तरह गलत पिक्सल्स की ओर इशारा करते हुए, या किसी पिक्सल की ओर बिना इशारा किए, एक तार्किक उत्तर दे सकता है।

लेख इस बात को सीधे तौर पर उठाता है: केवल उत्तर की सटीकता यह साबित नहीं करती कि एक मॉडल वास्तव में टेक्स्ट को स्थानित (locate) कर सकता है। इसलिए वे इस कार्य को "grounded OCR perception" के रूप में परिभाषित करते हैं, जिसका अर्थ है कि एक मॉडल को एक साथ दो चीजें करनी होंगी: वह क्षेत्र जहाँ टेक्स्ट स्थित है, उसे खोजना (स्थानीयकरण, आमतौर पर एक बाउंडिंग बॉक्स) और उसके अंदर लिखे गए को पढ़ना (पहचान)। यदि बॉक्स गलत है, तो अनुमानित शब्द के सही होने से कोई फर्क नहीं पड़ता। यह कार्य का कठिन और अधिक ईमानदार संस्करण है, और यह स्कैन किए गए फॉर्म पर संवेदनशील फ़ील्ड्स को रेडैक्ट करने या छवि में हेरफेर किए गए टेक्स्ट के टुकड़े के स्थान को चिह्नित करने जैसी वास्तविक अनुप्रयोगों के लिए महत्वपूर्ण है।

यहाँ "Adversarial" का अर्थ यह नहीं है कि कोई व्यक्ति मॉडल के वेट्स के विरुद्ध कोई औपचारिक हमला एल्गोरिदम चला रहा है। इसका अर्थ है कि टेक्स्ट स्वयं दृश्य रूप से दुश्मनाना है: विकृत, व्यस्त पृष्ठभूमि में छिपा हुआ, स्ट्रोक के बजाय बिंदुओं से बनाया गया, या एक AI-जनित छवि में इतनी सहजता से मिला हुआ कि "टेक्स्ट" और "छवि" के बीच की सीमा लगभग अस्तित्वहीन है।

AdvSpot के अंदर: एक मॉडल को गलत दिशा में ले जाने के लिए बनाए गए 390 छवियाँ

AdvSpot नामक इस बेंचमार्क को आधुनिक डेटासेट मानकों के अनुसार छोटा माना जाता है: इसमें केवल 390 छवियाँ हैं। लेकिन प्रत्येक छवि को क्षेत्र स्तर पर एनोटेट किया गया है, और प्रत्येक छवि को पाठ के 13 विशिष्ट तरीकों में से एक का प्रतिनिधित्व करने के लिए चुना गया है, जिन्हें 5 श्रेणियों में समूहीकृत किया गया है।

स्थानिक हेरफेर (Spatial manipulation) उन पाठों को कवर करता है जिन्हें भौतिक रूप से मोड़ा गया है: विषम कोणों पर घुमाया गया, दर्पण प्रतिबिंबित किया गया, या कुछ ही पिक्सेल तक छोटा किया गया। यह वह प्रकार की चीज़ है जिसका एक व्यक्ति एक झुके हुए स्ट्रीट साइन को पढ़ते समय मुश्किल से ध्यान देता है, लेकिन इससे उन मॉडलों को परेशानी होती है जो मुख्य रूप से क्षैतिज, बाएं-से-दाएं पाठ ब्लॉकों पर प्रशिक्षित होते हैं।

ग्लिफ़ विविधता (Glyph variation) अक्षरों के आकारों के बारे में है। शैलीबद्ध ग्लिफ़ स्ट्रोक को विभाजित, अवरुद्ध या कटौती करते हैं, जैसे कि एक लोगो जहाँ आधा अक्षर किसी अन्य आकार के पीछे छिपा होता है, लेकिन आपका मस्तिष्क फिर भी उस अंतर को भर देता है। अनियमित अंतराल और व्यक्तिगत विशेषताओं वाले हाथ से लिखा हुआ पाठ भी इस श्रेणी में आता है।

छवि ह्रास (Image degradation) रोज़मर्रा की चीज़ें हैं: मोशन ब्लर, फोन कैमरे से चमक, फिल्म ग्रेन, ओवरएक्सपोज़्ड फोटो, और स्क्रीनशॉट लेकर बार-बार साझा करने से होने वाले संपीड़न कलाकृति। यहाँ कुछ अजीब नहीं है, बस उन छवियों की वास्तविकता है जिन्हें स्टूडियो में नहीं लिया गया था।

संदर्भिक मिलान (Contextual blending) वह जगह है जहाँ चीज़ें वास्तव में दिलचस्प हो जाती हैं। इसमें कम-कंट्रास्ट पाठ शामिल है (पृष्ठभूमि के समान रंग परिवार, इसलिए यह तकनीकी रूप से दृश्यमान है लेकिन दृश्य रूप से कैमोफ्लेज है), पैटर्न ओवरले (पाठ के ऊपर डॉट्स या लाइनें जैसे वॉटरमार्क), और लेखकों द्वारा AIGC फ्यूजन पाठ कहा गया है, पाठ जो सीधे AI-जनित छवि में इतना गहराई से जुड़ा होता है कि यह दृश्य का एक प्राकृतिक हिस्सा लगता है बजाय ऊपर से चिपकाए गए कैप्शन के। यह अंतिम श्रेणी पूरे बेंचमार्क में सबसे कठिन साबित हुई। प्रशिक्षण से पहले, अधिकांश मॉडलों ने इस पर लगभग शून्य स्कोर किया।

दृश्य एन्कोडिंग (Visual encoding) सबसे अमूर्त समूह है: चरित्रों का प्रतिनिधित्व प्रतीक व्यवस्था, डॉट घनत्व, या लाइन अभिविन्यास के माध्यम से किया जाता है बजाय पारंपरिक स्ट्रोक के। यह पढ़ने से अधिक पहेली के करीब है, और यह वह अन्य श्रेणी है जहाँ बेसलाइन मॉडल लगभग पूरी तरह से विफल रहते हैं।

वे मॉडल को इसमें बेहतर बनाने के लिए वास्तव में कैसे प्रशिक्षित किया

ArmorOCR का प्रशिक्षण दो चरणों में होता है, और प्रत्येक चरण के पीछे की तर्क को समझना महत्वपूर्ण है, क्योंकि विशेष रूप से पहला चरण मशीन लर्निंग में लगातार सामने आने वाली एक समस्या के लिए एक चतुर समाधान है: आप किसी कार्य की कठिन संस्करण के लिए सस्ते में ग्राउंड-ट्रूथ (ground-truth) उत्पन्न नहीं कर सकते, लेकिन हो सकता है कि आपके पास उसकी आसान संस्करण से सिग्नल पहले से ही हो।

पहला चरण On-Policy Self-Distillation कहलाता है। यहाँ तरकीब यह है: प्रत्येक एडवर्सरियल प्रशिक्षण छवि के लिए, शोधकर्ता कई परिवर्तित संस्करण भी बनाते हैं—जिनका आकार बदला गया हो, घुमाया गया हो, उल्टा किया गया हो, या अन्यथा साफ किया गया हो—और एक अलग जज मॉडल यह चुनता है कि कौन सा परिवर्तित संस्करण सही ढंग से पढ़ने में सबसे आसान है। वह आसान दृश्य एक प्रकार का विशेष संकेत बन जाता है। प्रशिक्षण के दौरान, स्टूडेंट मॉडल को केवल मूल कठिन छवि दिखाई देती है और उसे अपने स्वयं के उत्तर को अपने वर्तमान पॉलिसी के आधार पर उत्पन्न करना होता है (यही "ऑन-पॉलिसी" हिस्सा है: यह खुद को ग्रेड कर रहा है, न कि प्रशिक्षण के पहले के किसी फ्रोजन स्नैपशॉट को)। एक टीचर प्रक्रिया फिर स्टूडेंट के उत्तर की तुलना उस आसान परिवर्तित दृश्य और वास्तविक ग्राउंड-ट्रूथ टेक्स्ट से जो वह निकाल सकता है, उससे करती है, और बेहतर उत्तर की ओर स्टूडेंट की आंतरिक प्रायिकताओं को धकेलती है। इस धक्के के लिए दो अलग-अलग पेनल्टी प्रकारों का उपयोग किया जाता है, यह निर्भर करता है कि आउटपुट का कौन सा हिस्सा सुधारा जा रहा है: मॉडल की तर्क प्रक्रिया के लिए एक नरम पेनल्टी, और वास्तविक अनुमानित टेक्स्ट के लिए एक कठोर पेनल्टी। सरल शब्दों में, मॉडल को विकृत फोटो को पढ़ना सिखाया जाता है यह तुलना करके कि उसने क्या कहा है और यदि उसे उसी फोटो का थोड़ा कम विकृत संस्करण दिखाई देता तो उसे क्या कहना चाहिए था।

दूसरा चरण Group Relative Policy Optimization (GRPO) के माध्यम से रीइन्फोर्समेंट लर्निंग है, जो एक तकनीक है जिसने भाषा और विज़न-लैंग्वेज मॉडल्स को फाइन-ट्यून करने के लिए लोकप्रियता हासिल की है क्योंकि इसे एक अलग रिवॉर्ड मॉडल की आवश्यकता नहीं होती है; यह मॉडल के अपने सैंपल किए गए आउटपुट के समूह की आपस में तुलना करता है और उनमें से बेहतर स्कोर वाले को रीइन्फोर्स करता है। ArmorOCR इसे चार अलग-अलग रिवॉर्ड सिग्नल्स के साथ लागू करता है जो चार उप-कार्यों के लिए ट्यून किए गए हैं: अनुमानित बॉक्स कितनी अच्छी तरह से ग्राउंड-ट्रूथ बॉक्स के साथ ओवरलैप करते हैं (शुद्ध लोकलाइजेशन के लिए), अनुमानित टेक्स्ट सही स्ट्रिंग से कितना करीब है (एडिट डिस्टेंस का उपयोग करते हुए, शुद्ध रिकग्निशन के लिए), दोनों को एक साथ करने के लिए एक संयुक्त स्कोर (फुल स्पॉटिंग), और टेक्स्ट के बारे में विज़ुअल क्वेश्चन आंसरिंग के लिए एक सरल सही-गलत जांच। इस तरह प्रशिक्षण देना, बजाय एक मिश्रित मेट्रिक को ऑप्टिमाइज़ करने के, मॉडल को वास्तव में लोकलाइजेशन और रिकग्निशन को अलग-अलग कौशल के रूप में अच्छा बनने पर मजबूर करता है, बजाय इसके कि वह केवल एक मिश्रित स्कोर को संतुष्ट करने वाला कोई शॉर्टकट खोज ले।

सब कुछ Qwen3-VL-8B-Instruct, एक मध्यम आकार के ओपन मॉडल, के ऊपर चलाया गया, जिसमें पहली चरण में लगभग 50,000 संश्लेषित प्रशिक्षण उदाहरणों और दूसरे चरण में 70,000 कठिन मामलों का उपयोग किया गया।

संख्याएँ, और लाभ वास्तव में कहाँ दिखते हैं

मुख्य परिणाम यह है कि AdvSpot के VQA कार्य पर GPT-4o के 23.2% से ArmorOCR के 55.7% तक का उछाल, और स्थानीयकरण (localization) पर एक समान पैटर्न, जहाँ ArmorOCR ने 63.3% IoU (बॉक्स ओवरलैप का एक मानक माप) हासिल किया, जबकि सर्वश्रेष्ठ बेसलाइन Qwen3-VL-235B, जो लगभग 30 गुना बड़ा मॉडल है, ने 47.5% हासिल किया।

लाभ समान रूप से वितरित नहीं हैं, जो यह जानने के लिए अधिक उपयोगी बात है कि क्या यह सामान्यीकृत (generalize) होता है। AIGC फ्यूजन टेक्स्ट की श्रेणी में, जहाँ टेक्स्ट को AI-जनित पृष्ठभूमि में विलीन कर दिया जाता है, ArmorOCR ने सबसे मजबूत प्रतिद्वंद्वी मॉडल को 65% से हराया। यह वह श्रेणी है जिसे पेपर के अपने त्रुटि विश्लेषण ने पहले से ही लगभग असंभव घोषित कर दिया था, इसलिए वहाँ एक बड़ा उछाल इस बात का सार्थक प्रमाण है कि दो-चरणीय प्रशिक्षण दृष्टिकोण वास्तविक कार्य कर रहा है बजाय इसके कि केवल बेंचमार्क की अजीबोगरीब बातों को याद कर रहा हो। प्रतीक-आधारित और डॉट-पैटर्न एन्कोडिंग प्रशिक्षण के बाद भी सबसे कठिन चुनौती बनी रही, पेपर स्पष्ट रूप से बताता है कि ये "अत्यधिक चुनौतीपूर्ण" बने रहते हैं।

AdvOCR और SmuggleBench जैसे अन्य विरोधी OCR बेंचमार्कों पर, जिन्हें शोधकर्ताओं ने स्वयं डिज़ाइन नहीं किया था, ArmorOCR ने विशेष पूर्व विधियों को थोड़ा आगे छोड़ दिया लेकिन बहुत छोटे अंतर से (56.0% बनाम 55.0%, और 17.1% बनाम 16.4%)। इस पर विचार करने योग्य है: सबसे बड़े लाभ उस बेंचमार्क पर दिखते हैं जिसे लेखकों ने बनाया था और जिसकी ओर उन्होंने अपने प्रशिक्षण डेटा को ट्यून किया था, और अन्य लोगों द्वारा बनाए गए बेंचमार्कों पर ये लाभ कम हो जाते हैं। यह अपने आप में कोई लाल झंडा नहीं है, अधिकांश विशेष प्रशिक्षण अपने ही क्षेत्र में सबसे अच्छा करता है, लेकिन यह 55.7% के मुख्य संख्या को इस विशिष्ट प्रकार के विरोधी टेक्स्ट के लिए एक ऊपरी सीमा के रूप में देखने और एक सार्वभौमिक विरोधी-OCR स्कोर के रूप में नहीं लेने का कारण है।

दूसरा महत्वपूर्ण संख्या यह है कि क्या नहीं बदला: OCRBench जैसे मानक बेंचमार्कों पर सामान्य OCR प्रदर्शन लगभग स्थिर रहा, बिना किसी अतिरिक्त सामान्य-उद्देश्य प्रशिक्षण डेटा को जोड़े। एक संकीर्ण, कठिन समस्या के लिए मॉडल को विशेषीकृत करना बिना इसके दैनिक प्रदर्शन को बिगाड़े, यहाँ कम चमकीला लेकिन शायद अधिक महत्वपूर्ण परिणाम है। बहुत सारा फाइन-ट्यूनिंग कार्य एक बेंचमार्क पर उछाल के लिए सामान्य कुशलता का समर्पण करता है, और यह ऐसा नहीं किया।

OCR बनाने या चुनने वालों के लिए यह क्यों मायने रखता है

अगर आप डॉक्यूमेंट पाइपलाइन, रसीदें, आईडी वेरिफिकेशन या कंटेंट मॉडरेशन को हैंडल करने के लिए कोई OCR इंजन या LMM चुन रहे हैं, तो यह पेपर उन ब्लाइंड स्पॉट्स पर एक उपयोगी रियलिटी चेक है जो ज्यादातर बेंचमार्क कवर नहीं करते। स्टैंडर्ड OCR लीडरबोर्ड ज्यादातर क्लीन डॉक्यूमेंट्स और अच्छी तरह से फोटो की गई नेचुरल सीन्स पर टेस्ट करते हैं। यह आपको यह नहीं बताता कि क्या होता है जब कोई यूजर रसीद की ग्लेयर-हेवी फोन फोटो अपलोड करता है, नंबरों पर सेमी-ट्रांसपेरेंट वॉटरमार्क के साथ स्क्रीनशॉट, या एक AI-जनरेटेड इमेज जिसमें फोन नंबर वॉलपेपर में पिघला हुआ है। ये अब एज केसेज नहीं हैं। ग्लेयर और ब्लर हर मोबाइल अपलोड में होते हैं। वॉटरमार्क वाले और AI-ब्लेंडेड टेक्स्ट स्कैम कंटेंट, स्पूफ्ड डॉक्यूमेंट्स और मॉडरेशन-एव्हेजन एटेम्प्स में लगातार दिखते हैं, जो कि ट्रस्ट-एंड-सेफ्टी पाइपलाइन को पकड़ने के लिए बिल्कुल सही चीज है।

प्रैक्टिकल टेकअवे "ArmorOCR पर स्विच करें" नहीं है, क्योंकि यह एक रिसर्च चेकपॉइंट है जो 8-बिलियन-पैरामीटर ओपन मॉडल पर बना है, न कि एक हार्डनेड प्रोडक्शन API। यह है कि मॉडल साइज और जनरल OCR बेंचमार्क रैंक वास्तव में एडवर्सरियल इनपुट को कैसे हैंडल करता है, इसका कमजोर प्रेडिक्टर है। इस टास्क पर एक छोटा मॉडल, जो स्पेसिफिकली ग्रौंडिंग और एडवर्सरियल रॉबस्टनेस के लिए ट्रेन किया गया था, ने अपने कई गुना बड़े मॉडल्स को हराया। अगर आपका यूज केस फ्रॉड डिटेक्शन, कंटेंट मॉडरेशन या किसी पाइपलाइन से जुड़ा है जहां किसी को टेक्स्ट को मशीन के लिए पढ़ने में मुश्किल बनाने की प्रेरणा है, तो जनरल-पर्पस OCR स्कोर आपको वह नहीं बता पाएंगे जो आपको जानने की जरूरत है। आपको किसी मॉडल के क्लीन बेंचमार्क पर नंबरों पर भरोसा करने से पहले AdvSpot के कैटेगरीज के करीब कुछ के खिलाफ टेस्ट करना चाहिए: वार्प्ड और रोटेटेड टेक्स्ट, लो-कंट्रास्ट ओवरले, ग्लेयर, और जनरेटेड इमेजरी में ब्लेंडेड टेक्स्ट। हिंदी जैसे देवनागरी लिपि के लिए यह बात और भी ज्यादा सच है, क्योंकि अंग्रेजी OCR में अच्छा प्रदर्शन देवनागरी की जटिल संयुक्त अक्षरों और शिरोरेखा को सही से पढ़ने की गारंटी नहीं देता।

यहाँ क्या अभी भी अस्थिर है

390-छवि वाला यह बेचमार्क इतना छोटा है कि कुछ असामान्य उदाहरण श्रेणी-स्तरीय स्कोर को काफी हद तक प्रभावित कर सकते हैं, और पेपर में कई रन (runs) के बीच विचलन (variance) की रिपोर्ट नहीं की गई है, इसलिए व्यक्तिगत श्रेणी संख्याओं को सटीक के बजाय दिशा-निर्देशक मानें। ट्रेनिंग और मूल्यांकन डेटा वास्तविक दुनिया के स्कैम या फ्रॉड कंटेंट से नहीं, बल्कि संश्लेषित (synthesized) है, जो एक नियंत्रित बेचमार्क बनाने के लिए उचित है, लेकिन इसका मतलब है कि वास्तविक दुनिया में मौजूद विरोधी (adversarial) पाठ, जिसे लोग किसी विशिष्ट मॉडल को टालने की कोशिश में बनाते हैं, AdvSpot द्वारा कैप्चर किए गए डेटा से अलग दिख सकता है। और वे श्रेणियाँ जहाँ ArmorOCR अभी भी संघर्ष कर रहा है, जैसे सिंबल और डॉट-पैटर्न एन्कोडिंग, इस सेट में सबसे जानबूझकर बनाए गए विरोधी उदाहरण हैं, जो विकृत प्राकृतिक पाठ के बजाय दृश्य कोड (visual cipher) के करीब हैं। विरोधी OCR के आसान 80% को हल करना जबकि सबसे कठिन 20% लगभग शून्य के आसपास रहता है, यह वास्तविक प्रगति है, लेकिन यह विरोधी OCR को पूरी तरह हल करने के बराबर नहीं है।

फिर भी, मुख्य योगदान टिकाऊ है: एक बेचमार्क जो वास्तव में मापता है कि क्या एक मॉडल पढ़ने में कठिन पाठ को खोज सकता है, न कि बस अनुमान लगा सकता है, और एक ट्रेनिंग विधि जो दैनिक प्रदर्शन को बिना खराब किए इस अंतर को सार्थक रूप से कम करती है। यह संयोजन—एक कठिन मूल्यांकन और एक समाधान जो आपको अन्यत्र कोई लागत नहीं देता—इस क्षेत्र में उम्मीद से कम आम है।