CC-OCR ने नौ शीर्ष AI मॉडलों को 7,058 वास्तविक दस्तावेज़ों के माध्यम से गुज़ारा, और अधिकांश ने बुनियादी चीज़ों में विफलता दर्ज की

एक अत्याधुनिक विज़न-लैंग्वेज मॉडल को थोड़ी झुकी हुई फ्लोरोसेंट रोशनी में ली गई एक थाई रेस्तरां के मेनू की तस्वीर दिखाएं, और उसे डिश के नाम और कीमतें निकालने के लिए कहें। आश्चर्यजनक रूप से, कई मॉडल आत्मविश्वास के साथ शुरू करेंगे, फिर अटक जाएंगे। गलत उत्तर देने के अर्थ में नहीं, बल्कि एक बार-बार दोहराते हुए रिकॉर्ड की तरह आउटपुट कट जाने तक एक ही तीन शब्दों को बार-बार दोहराते हुए अटक जाएंगे।

यह CC-OCR में छिपे निष्कर्षों में से एक है, जो दिसंबर 2024 में मुख्य रूप से Alibaba के Qwen ग्रुप और दक्षिण चीन के टेक्नोलॉजी विश्वविद्यालय के एक टीम द्वारा जारी किया गया था। इस पेपर ने टेक्स्ट-रीडिंग टास्क के चार श्रेणियों में 7,058 वास्तविक, एनोटेटेड इमेज पर GPT-4o और Gemini सहित नौ प्रमुख लार्ज मल्टीमोडल मॉडल्स का परीक्षण किया। मुख्य परिणाम: हम जो मॉडल "इमेज पढ़ने" में व्यापक रूप से सक्षम मानते हैं, उनके विशिष्ट, पूर्वानुमेय विफलता मोड हैं जो एक सरल सटीकता स्कोर कभी भी सामने नहीं लाता। यदि आप AI-संचालित दस्तावेज़ प्रसंस्करण पर कुछ भी बना रहे हैं, तो यह अंतर लीडरबोर्ड रैंक से अधिक महत्वपूर्ण है।

CORD डेटासेट से एक वास्तविक रसीद — CC-OCR द्वारा मॉडल्स का परीक्षण करने के लिए उपयोग की जाने वाली झुकी हुई, वास्तविक-दुनिया की दस्तावेज़। स्रोत: CORD (Park et al., NAVER CLOVA, 2019), लाइसेंस CC BY 4.0.

OCR बेंचमार्क्स आमतौर पर क्या गलत करते हैं

ऑप्टिकल कैरेक्टर रिकग्निशन (OCR), यानी किसी छवि से पठनीय पाठ निकालना, पहले एक विशेष मॉडल चलाने का काम था जिसे एक संकीर्ण कार्य के लिए प्रशिक्षित किया जाता था: उदाहरण के लिए, स्कैन की गई पेज पर मुद्रित अंग्रेजी पाठ पढ़ना, या लाइसेंस प्लेट पढ़ना। लार्ज मल्टीमोडल मॉडल्स (LMMs) ने इस परिदृश्य को बदल दिया। ये वही मॉडल परिवार हैं जो एक फोटो का वर्णन कर सकते हैं या चार्ट के बारे में प्रश्नों के उत्तर दे सकते हैं, और वे छवियों में एम्बेडेड पाठ भी पढ़ सकते हैं, क्योंकि इन्हें इंटरनेट, PDF और स्क्रीनशॉट से इकट्ठा किए गए विशाल मात्रा में इमेज-टेक्स्ट जोड़ों पर प्रशिक्षित किया गया था।

समस्या यह है कि "पाठ पढ़ो" जैसे निर्देश के पीछे, साफ स्कैन की गई पेज से बाहर निकलने पर, कई अलग-अलग और कठिन उप-कौशल छिपे होते हैं। वास्तविक दस्तावेजों में पाठ अजीब कोणों पर होता है। इनमें टेबल होती हैं जहाँ अर्थ केवल शब्दों में नहीं, बल्कि ग्रिड संरचना में निहित होता है। ये एक ही पंक्ति में भाषाओं का मिश्रण करते हैं। ये हाथ से लिखे हुए, पानी से क्षतिग्रस्त, या किसी के फोन से अजीब कोण पर खींची गई तस्वीरें हो सकते हैं।

CC-OCR से पहले अधिकांश मौजूदा OCR बेंचमार्क्स इस समस्या के एक संकीर्ण हिस्से का परीक्षण करते थे। कुछ पूरी तरह से सीन टेक्स्ट (सड़क के संकेत, दुकान के बोर्ड) पर केंद्रित थे। अन्य पूरी तरह से दस्तावेज़ पार्सिंग (PDF को संरचित Markdown या HTML में बदलना) पर केंद्रित थे। अंग्रेजी और चीनी के अलावा कई भाषाओं का परीक्षण करने वाले बहुत कम थे। लगभग किसी ने भी "क्या मॉडल छवि का सही क्षेत्र ढूंढता है" (ग्राउंडिंग) और "क्या मॉडल सटीक पाठ उत्पन्न करता है" को अलग-अलग मापने योग्य चीजों के रूप में संयुक्त नहीं किया। CC-OCR ने इस खाई को पाटने का प्रयास किया, और यही कारण है कि भले ही आप स्वयं कभी मॉडल प्रशिक्षित न करें, फिर भी यह पेपर पढ़ने योग्य है। यह आपको बताता है कि अपने दस्तावेजों को किसी OCR पाइपलाइन पर भरोसा करने से पहले वास्तव में क्या जांचना चाहिए।

CC-OCR कैसे बनाया गया: एक स्कोर नहीं, चार ट्रैक

CC-OCR मूल्यांकन को चार ट्रैक में विभाजित करता है, जिनमें से प्रत्येक एक अलग वास्तविक दुनिया के परिदृश्य को लक्षित करता है:

बहु-दृश्य पाठ पठन (Multi-scene text reading)। यह क्लासिक "वाइल्ड में पाठ" (text in the wild) है: सड़क के संकेत, उत्पाद पैकेजिंग, स्क्रीनशॉट, रसीदें। चुनौती पाठ को अलग-थलग पढ़ने में नहीं है, बल्कि यह खोजने में है कि पाठ कहां है जब वह छोटा हो, झुका हुआ हो, या व्यस्त पृष्ठभूमि में एम्बेड हो, और फिर उसे सटीकता से पढ़ना।

बहुभाषी पाठ पठन (Multilingual text reading)। यह बेचमार्क उन भाषाओं को कवर करता है जो OCR शोध में हावी अंग्रेजी/चीनी जोड़ी से परे हैं, यह जांचता है कि क्या एक ऐसा मॉडल जो अंग्रेजी संकेतों को अच्छी तरह पढ़ता है, वह जापानी ऊर्ध्वाधर पाठ या अरबी दाएं-से-बाएं लिपि को भी संभाल सकता है।

दस्तावेज़ विश्लेषण (Document parsing)। यह "PDF से संरचित पाठ" का काम है जो AI पाइपलाइनों के लिए बढ़ते हुए केंद्रीय हो रहा है: एक स्कैन किए गए दस्तावेज़ को लेना और उसे Markdown, HTML, या किसी अन्य संरचित प्रारूप में बदलना जो टेबल, हेडर और पठन क्रम को बनाए रखे, न कि सिर्फ एक समतल पाठ डंप।

मुख्य जानकारी निष्कर्षण (Key information extraction)। एक इनवॉइस या फॉर्म जैसे दस्तावेज़ को देखते हुए, विशिष्ट फ़ील्ड, कुल राशि, तारीख, विक्रेता का नाम निकालें, बजाय इसके कि सब कुछ बेवजह ट्रांसक्राइब करें। यह वह कार्य है जो सीधे तौर पर उन चीज़ों से मेल खाता है जो व्यवसाय वास्तव में OCR से चाहते हैं: "मुझे पूरी पृष्ठ पढ़ाओ" नहीं, बल्कि "मुझे इनवॉइस नंबर बताओ।"

इन चारों ट्रैक में, बेचमार्क में 39 उपसमुच्चय शामिल हैं। एक आकर्षक डिज़ाइन विकल्प: 7,058 छवियों का 41% वास्तविक अनुप्रयोगों से आया है और इस पेपर में पहली बार जारी किया गया है, बजाय इसके कि इसे पुराने अकादमिक डेटासेट से पुनः पैकेज किया गया हो। इसका महत्व इसलिए है क्योंकि पुराने बेचमार्क अक्सर याद कर लिए जाते हैं। एक मॉडल जो ट्रेनिंग के दौरान डेटासेट की छवियां देख चुका है, उस पर कृत्रिम रूप से मजबूत दिखेगा। ताज़ा, वास्तविक दुनिया की छवियां टेस्ट को गेम करने को मुश्किल बनाती हैं और इसे उस चीज़ के करीब लाती हैं जिसका सामना एक प्रोडक्शन सिस्टम वास्तव में करेगा।

मूल्यांकन उन दो चीज़ों को भी अलग करता है जिन्हें अधिकांश OCR स्कोरिंग में मिला दिया जाता है: क्या मॉडल छवि में सही स्थान ढूंढता है (ग्राउंडिंग, आमतौर पर इस बात से स्कोर किया जाता है कि अनुमानित बाउंडिंग बॉक्स असली बॉक्स के साथ कितनी अच्छी तरह ओवरलैप करता है) और क्या निकाला गया पाठ सटीक है। एक मॉडल पाठ को सही कर सकता है और फिर भी ग्रेड कम हो सकता है अगर वह यह इंगित नहीं कर सकता कि वह पाठ कहाँ से आया है, जो एक सामान्य और प्रकट करने वाली विफलता साबित होती है।

रसीदें और घुमाए हुए बोर्ड state-of-the-art मॉडल्स को क्यों तोड़ देते हैं

इस पेपर ने नौ प्रमुख LMMs का परीक्षण किया, जिनमें प्रोप्राइटरी मॉडल्स (GPT-4o और Gemini परिवार) और ओपन-सोर्स मॉडल्स दोनों शामिल थे, और परिणाम तीन बार-बार आने वाले कमजोरियों में स्पष्ट रूप से विभाजित हो गए।

टेक्स्ट ग्राउंडिंग, कच्ची पढ़ने की सटीकता द्वारा सुझाए गए से बदतर है। एक मॉडल बोर्ड पर मौजूद टेक्स्ट को सही ढंग से ट्रांसक्राइब कर सकता है, लेकिन उस टेक्स्ट की छवि में स्थिति के चारों ओर एक सटीक बॉक्स खींचने में असमर्थ हो सकता है। यह एक छोटी सी तकनीकी कमी लग सकती है, लेकिन यह "मॉडल ने इनवॉइस कुल राशि पढ़ ली" और "मॉडल आपके डाउनस्ट्रीम सिस्टम को बिल्कुल सटीक बता सकता है कि इनवॉइस कुल राशि कहाँ है, ताकि आप उसे हाइलाइट कर सकें, रेडैक्ट कर सकें, या टेम्पलेट के साथ क्रॉस-चेक कर सकें" के बीच का अंतर है। किसी भी पाइपलाइन के लिए जो ट्रांसक्रिप्शन से अधिक काम करती है, वह कमी पूरा खेल है।

मल्टी-ओरिएंटेशन टेक्स्ट एक लगातार अंधा धब्बा है। घुमाए हुए, ऊर्ध्वाधर, या अन्यथा गैर-क्षैतिज टेक्स्ट उन मॉडल्स को परेशान करता है जो मानक बाएं-से-दाएं क्षैतिज टेक्स्ट को ठीक से संभाल लेते हैं। यह उस बात से मेल खाता है जिसे स्कैन किए गए दस्तावेजों से निपटने वाला कोई भी जानता है: वास्तविक दुनिया के स्कैन कभी भी पूरी तरह से संरेखित नहीं होते। एक कोण पर फोटो की गई रसीद, उल्टा स्कैन किया गया फॉर्म, एक ऊर्ध्वाधर जापानी साइन, ये प्रोडक्शन में एज केसेज नहीं हैं, ये तो मंगलवार हैं।

दोहराव के माध्यम से हैलुसिनेशन सबसे असामान्य खोज है। कठिन या अधिक दृश्य रूप से भीड़भाड़ वाली छवियों पर, कुछ मॉडल्स एक लूप में फंस जाते हैं, एक शब्द, वाक्यांश, या पंक्ति को बार-बार दोहराते हैं बजाय एक सुसंगत, सीमित आउटपुट उत्पन्न करने के। यह मॉडल के गलत उत्तर देने का मामला नहीं है; यह मॉडल का पूरी तरह से एक अपभ्रष्ट आउटपुट पैटर्न में फंस जाना है। यह भाषा जनरेशन में व्यापक रूप से एक ज्ञात विफलता मोड है (मॉडल्स कभी-कभी अगला क्या आना चाहिए इसमें अनिश्चित होने पर दोहराव के लूप में गिर जाते हैं), लेकिन इसे विशेष रूप से OCR कार्यों पर देखना, जहाँ आप "सही" आउटपुट को पृष्ठ पर वास्तव में मौजूद चीज़ों द्वारा कस से बांधा हुआ उम्मीद करेंगे, एक उपयोगी चेतावनी है। कॉन्फिडेंस-आधारित फिल्टरिंग इसकी पकड़ नहीं जरूरत से लगाएगी, क्योंकि मॉडल अनिश्चितता को उस तरह व्यक्त नहीं कर रहा है जिससे एक नाइव डाउनस्ट्रीम चेक को पता चले। यह बस पूर्ण आत्मविश्वास के साथ खुद को दोहरा रहा है।

नौ मॉडल्स में से कोई भी चारों ट्रैक में प्रभुत्व नहीं रखता है। एक मॉडल जो अंग्रेजी सीन टेक्स्ट पर मजबूत है, मल्टीलिंगुअल दस्तावेजों पर औसत हो सकता है; एक मॉडल जो दस्तावेजों को साफ Markdown में पार्स करता है, बिल्कुल उसी स्रोत छवियों पर मुख्य जानकारी निष्कर्षण में संघर्ष कर सकता है। यही व्यावहारिक हेडलाइन है: "सर्वश्रेष्ठ OCR मॉडल" एकल, स्थानांतरणीय शीर्षक नहीं है। यह इस बात पर बहुत अधिक निर्भर करता है कि आपके दस्तावेज वास्तव में कैसे दिखते हैं।

यदि आप OCR पर निर्माण कर रहे हैं तो यह क्यों मायने रखता है

यदि आप एक OCR इंजन चुन रहे हैं, या ऐसे उत्पाद को बना रहे हैं जो किसी इंजन पर निर्भर करता है, तो इस पेपर से तीन बातें आपके विकल्पों का मूल्यांकन करने के तरीके को बदल देंगी।

पहला, वास्तविक दस्तावेज़ों पर परीक्षण करें, विक्रेता के डेमो उदाहरणों पर नहीं। CC-OCR का अपना योगदान संकीर्ण बेंचमार्किंग का आंशिक रूप से विरोध है: एक ऐसा मॉडल जो स्वच्छ, क्षैतिज, केवल अंग्रेजी सीन टेक्स्ट पर अच्छा स्कोर करता है, वह आपको इस बारे में लगभग कुछ नहीं बताता कि वह एक वास्तविक ग्राहक के घुमाए गए, बहुभाषी, टेबल-भरे इनवॉइस को कैसे संभालेगा। यदि आपका उत्पाद रसीदों, विदेशी भाषा के दस्तावेज़ों, या हाथ से लिखे फॉर्म को छूता है, तो विशेष रूप से उनका बेंचमार्क करें, क्योंकि सामान्य लीडरबोर्ड रैंक इसकी भविष्यवाणी नहीं करेगा।

दूसरा, "क्या उसने टेक्स्ट पढ़ा" और "क्या वह मुझे बता सकता है कि टेक्स्ट कहाँ है" को अलग करें। यदि आपका उपयोग मामला निकाले गए फ़ील्ड को हाइलाइट करने, दस्तावेज़ों से संरचित डेटा बनाने, या किसी भी प्रकार के मानव समीक्षा वर्कफ़्लो को करने में शामिल है, तो ग्राउंडिंग सटीकता कोई 'nice-to-have' नहीं है, यह कोर फ़ंक्शनलिटी है, और यह ठीक वही आयाम है जहाँ CC-OCR दिखाता है कि मॉडल कच्चे टेक्स्ट सटीकता की तुलना में सबसे कमजोर हैं।

तीसरा, उत्पादन में दोहराव लूप (repetition loops) पर नज़र रखें, न कि केवल गलत उत्तरों पर। एक मॉडल जो एक संभावनीय-लेकिन-गलत कुल का भ्रम (hallucinate) करता है, वह एक ज्ञात, प्रबंधनीय जोखिम है; आप कम-विश्वास निकालने को फ़्लैग कर सकते हैं और एक समीक्षा चरण जोड़ सकते हैं। एक मॉडल जो टोकन सीमा तक पहुँचने तक वाक्यांश दोहराने में फँस जाता है, वह पूरी तरह से अलग विफलता है, जो चुपचाप एक ही दस्तावेज़ पर आपकी API बजट खा सकती है और आउटपुट उत्पन्न कर सकती है जो स्पष्ट रूप से टूटा हुआ है लेकिन स्वचालित पाइपलाइन में इसे छूटने में आसान है यदि आप विशेष रूप से इसकी जाँच नहीं कर रहे हैं। अपने पोस्ट-प्रोसेसिंग चरण में लंबाई या दोहराव जाँच बनाना अतिशयोक्ति नहीं है, यह एक दस्तावेज़ीकृत विफलता मोड का सीधा प्रतिक्रिया है।

यह एक ही दस्तावेज़ के खिलाफ एक से अधिक इंजन का परीक्षण करने के लिए व्यावहारिक तर्क भी है, बजाय इसके कि सब कुछ एक ही मॉडल पर दांव लगाएं। चूँकि CC-OCR में परीक्षण किए गए किसी भी मॉडल ने चारों ट्रैक (बहु-दृश्य पठन, बहुभाषी पठन, दस्तावेज़ पार्सिंग, मुख्य जानकारी निष्कर्षण) में प्रभुत्व नहीं जताया, इसलिए एक उत्पादन प्रणाली के लिए सबसे सुरक्षित दांव इंजन चयन को दस्तावेज़-प्रकार-निर्भर मानना है बजाय एक बार के निर्णय के, और एक फॉलबैक पथ रखना है जब आपका प्राथमिक इंजन की विशिष्ट कमजोरियाँ किसी दिए गए इनपुट पर सामने आती हैं। मजबूत अंग्रेजी OCR का अर्थ यह नहीं है कि देवनागरी OCR अच्छा है; इसलिए, यदि आपका डेटा हिंदी या अन्य भारतीय भाषाओं में है, तो देवनागरी लिपि के जटिल संयुक्त अक्षरों और मात्राओं के लिए विशेष रूप से परीक्षण करना अनिवार्य है।

पेपर क्या नहीं सुलझाता

CC-OCR नवंबर 2024 तक के नौ मॉडलों का एक स्नैपशॉट है, और इस क्षेत्र में गति तेज है: तब से नए मल्टीमोडल मॉडल लॉन्च हो चुके हैं, और कुछ ने विशेष रूप से उन ग्रาวंडिंग और रिपीटिशन (दोहराव) की समस्याओं को संबोधित किया हो सकता है जिन्हें इस पेपर में उजागर किया गया है। यह बेनचमार्क यह गहराई से नहीं खोजता कि रिपीटिशन हॉलुसिनेशन (दोहराव भ्रम) क्यों होता है; यह पैटर्न को दस्तावेज़ीकृत करता है लेकिन कोई समाधान नहीं देता, जिससे प्रैक्टिशनर्स को एक दस्तावेज़ीकृत इलाके पर भरोसा करने के बजाय अपनी खुद की डिटेक्शन और मिटिगेशन लॉजिक बनानी पड़ती है।

इस बात को याद रखना भी महत्वपूर्ण है कि कोई भी बेनचमार्क, चाहे वह कितना भी व्यापक क्यों न हो, वैसे भी 7,058 छवियों का एक स्थिर सेट है। वास्तविक दस्तावेज़ आपको ऐसे तरीकों से आश्चर्यचकित करते रहते हैं जिन्हें कोई भी स्थिर टेस्ट सेट पूरी तरह से कैप्चर नहीं कर पाता: एक नया इनवॉइस टेम्पलेट, कोई ऐसी भाषा संयोजन जिसकी किसी ने सोची भी न हो, या किसी क्लाइंट के हार्डवेयर से जुड़ा कोई अनोखा स्कैनर आर्टिफैक्ट। CC-OCR वर्तमान मॉडल कहाँ संघर्ष करते हैं, इसका एक वास्तव में उपयोगी मानचित्र है। यह आपके शिपमेंट से पहले अपने खुद के दस्तावेज़ों के खिलाफ परीक्षण करने का विकल्प नहीं है।

यही वास्तव में पूरे पेपर की मुख्य धारा है: सामान्य उद्देश्य की "मॉडल छवियां पढ़ सकता है" क्षमता और विश्वसनीय, प्रोडक्शन-ग्रेड OCR संबंधित लेकिन अलग-अलग चीजें हैं, और उनके बीच का अंतर विशिष्ट, परीक्षण योग्य तरीकों से सामने आता है—जैसे ओरिएंटेशन, ग्रาวंडिंग और अनियंत्रित रिपीटिशन—बजाय एक ऐसे एकल डायल के जिसे आप बस बढ़ा सकें।