ImageNet पिछले 14 वर्षों से एक टूटे हुए उत्तर कुंजी पर मॉडल्स को ग्रेड कर रहा है

कल्पना कीजिए कि 50,000 प्रश्नों की एक वर्तनी परीक्षा है, जिसका मूल्यांकन 2012 में एक शिक्षक द्वारा जल्दबाजी में लिखे गए और कभी पुनः संपादित नहीं किए गए उत्तर कुंजी के आधार पर किया जाता है। अब कल्पना कीजिए कि उस कुंजी में लगभग हर आठवें उत्तर में टाइपिंग की त्रुटियां हैं, और प्रश्नों के एक तिहाई हिस्से में वास्तव में दो या तीन स्वीकार्य वर्तनियां थीं, लेकिन केवल एक को ही सही चिह्नित किया गया था। यह ImageNet-1k का सत्यापन सेट है, जिसने दशक से अधिक समय तक छवि वर्गीकरण शोध को आधार प्रदान किया है, और यह "Doomed to Re-Annotate, Forever: The ImageNet Story" नामक नई शोध पत्र का विषय है।

वह खोज जो आपको स्क्रॉल करते समय रुकने पर मजबूर कर देगी: मूल ImageNet-1k लेबल्स में से लगभग 12% गलत हैं, 33.3% छवियां वास्तव में एक से अधिक वैध वर्गों को दर्शाती हैं, और 3.8% छवियों में 1,000 श्रेणियों में से कोई भी वस्तु मौजूद नहीं है। इस डेटासेट के विरुद्ध top-1 सटीकता पर आधारित हर "state of the art" दावे का मूल्यांकन, आंशिक रूप से, एक टूटी हुई कुंजी के विरुद्ध किया गया था। और जब शोधकर्ताओं ने इसे ठीक किया, तो सहायक मॉडलों (supervised models) की top-1 सटीकता में 1.2 प्रतिशत अंकों तक की वृद्धि हुई, जबकि बहु-मोडल लार्ज लैंग्वेज मॉडल्स (MLLMs, जो छवि को देखकर प्राकृतिक भाषा में उससे संबंधित प्रश्नों के उत्तर दे सकते हैं) में 5 से 6 अंकों की उछाल आई। यह शोर नहीं है। यह उस "प्रगति" का एक महत्वपूर्ण हिस्सा है जिसे लोग कहते आए हैं।

एक कुत्ते और फ्रिस्बी की तस्वीर एक-उत्तर वाले बेंचमार्क को क्यों तोड़ देती है

ImageNet-1k मॉडल से हर छवि के लिए ठीक एक लेबल चुनने को कहता है, ठीक एक 1,000 श्रेणियों की सूची से। यह बाधा 2012 में तर्कसंगत थी, जब क्षेत्र को यह मापने के लिए एक सरल, तुलनीय तरीके की आवश्यकता थी कि कंप्यूटर वस्तुओं को पहचान सकते हैं या नहीं। तब से यह चुपके से गलत रहा है, क्योंकि असली फोटो एकल-लेबल नियमों का सम्मान नहीं करते।

एक "Labrador retriever" टैग वाली फोटो लें। यदि कुत्ता एक टेनिस बॉल भी पकड़े हुए है, एक छड़ चबा रहा है, या सोफे पर बैठे व्यक्ति के बगल में बैठा है, तो कौन सा "सही" उत्तर है? मूल ImageNet एनोटेटर्स ने बड़े पैमाने पर, एक मिलियन छवियों में, एक चुना और आगे बढ़ गए, जिनमें ज्यादातर क्राउडवर्कर्स ने प्रत्येक छवि को केवल एक बार देखा। छोटी अस्पष्टताओं को एक मिलियन छवियों से गुणा करें और आपको एक ऐसा बेंचमार्क मिलता है जो बचाव योग्य लेकिन गलत उत्तरों से भरा हुआ है। पेपर का मुख्य आंकड़ा, कि छवियों का एक-तिहाई वास्तव में मल्टीलेबल है, वास्तव में केवल एक ईमानदार गिनती है कि दुनिया मजबूरी से एकल विकल्प के साथ कितनी बार सहयोग नहीं करती।

फिर दूसरी, चालाक समस्या है: श्रेणियां स्वयं असंगत हैं। ImageNet की 1,000 क्लासेस WordNet से आती हैं, जो एक भाषाई डेटाबेस है, कंप्यूटर विजन के लिए सावधानी से डिज़ाइन किए गए वर्गीकरण प्रणाली से नहीं। कुछ क्लासेस ओवरलैप करती हैं ("laptop" और "notebook computer"), कुछ अजीब तरीके से संकीर्ण हैं, और कुछ परिभाषाएं मूल एनोटेटर्स को तब तक स्पष्ट नहीं हुईं जब तक कि उन्होंने हज़ारों छवियों को उस परिभाषा के अनुसार "गलत" तरीके से लेबल नहीं कर दिया, जिस पर वे बाद में सहमत हुए। इस पेपर में गहरा तर्क यही है: आप इस तरह की कार्य के लिए सही नियम पुस्तिका तब तक नहीं लिख सकते जब तक आप लेबलिंग शुरू नहीं करते, क्योंकि किनारे के मामले (edge cases) जो आपको नियम पुस्तिका को परिष्कृत करने के लिए मजबूर करते हैं, केवल तब सामने आते हैं जब आप लेबलिंग में गहरे होते हैं। त्रुटियां और परिभाषात्मक खालियां काम करने से पता चलते हैं, न कि पहले से योजना बनाने से।

टीम ने ReImageNet कैसे बनाया, यह दावा किए बिना कि एक ही चक्र सब ठीक कर देगा

ImageNet के लेबल्स को साफ करने की अधिकांश पिछली कोशिशों ने इसे एक-चरणीय सुधार के रूप में देखा: त्रुटियाँ खोजें, उन्हें ठीक करें, और एक पैच किया हुआ CSV जारी करें। इस टीम का केंद्रीय दांव यह है कि ImageNet के पैमाने पर एक डेटासेट को वास्तव में एक ही चक्र में सही ढंग से एनोटेट नहीं किया जा सकता है, इसलिए उन्होंने अपनी पाइपलाइन को दोहराए जाने वाले परिष्करण और त्रुटि जांच के इर्द-गिर्द बनाई। एनोटेट करें, यह खोजें कि गाइडलाइन्स कहाँ टूट रही हैं, गाइडलाइन्स में संशोधन करें, नई गाइडलाइन्स के खिलाफ पहले की गई कार्य की पुनः जाँच करें, और दोहराएं।

परिणामस्वरूप, ReImageNet, गलत लेबल्स को ठीक करने से कहीं अधिक है। वैलिडेशन सेट में प्रत्येक छवि के लिए, टीम ने निम्नलिखित जोड़ा:

• मल्टीलेबल सुधार — केवल एक नहीं, बल्कि मौजूद प्रत्येक वैध वर्ग की सूची बनाना
• वस्तु स्थानीयकरण — यह चिह्नित करना कि प्रत्येक लेबल वाली वस्तु छवि में वास्तव में कहाँ है
• संशोधित वर्ग परिभाषाएँ — जहाँ मूल WordNet-आधारित श्रेणियाँ अस्पष्ट या ओवरलैपिंग थीं, वहाँ उन्हें कसना
• सेमान्टिक विशेषताएँ — यह फ्लैग करना कि क्या छवि में पाठ है, क्या यह एक फोटो है या ड्रॉइंग/रेंडरिंग, क्या वस्तु परावर्तन के माध्यम से देखी जा रही है, क्या यह भीड़ में है, और क्या एक वस्तु फ्रेम पर स्पष्ट रूप से हावी है

उस पाठ-पहचान विशेषता पर थोड़ा विस्तार से विचार करना उचित है। ImageNet की कुछ प्रतिशत फोटो में दृश्यमान पाठ होता है: किसी जार पर लेबल, पृष्ठभूमि में साइनबोर्ड, या टी-शर्ट पर मुद्रित शब्द। एक मॉडल जो आकारों को पहचानने के बजाय उस पाठ को वास्तव में पढ़ रहा है, वह छवि के आधार पर सहायता या दंड प्राप्त कर सकता है, और इससे पहले किसी ने इस चर को ट्रैक नहीं किया था। इसे फ्लैग करना एक छोटा सा जोड़ है जिसका मूल्य बहुत अधिक है: यह "मॉडल ने इसमें गलती क्यों की" को एक रहस्य से एक जांच योग्य परिकल्पना में बदल देता है।

दूसरा उल्लेखनीय कदम यह है कि लेबलिंग करने वाले कौन हैं। पेपर में रिपोर्ट किया गया है कि मानव और LLM सहयोग, सही टूल्स के साथ, इस पैमाने पर एनोटेशन के लिए वर्तमान गुणवत्ता सीमा को दर्शाता है। व्यावहारिक रूप से, इसका अर्थ संभवतः यह है कि LLMs उम्मीदवार लेबल्स का प्रस्ताव करते हैं, असंगतताओं को फ्लैग करते हैं, या विशेषताओं को पूर्व-भराव करते हैं, जबकि मानव समीक्षा करते हैं, असहमति का निर्णय करते हैं, और उन मामलों को पकड़ते हैं जहाँ मॉडल आत्मविश्वास के साथ गलत होता है। न तो कोई पक्ष अकेले यह करता है। यह उन सभी के लिए एक उपयोगी डेटा पॉइंट है जो अभी एक बड़े एनोटेशन प्रोजेक्ट के लिए स्टाफिंग के बारे में निर्णय ले रहे हैं: 2012 में शुद्ध क्राउडसोर्सिंग ने बहुत कुछ छूट दिया था, और शुद्ध स्वचालन आज भी, अलग-अलग तरीकों से, उतना ही छूट सकता है।

वो अंक जो मायने रखते हैं, और 12% गलत होना सुनने से ज्यादा खराब क्यों है

यहाँ सादे शब्दों में हिसाब-किताब है:

• मूल लेबल्स में से ~12% गलत हैं। ये सीमांत या "शायद गलत" नहीं हैं, बल्कि दिखाए गए छवि के लिए पूरी तरह से गलत हैं।
• 33.3% छवियाँ मल्टीलेबल हैं। वैलिडेशन सेट का एक-तिहाई हिस्सा वास्तव में एक से ज्यादा ImageNet क्लास दिखाता है, और पुराना सिंगल-लेबल फॉर्मेट सही जवाबों को चुपचाप पेनालाइज कर रहा था।
• 3.8% में 1,000 क्लास में से किसी भी क्लास का कोई ऑब्जेक्ट नहीं है। लगभग हर 100 टेस्ट सवालों में से 4 का लिस्ट पर कोई सही जवाब उपलब्ध नहीं था।
• सुपरवाइज्ड मॉडल्स को 1.2 पॉइंट्स तक टॉप-1 एकरसी में सुधार होता है जब उन्हें मूल लेबल्स के बजाय सुधारे गए लेबल्स के खिलाफ स्कोर किया जाता है।
• MLLMs को 5 से 6 पॉइंट्स का लाभ होता है। यह एक बड़ी संख्या है, और यह इसके पीछे के कारण के बारे में बहुत कुछ बताती है।

इन अंतिम दो संख्याओं के बीच का अंतर ही असली कहानी है। ImageNet पर एंड-टू-एंड ट्रेन किया गया एक आधुनिक सुपरवाइज्ड क्लासिफायर, एक अर्थ में, डेटासेट की अनोखियों के साथ-साथ सही विजुअल कॉन्सेप्ट्स को भी भनाने में सक्षम हो गया है। इसने ट्रेनिंग के दौरान मूल लेबलिंग कन्वेंशन्स को अवशोषित कर लिया, इसलिए जब इसे उसी कन्वेंशन्स के खिलाफ ग्रेड किया जाता है, तो मिसमैच ज्यादातर कैंसिल आउट हो जाता है। एक MLLM को ImageNet की विशिष्ट लेबलिंग आदतों की नकल करने के लिए ट्रेन नहीं किया गया था। यह छवि को देखता है, इस बारे में तर्क करता है कि उसमें वास्तव में क्या है, और अक्सर एक सचमुच सही जवाब देता है जिसे पुराने सिंगल-लेबल ग्राउंड ट्रूथ ने अनुमति नहीं दी थी। दूसरे शब्दों में, "MLLMs क्लासिफिकेशन में स्पेशलाइज्ड मॉडल्स से कमजोर हैं" वाले नैरेटिव का एक महत्वपूर्ण हिस्सा शायद विजुअल समझ के बजाय एक अनोखे 2012 के नियम-पुस्तिका के खिलाफ नियम-मानी माप रहा था।

और नुकसान मूल बेंचमार्क तक सीमित नहीं रहता। पेपर दिखाता है कि ImageNet-1k की समस्याएँ इसके डेरिवेटिव टेस्ट सेट्स, अर्थात मूल डेटा को रिसैम्पलिंग या पर्टरब करके बनाए गए विभिन्न फॉलो-ऑन बेंचमार्क्स में फैल जाती हैं। अगर बेस लेबल्स गलत हैं, तो डाउनस्ट्रीम में सब कुछ उस त्रुटि को विरासत में पाता है। यह पेपर का तर्क है कि इसे एक डेटासेट की बग के बजाय एक संरचनात्मक समस्या कहा जाए: इस फील्ड ने पूरे बेंचमार्क्स के परिवार को एक ऐसे आधार पर बनाया जिसकी पूरी तरह से ऑडिट कभी नहीं की गई थी।

यदि आप OCR बना रहे हैं या चुन रहे हैं, तो यह क्यों मायने रखता है

OpenOCR रीडर्स ImageNet क्लासिफायर्स को ट्रेन नहीं कर रहे हैं, इसलिए यह पूछना उचित है कि यह पेपर इस ब्लॉग पर क्यों आता है। दो कारण हैं, और दोनों व्यावहारिक हैं।

पहला, विधि सीधे तौर पर स्थानांतरित होती है। डॉक्यूमेंट AI और OCR बेंचमार्क में वही फेल्योर मोड होते हैं जो ImageNet में थे, अक्सर उससे भी बदतर। एक स्कैन की गई इनवॉइस में कुल राशि वाली लाइन पर एक स्टाम्प हो सकता है, एक प्रिंटेड फ़ील्ड के बगल में हाथ से की गई सुधार हो सकती है, या एक टेबल सेल जो दो वैध पढ़ने के तरीकों के बीच वास्तव में अस्पष्ट हो। OCR डेटासेट के लिए "ग्राउंड ट्रुथ" आमतौर पर वैसे ही बनाया जाता है जैसे 2012 में ImageNet का बनाया गया था: एक पास, एक एनोटेटर या एक छोटी टीम, परिभाषाएं तब जमी हुई थीं जब किसी ने एज केसेस नहीं खोजे थे। यह पेपर एक मजबूत तर्क है कि यदि आप एक डॉक्यूमेंट बेंचमार्क बना रहे हैं या ऑडिट कर रहे हैं, तो शुरुआत से ही पुनः एनोटेशन के लिए बजट रखें, बाद में सफाई के रूप में नहीं। बड़े पैमाने पर एक लेबलिंग पास आपके डेटा के एक महत्वपूर्ण अंश पर गलत होगा, बिना किसी शर्त के।

दूसरा, और OCR इंजन चुनने के लिए अधिक प्रासंगिक: बेंचमार्क सटीकता संख्याएं केवल उतनी ही विश्वसनीय हैं जितनी उनकी ग्राउंड ट्रुथ। यदि आप लीडरबोर्ड के आधार पर इंजनों के बीच चुन रहे हैं, तो पूछें कि ग्राउंड ट्रुथ वास्तव में क्या है, यह कैसे बनाया गया था, क्या इसे एक से अधिक बार समीक्षा की गई थी, और क्या यह उन मामलों को ध्यान में रखता है जिनमें एक से अधिक उचित पढ़ने के तरीके हैं (एक धुंधला अंक जो 3 या 8 हो सकता है, एक नाम फ़ील्ड जो दो सेगमेंटेशन के बीच अस्पष्ट हो)। दो इंजनों के बीच 1-2 पॉइंट की सटीकता का अंतर पूरी तरह से लेबल नॉइज़ द्वारा समझाया जा सकता है, न कि वास्तविक क्षमता के अंतर द्वारा, बिल्कुल वैसे ही जैसे इस पेपर में दिखाया गया है कि सुपरवाइज्ड ImageNet मॉडल्स के साथ हुआ था। और यदि आप सादे टेक्स्ट एक्सट्रैक्शन के बजाय एक डॉक्यूमेंट-समझ मॉडल का मूल्यांकन कर रहे हैं, तो इस पेपर की सबसे बड़ी संख्या आपको संदेह में डालनी चाहिए: MLLMs ने निष्पक्ष रूप से ग्रेड करने पर 5 से 6 पॉइंट प्राप्त किए। कोई भी OCR मूल्यांकन जो मल्टीमोडल मॉडल्स को सिंगल-उत्तर, फर्स्ट-पास ग्राउंड ट्रुथ के खिलाफ स्कोर करता है, संभवतः उन्हें वही कारणों से कम आंक रहा है जिनके कारण ImageNet कम आंक गया था। मजबूत अंग्रेजी OCR का अर्थ यह नहीं है कि देवनागरी OCR अच्छा होगा; देवनागरी की जटिल संयुक्त वर्णों और शिरोरेखा की प्रकृति के कारण, ग्राउंड ट्रुथ की गुणवत्ता और लेबलिंग की सटीकता यहाँ और भी अधिक महत्वपूर्ण हो जाती है।

सेमान्टिक एट्रिब्यूट्स एक छोटा लेकिन वास्तव में उपयोगी विचार है जिसे चुराने योग्य है। यह टैग करना कि क्या एक छवि में टेक्स्ट है, यह फोटो है या रेंडरिंग, या क्या यह प्रतिबिंब के माध्यम से सामग्री दिखाती है, "मॉडल इस छवि पर विफल रहा" को एक रहस्य के बजाय एक डीबग करने योग्य श्रेणी में बदल देता है। डॉक्यूमेंट बेंचमार्क को इसी प्रकार के टैगिंग से लाभ होगा: क्या यह पेज की फोटो है या फ्लैटबेड स्कैन, क्या टेक्स्ट हाथ से लिखा है या प्रिंटेड, क्या सामग्री के ऊपर वॉटरमार्क या स्टाम्प है। अभी अधिकांश OCR बेंचमार्क एक मिश्रित सटीकता संख्या रिपोर्ट करते हैं और ठीक वही विविधता छुपाते हैं जो आपको बताएगी कि एक इंजन वास्तव में कहाँ संघर्ष कर रहा है।

जहाँ यह अभी भी कम पड़ता है

गवेषणापत्र अपने सीमाओं के बारे में ईमानदार है, और ReImageNet को एक सुलझा हुआ मुद्दा मानने के बजाय इसे गंभीरता से लेना उचित है। शीर्षक स्पष्ट रूप से कहता है: "Doomed to Re-Annotate, Forever." लेखकों का अपना दृष्टिकोण यह है कि इस पैमाने पर कोई भी एनोटेशन प्रयास अंतिम, त्रुटि-मुक्त अवस्था तक नहीं पहुँचता; ReImageNet एक बेहतर उत्तर कुंजी है, परंतु पूर्ण नहीं, और उनके अपने तर्क के अनुसार, जैसे-जैसे नए परिभाषात्मक सीमा-स्थित मामले (definitional edge cases) सामने आएंगे, इसकी आगे की पुनरावृत्तियों की आवश्यकता होगी।

OCR पाठकों के लिए विशेष रूप से एक दायरा सीमा का उल्लेख करना उचित है: यह एक प्राकृतिक-छवि वर्गीकरण बेंचमार्क है। ReImageNet के सुधारों का OCR सटीकता, लेआउट समझ, या तालिका निष्कर्षण से कोई लेना-देना नहीं है, जो OCR बेंचमार्कों को मापने के लिए वास्तव में आवश्यक हैं। यहाँ प्रासंगिकता पूरी तरह से विधि और इस बात को लेकर है कि यह सामान्यतः दृश्य कार्यों पर MLLMs के स्कोरिंग के बारे में क्या प्रकट करता है, न कि किसी OCR-विशिष्ट डेटासेट में सीधे सुधार के बारे में।

और उन सभी के लिए एक व्यावहारिक नोट जो केवल नए लेबल बदलने के लिए प्रेरित हों: ReImageNet के विरुद्ध मॉडलों को पुनः स्कोर करने से लीडरबोर्ड बदल जाता है। मॉडल जो पहले एक अंश के अंतर से "सर्वोत्तम" के रूप में रैंक किए गए थे, वे सुधारे गए, मल्टीलेबल-अवेयर ग्राउंड ट्रुथ का उपयोग करने पर पुनः क्रमबद्ध हो सकते हैं। यदि आप किसी गवेषणापत्र, ब्लॉग पोस्ट, या मॉडल कार्ड में ImageNet सटीकता संख्याओं का उल्लेख करते हैं, तो आगे चलकर स्पष्ट रूप से बताना उचित है कि वह संख्या किस लेबल सेट पर आधारित है। इस गवेषणापत्र के प्रकाशन के बाद से "Top-1 on ImageNet" चुपचाप दो अलग-अलग चीजों का संकेत दे रहा है, और उनके बीच का अंतर इतना छोटा नहीं है कि उसे नजरअंदाज किया जा सके।

डेटा, वर्ग परिभाषाएँ, एनोटेशन दिशानिर्देश, और विश्लेषण कोड सभी सार्वजनिक हैं (गवेषणापत्र में लिंक किए गए), जो वह हिस्सा है जो इसे केवल एक रोचक सांख्यिकीय तथ्य के बजाय वास्तव में उपयोगी बनाता है। जो कोई भी दृश्य या दस्तावेज़ बेंचमार्कों की अगली पीढ़ी विकसित कर रहा है, उसके पास अब एक ठोस उदाहरण है कि एक उचित रूप से पुनरावर्ती, मानव-प्लस-LLM एनोटेशन पाइपलाइन कैसी दिखती है, सभी दोषों सहित।