OCR बेचमार्क में छिपा कैप्चर-डिवाइस बायस: वेरिकाँम डिवाइसों के बीच क्या मापता है
Based on: VeriCam: A Verification Baseline for the Classification of Unknown Data — Lucas Wojcik, Gabriel E. Lima, Sergio M. Silva, Eduil Nascimento, David Menotti
VeriCam: अज्ञात डेटा के वर्गीकरण के लिए एक सत्यापन आधाररेखा
VeriCam पेपर में एक पूर्व-प्रशिक्षित PARSeq-tiny मॉडल ने अपने intra-device LPLCv2 मूल्यांकन में 95.98% पूर्ण-प्लेट सटीकता प्राप्त की। "Perfect" प्लेट्स पर, यह 99.01% तक पहुंचा; "Illegible" प्लेट्स पर, 68.18%।
पेपर के cross-device मूल्यांकन में, जहां टेस्ट कैप्चर डिवाइस प्रशिक्षण के दौरान मौजूद नहीं थे, उन आंकड़ों में बदलाव आया। समग्र प्लेट सटीकता 94.26% थी, जबकि Illegible प्लेट्स पर प्रदर्शन 50.76% था: intra-device परिणाम से 17.42 प्रतिशत-बिंदु का अंतर।
ये प्रयोग उत्पादन डिप्लॉयमेंट टेस्ट नहीं हैं, और पेपर उस अंतर के लिए जिम्मेदार सटीक दृश्य संकेतों को अलग नहीं करता है। लेकिन वे लेखकों की केंद्रीय चेतावनी का समर्थन करते हैं: कैप्चर-डिवाइस प्रदूषण ट्रैफिक-सर्विलांस OCR डेटासेट में मूल्यांकन को विकृत कर सकता है।
फेडरल यूनिवर्सिटी ऑफ पाराना (UFPR) और पाराना मिलिटरी पुलिस का एक पेपर, जिसका शीर्षक VeriCam: A Verification Baseline for the Classification of Unknown Data (arXiv:2608.31107, SIBGRAPI WIP 2026 में स्वीकार किया गया) है, इस मुद्दे को सीधे अध्ययन करता है। लेखक Lucas Wojcik, Gabriel E. Lima, Sergio M. Silva Jr., Eduil Nascimento Jr., और David Menotti का तर्क है कि LPLCv2 में एक अंतर्निहित कैप्चर-डिवाइस पूर्वाग्रह है जो डाउनस्ट्रीम लाइसेंस-प्लेट पहचान कार्यों, जिसमें OCR शामिल है, के लिए cross-device सामान्यीकरण की चुनौती पेश करता है।
उनके द्वारा प्रस्तावित पाइपलाइन, VeriCam, एक सत्यापन मॉडल को छवि जोड़ों की तुलना करने के लिए प्रशिक्षित करती है, फिर एक ग्राफ बनाती है और टेस्ट-टाइम क्लास लेबल्स की आवश्यकता के बिना अज्ञात कैप्चर-डिवाइस क्लासेस को क्लस्टर करती है। cross-device परिदृश्य में, पेपर सत्यापन के लिए 93.45 का F1-स्कोर रिपोर्ट करता है। टेबल V अपने Leiden क्लस्टरिंग सेटअप के लिए ज्ञात लेबल्स के बिना 80.14 का V-Measure रिपोर्ट करता है।
निगरानी डेटासेट में कैप्चर-डिवाइस पूर्वाग्रह
यह पेपर लारोका और अन्य (Laroca et al.) के पूर्व कार्य पर आधारित है, जिसमें पाया गया था कि एक बहुत छोटा CNN मानक वर्गीकरण कार्य में यह पहचान सकता है कि यातायात की छवि किस डेटासेट से आई है। VeriCam एक डेटासेट के भीतर एक संबंधित समस्या का परीक्षण करता है: विभाजनों के बीच कैप्चर-डिवाइस संदूषण।
जब एक इमेज-स्तर का विभाजन (split) एक ही कैप्चर डिवाइस की छवियों को प्रशिक्षण, सत्यापन और परीक्षण में रखता है, तो मूल्यांकन ज्ञात डिवाइसों से अज्ञात छवियों का परीक्षण करता है। इसके विपरीत, डिवाइस-स्तर का विभाजन कैप्चर डिवाइसों को पूरी तरह से बाहर रखता है, जिससे सत्यापन और परीक्षण की छवियाँ अज्ञात डिवाइसों से आती हैं।
लेखकों ने LPLCv2 का उपयोग किया, जो एक यातायात-निगरानी डेटासेट है जिसमें 37,099 छवियाँ हैं। इनमें से 34,760 छवियों को कैमरा आईडी के साथ एनोटेट किया गया है। कम से कम दस छवियों से जुड़े डिवाइसों को बनाए रखने के बाद, उनके कार्यशील डेटासेट में 612 डिवाइसों में 33,668 छवियाँ शामिल हैं।
डेटासेट काफी असंतुलित है:
- सांद्रता (Concentration): कार्यशील डेटासेट का लगभग 50%, या 16,644 छवियाँ, इसके 15% वर्गों, यानी 90 डिवाइसों से आती हैं।
- लंबी पूंछ (Long tail): 158 डिवाइसों में प्रत्येक में 10–19 छवियाँ हैं, जबकि 62 डिवाइसों में 100 या उससे अधिक छवियाँ हैं।
पेपर का उद्देश्य कैप्चर-डिवाइस समूहों को गतिशील रूप से पहचानना है, जिससे कैप्चर-डिवाइस लेबल्स की अनुमान समय (inference time) पर आवश्यकता के बिना एक अधिक डिवाइस-विभक्त बेंचमार्क संभव हो सके।
स्थिर-लेबल वर्गीकरण और OOD पता लगाना पर्याप्त क्यों नहीं हैं
लेख अपने समस्या को उस संदर्भ में प्रस्तुत करता है जहाँ लक्ष्य वर्गों की संख्या अज्ञात है और पूर्व में निश्चित नहीं है।
-
स्थिर-लेबल वर्गीकरण में एक निश्चित आउटपुट स्थान होता है: मानक वर्गीकरणकर्ता इनपुट को पूर्व निर्धारित वर्गों की संख्या में मैप करते हैं। वे नमूनों को पूर्व में अज्ञात वर्गों में सीधे आवंटित नहीं करते हैं।
-
OOD पता लगाना अज्ञात वर्गों की खोज नहीं करता है: OOD विधियाँ ज्ञात वर्गों के बाहर के नमूनों को फ्लैग करके एक (N)-वर्ग समस्या को (N+1) सेटिंग में विस्तारित कर सकती हैं। लेकिन एक अज्ञात नमूने का पता लगाना, कई अज्ञात नमूनों को उनके अंतर्निहित वर्गों में समूहीकृत करने से भिन्न है।
-
सूक्ष्म पृथक्करण अभी भी कठिन रहता है: लेखकों का तर्क है कि छवि और पाठ फाउंडेशन मॉडल, साथ ही दृश्य-पाठ हाइब्रिड, में विशेषज्ञतापूर्ण प्रतिनिधित्व शक्ति की कमी हो सकती है, जो तब आवश्यक होती है जब दृश्य रूप से समान वर्ग सूक्ष्म विवरणों में भिन्न होते हैं।
अन्य जीरो-शॉट दृष्टिकोण साझा विशेषताओं को स्थानांतरित कर सकते हैं या वर्ग प्रोटोटाइप का उपयोग कर सकते हैं। VeriCam इसके बजाय कार्य को स्थानीय जोड़ीवार सत्यापन के बाद क्लस्टरिंग के रूप में पुनर्परिभाषित करता है।
सत्यापन के माध्यम से वर्गीकरण को पुनर्परिभाषित करना
एक निश्चित सूची से एक कैप्चर-डिवाइस क्लास चुनने के लिए मॉडल से पूछने के बजाय, VeriCam अनुमान लगाता है कि क्या दो छवियां एक ही लैटेंट क्लास (latent class) से संबंधित हैं।
यह दृष्टिकोण चेहरा पहचान (face recognition) में उपयोग किए जाने वाले सत्यापन-आधारित फीचर लर्निंग (verification-based feature learning) पर आधारित है। VeriCam एक फीचर डिस्क्रिप्टर के रूप में Vision Transformer का उपयोग करता है, जोड़ीदार संबंधों (pairwise relationships) का अनुमान लगाता है, और उन संबंधों को एक ग्राफ में परिवर्तित करता है।
[ Unseen Traffic Images ]
│
▼
[ ViT-B/16 Verification Model ]
│
(Feature Vectors)
│
▼
[ Pairwise Cosine Similarity ]
│
(Affinity Graph)
│
▼
[ Naive or Leiden Clustering ]
│
▼
[ Discovered Capture-Device Classes ]
मेट्रिक-लर्निंग बैकबोन
लेखकों ने ट्राइपलेट लॉस (triplet loss) और गतिशील रूप से उत्पन्न प्रशिक्षण और सत्यापन ट्राइपलेट्स का उपयोग करके सत्यापन कार्य के लिए ViT-B/16 आर्किटेक्चर को शून्य से प्रशिक्षित किया।
अनुपात (aspect ratio) को बनाए रखते हुए छवियों को (224 \times 224) वर्ग में फिट करने के लिए आकार बदला गया, उन्हें केंद्रित किया गया, और ग्रे पिक्सेल्स से पैड किया गया।
कागज़ में फीचर वेक्टरों के बीच कोसाइन दूरी (cosine distance) को इस प्रकार परिभाषित किया गया है:
$$\text{CosDist}(V_1, V_2) = 1 - \text{CosSim}(V_1, V_2) = 1 - \frac{V_1 \cdot V_2}{|V_1| |V_2|}$$
कोसाइन समानता (cosine similarity) (-1) से (1) तक होती है; संबंधित कोसाइन दूरी समान वेक्टरों के लिए 0 से लेकर पूरी तरह अलग वेक्टरों के लिए 2 तक होती है।
रिपोर्ट किए गए प्रशिक्षण कॉन्फ़िगरेशन में शामिल हैं:
- अधिकतम एपोक (Maximum epochs): 1,000.
- प्रति एपोक बैच (Batches per epoch): 120.
- शुरुआती रुकना (Early stopping): 40 एपोक की धैर्यता (patience), सत्यापन सटीकता (validation accuracy) द्वारा निगरानी की गई।
- ऑप्टिमाइज़र: Adam.
- प्रारंभिक लर्निंग रेट: (1\times10^{-4}), पांच एपोक की धैर्यता के बाद 0.75 की कमी कारक के साथ और न्यूनतम (1\times10^{-6})।
- कम्प्यूट: NVIDIA RTX 6000 GPU.
जोड़ीवार समानताओं से ग्राफ़ तक
विशेषता निष्कर्षण (feature extraction) के बाद, VeriCam छवि सेट को एक अदिश ग्राफ़ (G=(V,E)) के रूप में निरूपित करता है। प्रत्येक शीर्ष (vertex) एक छवि का प्रतिनिधित्व करता है, और किनारे के भार (edge weights) जुड़ी हुई छवि जोड़ों के बीच कोसाइन समानता (cosine similarity) का प्रतिनिधित्व करते हैं।
लेखक नोट करते हैं कि स्पेक्ट्रल क्लस्टरिंग (spectral clustering) उनके परीक्षण सेटों के लिए अत्यधिक महंगा प्रतीत होता है, जिनमें 6,000 से अधिक छवियां होती हैं। इसलिए वे दो दृष्टिकोणों का मूल्यांकन करते हैं।
1. सरल एल्गोरिदम (Naive algorithm)
सरल एल्गोरिदम उदाहरणों को क्रमिक रूप से प्रसंस्करण करता है।
- यह प्रत्येक नई छवि की तुलना ज्ञात सेट में मौजूद छवियों से करता है।
- यह उस छवि और प्रत्येक ज्ञात वर्ग (class) के बीच औसत समानता की गणना करता है।
- यदि प्रत्येक वर्ग का माध्य थ्रेशोल्ड से नीचे है, तो छवि एक नया वर्ग प्रारंभ करती है।
- अन्यथा, इसे उच्चतम माध्य समानता वाले वर्ग में सौंपा जाता है।
थ्रेशोल्ड को 0.6 पर सेट किया गया है। एल्गोरिदम ज्ञात उदाहरणों और लेबल के साथ या बिना किसी पूर्व वर्ग जानकारी के शुरू हो सकता है।
2. Leiden ग्राफ़ क्लस्टरिंग
दूसरा दृष्टिकोण ग्राफ़ क्लस्टरिंग के लिए Leiden एल्गोरिदम का उपयोग करता है। पेपर में रिज़ॉल्यूशन पैरामीटर 0.8 के साथ Constant Potts Model गुणवत्ता फ़ंक्शन का उपयोग किया गया है।
लेखकों ने इस सेटअप का चयन इसलिए किया क्योंकि वे उच्च सत्यापन सटीकता (verification accuracy) होने पर मजबूती से जुड़े समुदायों की अपेक्षा करते हैं। सरल विधि की तरह, इस कार्य को लेबल-अज्ञेय (label-agnostic) क्लस्टरिंग के रूप में माना जाता है।
प्रायोगिक सेटअप: इमेज-लेवल बनाम डिवाइस-लेवल विभाजन
33,668 कार्यशील छवियों को 60/20/20 प्रशिक्षण, सत्यापन और परीक्षण विभाजनों का उपयोग करके विभाजित किया गया है।
| परिदृश्य | विभाजन | उदाहरण संख्या | डिवाइस संख्या |
|---|---|---|---|
| इंट्रा-डिवाइस | प्रशिक्षण | 20,200 | 612 |
| सत्यापन | 6,734 | 612 | |
| परीक्षण | 6,734 | 612 | |
| क्रॉस-डिवाइस | प्रशिक्षण | 20,914 | 368 |
| सत्यापन | 6,477 | 122 | |
| परीक्षण | 6,277 | 122 |
इंट्रा-डिवाइस परिदृश्य में, प्रत्येक डिवाइस की छवियों को तीन विभाजनों में विभाजित किया जाता है। परीक्षण समय पर छवियाँ अज्ञात होती हैं, लेकिन डिवाइस ज्ञात होते हैं।
क्रॉस-डिवाइस परिदृश्य में, विभाजन डिवाइस स्तर पर होता है। सत्यापन और परीक्षण में मौजूद डिवाइस प्रशिक्षण में उपस्थित नहीं होते हैं, इसलिए उन विभाजनों में अज्ञात कैप्चर डिवाइस शामिल होते हैं।
संख्याएँ: उच्च समरूपता, कम पूर्णता
सत्यापन मॉडल का मूल्यांकन 50,000 यादृच्छिक परीक्षण-छवि जोड़ों के एक स्थिर सेट पर किया गया था, जो वास्तविक और नकली जोड़ों के बीच संतुलित था।
सत्यापन आधारभूत परिणाम
| परिदृश्य | सटीकता (%) | शुद्धता (%) | रिकॉल (%) | F1-स्कोर |
|---|---|---|---|---|
| Intra-Device | 98.13 | 98.87 | 97.36 | 98.11 |
| Cross-Device | 93.79 | 97.83 | 89.52 | 93.45 |
Cross-device रिकॉल 97.36% से गिरकर 89.52% हो गया। पेपर में परिणामी झूठे नकारात्मक (false negatives) को एक महत्वपूर्ण सीमा के रूप में पहचाना गया है: जब उपकरणों को प्रशिक्षण के दौरान नहीं देखा गया था, तो समान उपकरण से वास्तविक जोड़े अक्सर अस्वीकार कर दिए जाते थे।
सरल एल्गोरिदम प्रदर्शन
| परिदृश्य | प्रारंभिक मोड | V-Measure (%) | सही विशेषण (%) |
|---|---|---|---|
| Intra-Device | कोई नहीं | 89.68 | 64.52 |
| प्रशिक्षण सेट | 92.30 | 82.09 | |
| Cross-Device | कोई नहीं | 73.45 | 43.10 |
| प्रशिक्षण सेट | 72.51 | 33.90 |
Intra-device परिदृश्य में ज्ञात उपकरणों के लिए, प्रारंभिक प्रशिक्षण जानकारी ने सरल एल्गोरिदम के परिणामों में सुधार किया। Cross-device परिदृश्य में, समान प्रारंभिक जानकारी ने V-Measure और सही विशेषण दोनों को कम कर दिया। लेखक इसे इस तथ्य के लिए जिम्मेदार ठहराते हैं कि परीक्षण वितरण प्रशिक्षण सेट की सीमा से बाहर था।
Leiden एल्गोरिदम प्रदर्शन
| परिदृश्य | ज्ञात लेबल प्रदान किए गए | समरूपता (%) | पूर्णता (%) | V-Measure (%) |
|---|---|---|---|---|
| Intra-Device | कोई नहीं | 99.22 | 81.11 | 89.25 |
| प्रशिक्षण सेट | 99.26 | 81.17 | 89.31 | |
| Cross-Device | कोई नहीं | 99.18 | 67.23 | 80.14 |
| प्रशिक्षण सेट | 95.34 | 63.66 | 76.35 |
Cross-device, पूर्व-जानकारी-रहित सेटिंग में, Leiden परिणाम सरल परिणाम से अधिक है: 80.14 बनाम 73.45 V-Measure।
समरूपता और पूर्णता के बीच अंतर केंद्रीय है। Cross-device Leiden क्लस्टर अत्यधिक समरूप थे: उन्होंने विभिन्न कैप्चर-उपकरण वर्गों से छवियों को दुर्लभ रूप से मिलाया। लेकिन पूर्णता कम थी, जिसका अर्थ है कि समान उपकरण से छवियों को अक्सर कई क्लस्टरों में विभाजित किया गया था।
पेपर की गुणात्मक विश्लेषण इस विखंडन को सत्यापन चरण में झूठे नकारात्मक से जोड़ती है। समान-वर्ग संबंधों की कमी वर्गों को अलग-अलग समूहों में विभाजित कर देती है, भले ही वे समूह आंतरिक रूप से शुद्ध रहते हों।
PARSeq के साथ OCR स्ट्रेस टेस्ट
लेखकों ने LPLCv2 पर PARSeq-tiny का भी मूल्यांकन किया। उन्होंने इनट्रा-डिवाइस और क्रॉस-डिवाइस परिदृश्यों के लिए दोनों ही फ्रॉम-स्क्रैच और प्री-ट्रेनड संस्करणों को प्रशिक्षित किया, और फिर डेटासेट के प्लेट-वाइज पठनीयता लेबल्स के अनुसार प्लेट और अक्षर सटीकता की रिपोर्ट की।
पूर्ण PARSeq-tiny OCR मूल्यांकन
| सेटअप | पठनीयता स्तर | फ्रॉम स्क्रैच: प्लेट (%) | फ्रॉम स्क्रैच: अक्षर (%) | प्री-ट्रेनड: प्लेट (%) | प्री-ट्रेनड: अक्षर (%) |
|---|---|---|---|---|---|
| इनट्रा-डिवाइस | उत्कृष्ट | 98.73 | 99.72 | 99.01 | 99.78 |
| अच्छा | 94.43 | 98.72 | 95.17 | 98.96 | |
| खराब | 84.82 | 97.21 | 87.12 | 97.63 | |
| अपठनीय | 65.91 | 91.02 | 68.18 | 91.34 | |
| समग्र | 95.29 | 99.00 | 95.98 | 99.15 | |
| क्रॉस-डिवाइस | उत्कृष्ट | 98.72 | 99.78 | 99.08 | 99.84 |
| अच्छा | 94.29 | 98.94 | 96.16 | 99.25 | |
| खराब | 84.52 | 97.06 | 85.60 | 97.38 | |
| अपठनीय | 56.06 | 85.61 | 50.76 | 82.90 | |
| समग्र | 93.41 | 98.66 | 94.26 | 98.80 |
तीन रिपोर्ट किए गए पैटर्न उभरकर सामने आते हैं:
-
विभिन्न परिदृश्यों में उत्कृष्ट प्लेट्स में बहुत कम परिवर्तन हुआ: फ्रॉम-स्क्रैच मॉडल के लिए प्लेट सटीकता 98.73% बनाम 98.72% थी, और प्री-ट्रेनड मॉडल के लिए 99.01% बनाम 99.08% थी।
-
डिवाइसों के बीच समग्र प्लेट सटीकता में गिरावट आई: फ्रॉम-स्क्रैच मॉडल 95.29% से 93.41% तक 1.88 प्रतिशत अंक गिरा। प्री-ट्रेनड मॉडल 95.98% से 94.26% तक 1.72 अंक गिरा।
-
अपठनीय प्लेट्स सबसे अधिक प्रभावित हुईं: फ्रॉम-स्क्रैच मॉडल 65.91% से 56.06% तक 9.85 अंक गिरा। प्री-ट्रेनड मॉडल 68.18% से 50.76% तक 17.42 अंक गिरा।
लेखकों ने विशेष रूप से उल्लेख किया कि कम रिज़ॉल्यूशन वाली, खराब पढ़ी जाने वाली प्लेट्स सबसे अधिक प्रभावित समूह थीं। उनका अध्ययन परिणामी प्रदर्शन अंतरों को मापता है; यह उन विशिष्ट दृश्य विशेषताओं की पहचान नहीं करता है जिनके कारण ये अंतर उत्पन्न हुए।
अध्ययन OCR बेंचमार्कों के बारे में क्या कहता है — और क्या नहीं
VeriCam का सीधा प्रमाण LPLCv2 और PARSeq-tiny लाइसेंस-प्लेट पहचान में ट्रैफिक-सर्विलाज इमेजरी से संबंधित है। यह रसीदों, इनवॉइस, पहचान दस्तावेजों, व्यावसायिक OCR APIs, या दस्तावेज़-स्कैनिंग हार्डवेयर का मूल्यांकन नहीं करता है।
हालाँकि, अपने निर्दिष्ट दायरे के भीतर, यह कई उपयोगी बेंचमार्क-डिज़ाइन अवलोकनों को स्थापित करता है।
1. स्प्लिट प्रोटोकॉल मापे जाने वाले चीज़ को बदल देता है
एक इंट्रा-डिवाइस स्प्लिट (intra-device split) उन डिवाइसों से नई छवियों का परीक्षण करता है जो पहले से ही प्रशिक्षण में प्रतिनिधित्व किए जाते हैं। एक क्रॉस-डिवाइस स्प्लिट (cross-device split) अज्ञात कैप्चर डिवाइसों का परीक्षण करता है।
LPLCv2 OCR प्रयोग के लिए, उन दो प्रोटोकॉलों ने प्लेट-पहचान परिणामों में अंतर उत्पन्न किया, विशेष रूप से Illegible उपसमुच्चय के लिए। पेपर ने न्यायसंगत और कम प्रदूषित बेंचमार्क बनाने की ओर एक कदम के रूप में गतिशील डिवाइस पहचान को प्रस्तुत किया है।
2. अज्ञात कैप्चर-डिवाइस समूहों को टेस्ट लेबल्स के बिना खोजा जा सकता है
VeriCam की पाइपलाइन सपरवाइज्ड वेरिफिकेशन ट्रेनिंग का उपयोग करती है, फिर लक्ष्य छवियों को लेबल-अज्ञेय (label-agnostic) तरीके से क्लस्टर करती है। परीक्षण किए गए क्रॉस-डिवाइस सेटअप में, Leiden क्लस्टरिंग ने उच्च समरूपता (homogeneity) प्राप्त की लेकिन पूर्णता (completeness) कम थी।
यह परिणाम हर OCR कॉर्पस के लिए एक सामान्य समाधान स्थापित नहीं करता है। यह इस ट्रैफिक-सर्विलाज सेटिंग में दिखाता है कि एक वेरिफिकेशन-और-क्लस्टरिंग पाइपलाइन बिना पहले से ही लक्ष्य वर्गों के ज्ञात होने की आवश्यकता के उपयोगी कैप्चर-डिवाइस संरचना को पुनः प्राप्त कर सकती है।
3. प्लेट और कैरेक्टर मेट्रिक्स कहानी के अलग-अलग हिस्से बताते हैं
क्रॉस-डिवाइस प्री-ट्रेन PARSeq परिणाम के लिए, समग्र कैरेक्टर सटीकता 98.80% बनी रही जबकि समग्र प्लेट सटीकता 94.26% थी। Illegible प्लेट्स पर, संबंधित मान 82.90% कैरेक्टर सटीकता और 50.76% प्लेट सटीकता थे।
इसलिए, तालिका इस विशेष OCR मूल्यांकन की व्याख्या करते समय यह दर्शाती है कि कैरेक्टर-स्तर और पूर्ण-स्ट्रिंग मेट्रिक्स दोनों प्रासंगिक क्यों हैं।
कठिन सीमाएँ और आगे का रास्ता
लेख अपनी वर्तमान सीमाओं के बारे में स्पष्ट है:
-
कम रिकॉल के कारण क्लस्टर विखंडन: क्रॉस-डिवाइस लेइडन सेटिंग में, 99.18% समरूपता (homogeneity) के बावजूद पूर्णता (completeness) 67.23% थी। समान-डिवाइस छवियां अक्सर कई क्लस्टरों में विभाजित हो जाती थीं।
-
कम प्रतिनिधित्व वाले वर्गों के प्रति संवेदनशीलता: लेखकों की रिपोर्ट के अनुसार, डेटासेट को कम से कम दस छवियों वाले डिवाइस तक सीमित करने के बाद भी कम प्रतिनिधित्व वाले वर्गों को संभालना कठिन रहता है।
-
पिछले निर्णयों को सुधारने की आवश्यकता: भविष्य के कार्य में नाइव (naive) दृष्टिकोण को बेहतर बनाना शामिल है ताकि यह पिछली गलतियों को सुधारने के लिए आने वाली टेस्ट-टाइम जानकारी का उपयोग कर सके।
-
सीमित मान्यता दायरा: इस विधि की मान्यता LPLCv2 पर स्ट्रीट-सर्विलेंस डोमेन में की गई है। लेखकों ने नई विशेषताओं और अन्य डेटासेटों में विस्तार को भविष्य के कार्य के रूप में पहचाना है।
लेखकों ने अपनी कार्यान्वयन को github.com/lmlwojcik/VeriCam पर ओपन-सोर्स किया है।
अंतिम विचार
VeriCam यह स्थापित नहीं करता है कि हर OCR विफलता कैप्चर-डिवाइस बायस के कारण होती है, न ही यह लाइसेंस-प्लेट रिकग्निशन से परे डॉक्यूमेंट-AI वर्कलोड का परीक्षण करता है। इसका परिणाम संकीर्ण है और फिर भी महत्वपूर्ण है: LPLCv2 पर, डिवाइस-डिसजॉइंट मूल्यांकन छवि-स्तरीय विभाजन की तुलना में कम PARSeq प्लेट सटीकता उत्पन्न करता है, जिसमें सबसे बड़े अंतर कठिन प्लेट्स पर होते हैं।
इस पेपर का योगदान अज्ञात वर्गों को समूहीकृत करने के लिए एक सत्यापन-आधारित बेसलाइन है, साथ ही कैप्चर-डिवाइस समूहों की पहचान करने के लिए एक लेबल-अज्ञेय विधि। अपने ट्रैफिक-सर्विलांस सेटिंग के लिए, यह यह परीक्षण करने की ओर एक ठोस रास्ता प्रदान करता है कि क्या एक बेंचमार्क अज्ञात कैप्चर डिवाइस तक सामान्यीकरण को माप रहा है या केवल ज्ञात डिवाइस से नई छवियों पर प्रदर्शन को।