OCR बेंचमार्क रैंकिंग

पद्धति

रैंक बिना राउंड किए गए गुणवत्ता स्कोर के घटते क्रम में है। बिल्कुल समान स्कोर पर कैनोनिकल मॉडल ID का क्रम हर मॉडल को अलग स्थान देता है। कॉर्पस में AI2 के olmOCR-bench के 20 स्कैन किए गए पृष्ठ हैं, जिन्हें 141 नियम परीक्षणों से अंक दिए जाते हैं। गुणवत्ता प्रतिशत में दिखाई जाती है; इसका रिपोर्ट किया गया 95% कॉन्फ़िडेंस इंटरवल मुश्किल कॉर्पस से आता है, इसलिए पास की रैंक की अनिश्चितता ओवरलैप कर सकती है। श्रेणियाँ हर पृष्ठ प्रकार की सफलता दर दिखाती हैं। गति OpenOCR के ज़रिए प्रति पृष्ठ औसत समय है, जिसमें नेटवर्क समय शामिल है। कीमत प्रति $1 पृष्ठ और वर्तमान प्रति-पृष्ठ शुल्क दिखाती है; टोकन कीमतें अनुमान हैं। गति और मूल्य की सिफ़ारिशें शीर्ष 10 मॉडलों से चुनी जाती हैं। एक मॉडल की कई पेशकशों में से सबसे अधिक स्कोर वाली दिखाई जाती है। उपलब्ध होने पर अलग 11-इमेज वाले साफ़ दस्तावेज़ों के परिणाम मॉडल के एविडेंस पेज पर दिखते हैं। वे रैंक तय नहीं करते। केवल मुश्किल कॉर्पस पर मापे गए मॉडल के लिए साफ़ दस्तावेज़ों का स्कोर या लेटेंसी नहीं दिखाते। खाली पन्ना: हर मॉडल को तीन बार खाली पन्ना दिया जाता है। पाठ गढ़ने पर, ऐसा कितनी बार हुआ उसके अनुपात में गुणवत्ता स्कोर से अधिकतम 15 अंक काटे जाते हैं। पूरी पद्धति पढ़ें →