क्या AI बिना डेटा के बारे में झूठ बोले आपको एक सुंदर चार्ट बना सकता है?

एक ऐसा प्रॉम्प्ट सोचिए: "दुनिया के प्रसिद्ध स्थलों की ऊंचाइयों का बार चार्ट बनाओ, लेकिन हर बार को उस वास्तविक स्थल के रूप में खींचो।" मॉडल इसका पालन करता है। पिसा का झुका मीनार, टोक्यो टावर, बिग बेन, स्वतंत्रता की मूर्ति और हेवेन का मंदिर एक पंक्ति में खड़े होते हैं, हर एक सादे आयत के बजाय एक छोटी सी चित्रकला के रूप में प्रस्तुत होता है। यह एक स्लाइड पर बहुत अच्छा लगता है।

अब डेटा की जांच करो: पिसा 56 है, टोक्यो टावर 133 है, बिग बेन 96 है, स्वतंत्रता की मूर्ति 93 है, और हेवेन का मंदिर 58 है। क्या यह चित्र वास्तव में उन संख्याओं को एन्कोड करता है, या मॉडल ने बस पांच अस्पष्ट रूप से स्थल-आकार के मीनार किसी भी ऊंचाई पर बनाए जहां वे संतुलित लगते थे? अधिकांश वर्तमान इमेज जनरेटर्स के लिए, ईमानदार जवाब दूसरा है। यह वही फेलियर मोड है जिसे Ant Group की एक टीम द्वारा लिखे गए एक नए पेपर ArtChart को ठीक करने का उद्देश्य है। यह मुख्य रूप से एक OCR पेपर नहीं है, लेकिन यह समस्या जो यह हल करता है वह OCR इंजनों द्वारा प्रतिदिन सामना की जाने वाली समस्या का दर्पण प्रतिबिंब है: क्या पृष्ठ पर पिक्सेल्स पर भरोसा किया जा सकता है कि वे उनका अर्थ रखते हैं जैसा वे दावा करते हैं।

एक "सुंदर चार्ट" वास्तव में दो कठिन कार्यों को जोड़ने जैसा है

जो चार्ट स्लाइड डेक, वार्षिक रिपोर्ट या मार्केटिंग पेज में जाता है, उसे एक साथ दो काम करने होते हैं। उसे एक वैध चार्ट होना चाहिए: बार की ऊँचाई मानों के अनुपात में होनी चाहिए, पाई स्लाइस सही कोणों पर होनी चाहिए, श्रेणियों की सही संख्या होनी चाहिए, और लेबल सही मार्क्स से जुड़े होने चाहिए। और उसे डिज़ाइन किया हुआ दिखना चाहिए: एक रंग पैलेट, एक थीम, शायद एक रूपक (बार को आकाशचुंबी इमारतों में बदलना, पाई को भोजन की प्लेट में बदलना)। अगर आप एक मानव डिज़ाइनर से यह करने को कहेंगे, तो वे दोनों सही करेंगे, क्योंकि वे ड्राइंग शुरू करने से पहले संख्याओं को समझते हैं।

अगर आप एक टेक्स्ट-टू-इमेज मॉडल से कहें, तो आपको या तो एक मिलेगा या दूसरा, दुर्लभ ही होगा कि दोनों मिलें। ArtChart के लेखकों ने पायलट प्रयोग किए और विफलताओं को चार श्रेणियों में बाँटा:

• गणितीय तर्क में विकृति: गलत बार ऊँचाई, गलत पाई कोण, बिल्कुल गलत संख्या में बार या स्लाइस।
• टेक्स्ट कंटेंट त्रुटियाँ: लेबल और शीर्षकों में अक्षरों का गायब होना, डुप्लिकेट होना, बिगड़ जाना या बिल्कुल गलत होना।
• टेक्स्ट लेआउट असंगति: एक मान या श्रेणी लेबल गलत मार्क के बगल में होना, या अपने बार से दूर खिसक जाना।
• विज़ुअल स्टाइल विफलता: स्टाइलाइज़ेशन इतना आक्रामक कि मार्क्स पढ़ने योग्य नहीं रह जाते, या इतना कमजोर कि चार्ट बिल्कुल भी "कलात्मक" नहीं लगता।

उनका दृष्टिकोण स्पष्ट है: अगर बार की ऊँचाई गलत है, पाई सेक्टर का कोण गलत है, एक अंक हैलुसिनेट किया गया है, या एक सही मान गलत श्रेणी के ऊपर रखा गया है, तो चाहे बाकी इमेज कितनी भी अच्छी क्यों न दिखे, चार्ट अमान्य है।

एक ब्लूप्रिंट जिसे आर्टिस्ट को फिर से बनाने की अनुमति नहीं है

ArtChart का समाधान इस बात से शुरू होता है कि वह मॉडल को संख्याओं को स्वयं निर्धारित करने से पूरी तरह रोकता है। किसी भी कलात्मक जनरेशन से पहले, सिस्टम डीटरमिनिस्टिक चार्ट कोड का उपयोग करके एक बोरिंग, टेक्स्ट-रहित ग्रेस्केल चार्ट रेंडर करता है, जिसमें प्लॉटिंग लाइब्रेरी से मिलने वाले पिक्सेल-सटीक बार हाइट्स और पाई एंगल्स जैसे ही मानदंड होते हैं। इसमें कोई टाइटल, लेबल या रंग नहीं होते। केवल ज्यामिति।

यह ग्रेस्केल स्केलेटन फिर एक चार्ट-विशिष्ट ControlNet के माध्यम से वास्तविक जनरेशन को कंडीशन करता है (डिफ्यूजन मॉडल्स को स्ट्रक्चरल इनपुट इमेज के साथ स्टीयर करने के लिए एक स्थापित तकनीक), जिसे Qwen-Image-2512 नामक फ्रोजन टेक्स्ट-टू-इमेज बैकबोन के ऊपर ट्रेन किया गया है। इसका विचार आर्किटेक्चरल है: आर्टिस्ट को एक वायरफ्रेम दें और उन्हें खिड़कियां और फैसाद जोड़ने के लिए कहें, लेकिन फ्लोर प्लान को वैसा ही छोड़ दें।

इसे काम करने में सक्षम बनाने वाली बात यह है कि एक जनरिक ControlNet, जो फोटो, एज मैप्स या डेप्थ मैप्स पर ट्रेन किया गया हो, यह नहीं जानता कि इस विशेष ग्रे इमेज में, एक आयत की ऊंचाई एक संख्या है। यह चार्ट को किसी अन्य इमेज की तरह ही स्टाइलाइज़ करने के लिए मानेगा। चार्ट लेआउट पर विशेष रूप से ControlNet को ट्रेन करना ही मॉडल को यह समझने में सक्षम बनाता है कि ज्यामिति सजावटी नहीं, बल्कि डेटा है।

तीन असहमत ग्रेडर्स के साथ मॉडल को सिखाना

ज्यामिति को स्थिर करना पाठ की समस्या को हल नहीं करता। एक बार जब ढांचा मजबूत हो गया, तो टीम ने पाया कि शेष प्रमुख त्रुटियाँ मिला-जुली या गलत लेबल थीं। इसलिए उन्होंने ControlNet और बेस मॉडल को फ्रीज कर दिया, मॉडल के डिफ्यूजन ट्रांसफॉर्मर पर एक छोटा ट्रेनेबल एडेप्टर जोड़ा, और GRPO (Group Relative Policy Optimization) पर आधारित विधि का उपयोग करके रीइंफोर्समेंट लर्निंग के साथ इसे ट्रेन किया।

उस चरण को दो रिवॉर्ड्स ने चलाया। एक जनरेटेड इमेज पर OCR चलाता है और एडिट डिस्टेंस का उपयोग करके डिटेक्टेड टेक्स्ट की तुलना इच्छित लेबल्स से करता है, यह स्कोर करता है कि रेंडर किया गया टेक्स्ट सही होने के कितना करीब है। दूसरा एक विजन-लैंग्वेज मॉडल से पूछता है कि क्या प्रत्येक लेबल सही मार्क पर, सही स्थिति में है, न कि केवल यह कि स्ट्रिंग सही वर्तनी में है या नहीं।

फिर उन्होंने PickScore, एक मानव प्राथमिकता डेटा पर ट्रेन किए गए मॉडल, पर आधारित एस्थेटिक्स के लिए एक तीसरा रिवॉर्ड जोड़ा, और एक भविष्यवाणी योग्य समस्या का सामना किया। OCR सटीकता पर जोर दें और मॉडल सुरक्षित रहता है: सादे फ़ॉन्ट, कठोर प्लेसमेंट, बोरिंग कंपोजिशन। एस्थेटिक्स पर जोर दें और टेक्स्ट फिर से ड्रिफ्ट और गड़बड़ होने लगता है। तीनों रिवॉर्ड्स को एक ट्रेनिंग सिग्नल में औसत करें और आपको एक समझौता मिलता है जो हर चीज़ में औसत होता है, जो उनके प्रयोगों में सीधे तौर पर पुष्टि हुई: एक नाइवली ब्लेंडेड मॉडल ने टेक्स्ट पर 9.49, लेआउट पर 7.51, और एस्थेटिक्स पर 7.61 स्कोर किया, जो उनमें से किसी एक रिवॉर्ड पर ट्रेन किए गए मॉडल द्वारा अकेले हासिल की जा सकने वाली सीमा से नीचे था।

उनका उत्तर OPD नामक एक डिस्टिलेशन स्कीम है। तीन अलग-अलग विशेषज्ञ मॉडल्स को ट्रेन करें, एक जो केवल OCR सटीकता का पीछा करता है, एक जो केवल लेआउट सही होने का पीछा करता है, एक जो केवल एस्थेटिक्स का पीछा करता है, प्रत्येक को तब तक धकेला जाए जब तक कि वह प्लेटो पर न पहुंच जाए। फिर एक अंतिम मॉडल को इमिटेट करने के लिए ट्रेन करें जो विशेषज्ञ किसी दिए गए ट्रेनिंग उदाहरण के लिए सबसे उपयुक्त है, जिसे एक राउटर द्वारा फ्लाई में चुना जाता है। यह "तीन रायों का औसत" से कम और "जिस विशेषज्ञ को इस विशेष मामले का ज्ञान है, उससे सीखना" से अधिक है।

लाभ उनके नंबरों में स्पष्ट रूप से दिखाई देता है। OCR विशेषज्ञ अकेले टेक्स्ट पर 9.55 स्कोर करता है। लेआउट विशेषज्ञ लेआउट पर 7.71 स्कोर करता है। एस्थेटिक विशेषज्ञ एस्थेटिक्स पर 7.69 स्कोर करता है। अंतिम डिस्टिल्ड मॉडल टेक्स्ट पर 9.54, लेआउट पर 7.67, और एस्थेटिक्स पर 7.61 पर आता है, एक ही समय में तीनों अक्षों पर, हर विशेषज्ञ की अपनी छत के बिल्कुल करीब, बजाय इसके कि नाइव ब्लेंड द्वारा उत्पादित मध्यम स्थिति के लिए तैयार हो जाए।

ग्रेडिंग मैथ बिना ग्रेडर को उत्तर कुंजी पढ़ने दिया

इस सब को परखने के लिए, टीम ने आर्टचार्ट-बेंच (ArtChart-Bench) बनाया: 2,000 प्रॉम्प्ट्स जो अंग्रेजी और चीनी में बराबर बंटे हैं, चार्ट के चार प्रकारों (ऊर्ध्वाधर बार, क्षैतिज बार, पाई और एरिया) और मिनिमलिस्ट से लेकर भारी सजावटी तक के 15 स्टाइल फैमिली को कवर करते हैं। प्रॉम्प्ट्स को जानबूझकर स्ट्रेस-टेस्ट किया गया है: श्रेणी की संख्या 2 से 10 तक, मानों की अनुक्रमें जो ज्यादातर अव्यवस्थित हैं लेकिन कभी-कभी जानबूझकर बढ़ते, घटते या सभी समान होते हैं, और मानों की मात्राएं जो आसान बड़े अंतरों से लेकर जानबूझकर लगभग समान या शून्य के करीब संख्याओं तक फैली हैं, जिन्हें एक लापरवाह रेंडरर को फंसाने के लिए डिज़ाइन किया गया है।

ग्रेडिंग छह अक्षों पर होती है, प्रत्येक को 10 में से अंक दिए जाते हैं: गणितीय तर्क, पाठ की सटीकता, पाठ लेआउट, सौंदर्यशास्त्र, निर्देशों का पालन और पठनीयता।

सबसे चतुराईपूर्ण हिस्सा यह है कि वे गणितीय तर्क को कैसे स्कोर करते हैं। एक विज़न-लैंग्वेज मॉडल से पूछना "क्या यह चार्ट सही दिखता है?" गेम खेलना आसान है, क्योंकि मॉडल बस मुद्रित लेबल पढ़ सकता है और मान सकता है कि तस्वीर उनसे मेल खाती है। इसलिए वे पहले OCR चलाते हैं, हर डिटेक्ट किए गए अक्षर पर सफेद बॉक्स लगाते हैं, और फिर अब पाठ रहित छवि को जज को सौंपते हैं, उसे केवल निशानों से ज्यामितीय अनुपातों का अनुमान लगाने के लिए कहते हैं। यदि किसी बार को "42" लेबल किया गया है लेकिन इसे आधा ऊंचाई में बनाया गया है, तो यह तरीका इसे अभी भी पकड़ लेता है, क्योंकि जज को लेबल कभी नहीं दिखता। पाठ की सटीकता को मैच किए गए पाठ इकाइयों पर F1 माप के रूप में अलग से स्कोर किया जाता है, लेआउट को सही मार्क और स्थिति से सही से बंधे लेबल्स के अंश के रूप में, और पठनीयता को अत्यधिक शैलीबद्ध अपठनीयता और कम शैलीबद्ध उदासीनता दोनों के लिए जांच के रूप में।

संख्याओं ने वास्तव में क्या दिखाया

बिना किसी चार्ट-विशिष्ट सहायता के एक सादा टेक्स्ट-टू-इमेज मॉडल चलाएं और आपको 10 में से 2.87 का गणितीय तर्क स्कोर मिलता है। एक सामान्य, ऑफ-द-शेल्फ ControlNet जोड़ें और यह किसी संरचनात्मक स्काफोल्ड (structural scaffold) को फॉलो करने के लिए मॉडल को देने से ही 7.48 तक बढ़ जाता है। ग्रेस्केल चार्ट लेआउट पर प्रशिक्षित चार्ट-विशिष्ट ControlNet को स्विप करें और यह 9.06 तक बढ़ जाता है, जो पूरे पाइपलाइन में सबसे बड़ा लाभ है, और यह पूरी तरह से कंडीशनिंग मॉड्यूल को यह सिखाने से आता है कि ग्रे रैक्टैंगल संख्याओं को एन्कोड करते हैं।

टेक्स्ट और लेआउट एक समान कहानी बताते हैं। एडिटिंग-आधारित बेसलाइन्स, जहां आप मॉडल को एक रेंडर किया गया चार्ट और निर्देश देते हैं, ज्यामिति को थोड़ा सुधारते हैं लेकिन टेक्स्ट गुणवत्ता को लगभग छूते ही नहीं। पूर्ण ArtChart पाइपलाइन 9.05 गणितीय तर्क, 9.54 टेक्स्ट सटीकता, 7.67 लेआउट, 7.61 एस्थेटिक्स, 9.25 निर्देश पालन, और 7.54 पठनीयता पर समाप्त होती है, जो हर अक्ष पर उनके द्वारा परीक्षण की गई हर बेसलाइन से आगे है।

प्रति-चार्ट-टाइप ब्रेकडाउन वह जगह है जहां यह अधिक ईमानदार हो जाता है। बार और हॉरिजॉन्टल-बार चार्ट आसान मामला हैं: पठनीयता स्कोर 9.27 और 8.21। एरिया चार्ट मजबूत गणित और टेक्स्ट स्कोर बनाए रखते हैं लेकिन पठनीयता 6.64 तक गिर जाती है, एक भरा हुआ क्षेत्र को एक चित्रित आकार में बदलना स्पष्ट रूप से इसे पढ़ने में कठिन बना देता है भले ही अंतर्निहित डेटा सही हो। पाई चार्ट हर तरह से सबसे कठिन श्रेणी हैं, गणितीय तर्क 8.65 और पठनीयता केवल 6.05, क्योंकि सेक्टर कोण और लेबल जो एक वृत्त के चारों ओर व्यवस्थित हैं, ग्रिड पर बार की तुलना में बस कम क्षमाशील हैं।

यह किसी के लिए क्यों मायने रखता है जो OCR बना रहा है या चुन रहा है

यह पेपर इमेज रीड करने के बजाय इमेज जनरेट करता है, इसलिए यह उसी तरह का कंपटीटर बेंचमार्क नहीं है जैसे कि ज्यादातर OpenOCR कवरेज में होता है। लेकिन अंडरलाइंग प्रॉब्लम वही है, बस रिवर्स में रन हो रहा है। एक OCR इंजन को वेरीफाई करना होता है कि पिक्सल्स का स्ट्रिंग वाकई वही मतलब रखता है जो वह दावा करता है। ArtChart को उससे पहले ही गारंटी देनी होती है कि वो पिक्सल्स एक्सिस्ट होने से पहले ही सही हैं। दोनों जॉब्स उसी सवाल पर ज़िंदा रहते हैं या मरते हैं: क्या आप इस इमेज में मौजूद टेक्स्ट पर भरोसा कर सकते हैं?

यहाँ दो चीज़ें हैं जो अगर आप डॉक्यूमेंट या चार्ट इमेज के साथ काम करते हैं तो सीधे उपयोगी हैं। पहला, फोर-पार्ट फेलियर टैक्सोनॉमी (गलत जियोमेट्री, गलत टेक्स्ट, गलत लेबल बाइंडिंग, अनरीडेबल स्टाइलिंग) एक सच में अच्छा चेकलिस्ट है जिसे आप किसी भी OCR या डॉक्यूमेंट-AI पाइपलाइन के खिलाफ रन कर सकते हैं, खासकर जब वो किसी एन्युअल रिपोर्ट या मार्केटिंग डेक से निकली स्टाइलाइज्ड इन्फोग्राफिक पर हाथ रखे। दूसरा, "जियोमेट्री जज करने से पहले टेक्स्ट को मास्क कर दो" वाला ट्रिक इवैल्यूएशन वर्क के लिए स्टील करने लायक है: जब भी आप चेक कर रहे हों कि सिस्टम ने चार्ट से सही वैल्यूज एक्सट्रैक्ट की हैं या नहीं, अपने चेकर को उन लेबल्स को देखने न दें जो खुद गलत हो सकते हैं।

एक लॉन्ग-टर्म एंगल भी है। एक पाइपलाइन जो ज्ञात, सही अंडरलाइंग डेटा और वेरीफाइड लेबल टेक्स्ट के साथ चार्ट जनरेट कर सकती है, वो चार्ट अंडरस्टैंडिंग और चार्ट-OCR मॉडल्स के लिए लेबल्ड ट्रेनिंग और इवैल्यूएशन डेटा भी सस्ते में और स्केल पर जनरेट कर सकती है। यह एक रियल बायप्रॉडक्ट है, भले ही आर्टिस्टिक इन्फोग्राफिक जनरेशन खुद एक निच यूज़ केस ही रहे। यहाँ एक महत्वपूर्ण बात यह है कि अंग्रेजी OCR की मजबूती का मतलब यह नहीं कि देवनागरी OCR भी उतना ही अच्छा होगा; देवनागरी की जटिल संयुक्त अक्षरों और शिरोरेखा की वजह से इसमें अलग चुनौतियाँ होती हैं।

ईमानदार सूक्ष्म विवरण

लेखक स्पष्ट रूप से बताते हैं कि यह तकनीक अभी कहाँ तक पहुँची है। ArtChart अभी भी उस स्पष्ट ग्रेस्केल स्केलेटन पर निर्भर करता है, इसलिए पेपर यह नहीं दिखाता कि एक साधारण टेक्स्ट-टू-इमेज मॉडल केवल टेक्स्ट प्रॉम्प्ट से सही चार्ट ज्यामिति को कैसे अनुमानित कर सकता है। बेचमार्क चार चार्ट प्रकारों में एक-आयामी श्रेणीबद्ध डेटा को कवर करता है; जबकि ग्रुप्ड, स्टैक्ड, मल्टी-सीरीज, स्केटर, रडार और डैशबोर्ड लेआउट, जो वास्तविक व्यावसायिक रिपोर्टिंग में दिखाई देने वाली अधिकांश चीजें हैं, भविष्य के कार्य के लिए छोड़ दिए गए हैं। और क्योंकि ग्रेडिंग OCR और विज़न-लैंग्वेज मॉडल्स पर निर्भर करती है, ये जज अपने स्कोर में अपनी पक्षपातिता ला सकते हैं।

जोड़ने योग्य बात: सारांश में "क्लोज़्ड-सोर्स API मॉडल्स" के साथ तुलना का वादा किया गया है, लेकिन पेपर के परिणाम तालिकाओं में ArtChart को केवल ओपन Qwen और FLUX परिवार के बेसलाइन के खिलाफ रखती हैं। GPT-Image और Nano नामक एक मॉडल पाइपलाइन में पहले दिखाई देते हैं, ट्रेनिंग टारगेट्स जनरेट करने के लिए, अंतिम लीडरबोर्ड में पंक्तियों के रूप में नहीं। और द्विभाषी बेचमार्क केवल अंग्रेजी और चीनी को कवर करता है, इसलिए यह अभी तक अन्य लिपियों में इसकी स्थिति के बारे में कुछ नहीं कहता। इनमें से कोई भी बात पेपर द्वारा वास्तव में प्रदर्शित किए गए तथ्य को कम नहीं करती, कि एक चार्ट-विशिष्ट संरचनात्मक बाधा और प्रतिस्पर्धी इनामों को सुलझाने के लिए एक डिस्टिलेशन योजना, नाइव टेक्स्ट-टू-इमेज और जनरिक ControlNet दृष्टिकोणों से काफी हद तक बेहतर है। इसका केवल मतलब यह है कि "कलात्मक चार्ट जनरेशन, हल हो गया" कुछ बेचमार्क विस्तारों से दूर है।