जब इमेज मॉडल को एलाइन करना उसे स्पेलिंग में बदतर बना देता है

छवि जनरेटर से "OPEN" लिखा हुआ हाथ से पेंट किया हुआ बोर्ड वाला बेकरी स्टोरफ्रंट" के लिए कहें, और कई मॉडल गर्म रोशनी, खिड़की में पेस्ट्री और पुरानी ईंटों को सही ढंग से दिखा देंगे। फिर आप बोर्ड पर नज़र डालते हैं। उस पर "OPEEN" लिखा है। या अक्षर किसी ऐसे अक्षरमाला में बदल जाते हैं जो वास्तव में कोई अक्षरमाला नहीं है।

यह कोई यादृच्छिक विफलता नहीं है। इस सप्ताह प्रकाशित एक पेपर, "Manifold Drift in Flow Preference Optimization," का तर्क है कि यह एक विशिष्ट, सुधार योग्य गलती का अपरिहार्य परिणाम है जिसके कारण इन मॉडल को मानवीय प्राथमिकताओं के अनुरूप फाइन-ट्यून किया जाता है। उनका प्रस्तावित समाधान, जिसे ThermoDPO कहा जाता है, एक बेचमार्क मॉडल पर जनरेटेड छवियों की OCR सटीकता को 47.5% तक बढ़ाता है। एक ऐसे प्लेटफॉर्म के लिए जो मशीनों द्वारा पाठ पढ़ने की क्षमता पर निर्भर करता है, इसका विश्लेषण करना महत्वपूर्ण है।

किनकेड के हॉर्बर्गर्स: शहर कहता है कि बोर्ड हटाना होगा, वरना लोकप्रिय बर्गर जॉइंट को रोज़ाना जुर्माना भुगतना पड़ेगा — रॉबर्ट डब्ल्यू. हाउइंगटन द्वारा flickr के माध्यम से, BY-SA 2.0.

फ्लो मैचिंग वास्तव में क्या करता है

गणित को एक पल के लिए छोड़ दें और प्रशिक्षण प्रक्रिया को इस प्रकार सोचें: एक फ्लो-मैचिंग मॉडल यादृच्छिक शोर (random noise) को एक वास्तविक छवि (या ऑडियो क्लिप, या वीडियो फ्रेम) में धीरे-धीरे बदलना सीखता है, इस प्रकार कि यह शुद्ध स्थिरता (static) से एक तैयार चित्र तक एक समृद्ध पथ का पालन करता है, चरण दर चरण। "फ्लो मैचिंग" इन पथ-अनुसरण जनरेटरों को प्रशिक्षित करने की वर्तमान अग्रणी विधि है, और यह Stable Diffusion 3 जैसे मॉडल्स के पीछे का इंजन है।

महत्वपूर्ण बात यह है कि जब एक फ्लो मॉडल अच्छी तरह से प्रशिक्षित होता है, तो उन सभी पथों के अंतिम बिंदु उस स्थान में ठीक-ठीक आते हैं जिसे शोधकर्ता डेटा मैनिफोल्ड (data manifold) कहते हैं: वह स्थान जहाँ छवियाँ वास्तविक फोटोग्राफ, वास्तविक दस्तावेज़, वास्तविक संकेतबोर्ड, या वास्तविक किसी भी चीज़ जैसी दिखती हैं। इसमें यादृच्छिक शोर डालें और यह विश्वसनीय रूप से कुछ ऐसा उत्पन्न करता है जो प्रशिक्षण डेटा के समान दिखता है, क्योंकि गणितीय रूप से इसे ऐसा ही करने के लिए बनाया गया था। इस पेपर का पहला वास्तविक योगदान इसकी स्पष्ट रूप से पुष्टि करना है: इष्टतम फ्लो मैचिंग सच्चे डेटा वितरण को पुनः प्राप्त करता है। कोई विचलन नहीं, कोई आश्चर्य नहीं।

प्राथमिकता ट्यूनिंग कहाँ सौदे को तोड़ देती है

यही वह हिस्सा है जिसमें लोग अक्सर फँस जाते हैं। एक बार जब आपके पास एक काम करने वाला इमेज जनरेटर हो जाता है, तो अधिकांश आधुनिक पाइपलाइनों में अगला कदम एलाइनमेंट होता है: मॉडल को आउटपुट के जोड़े दिखाना, उसे यह बताना कि "इंसानों को यह वाला बेहतर लगा," और प्राथमिकता वाले विकल्प की ओर इसके वेट्स को धकेलना। यह वही विचार है जिसके पीछे DPO (Direct Preference Optimization) है, वह तकनीक जिसने कुछ साल पहले भाषा मॉडल फाइन-ट्यूनिंग पर कब्जा कर लिया था। यह टेक्स्ट के लिए अच्छी तरह काम करता है। लेकिन इसे फ्लो मैचिंग में लाना वही जगह है जहाँ चीज़ें गड़बड़ हो जाती हैं।

समस्या यह है कि एक फ्लो मॉडल के ट्रांसपोर्ट पाथ्स, जो शोर से इमेज तक के रास्ते हैं, में कोई बिल्ट-इन रस्सी नहीं होती जो इन्हें डेटा मैनिफोल्ड पर बनाए रखे, खासकर जब आप इन्हें रिवॉर्ड सिग्नल के साथ खींचना शुरू करते हैं। पेपर ने इसे "मैनिफोल्ड ड्रिफ्ट" के रूप में औपचारिक रूप दिया है: एक प्राथमिकता अपडेट मॉडल के आउटपुट को यथार्थवादी इमेज स्पेस से दूर ले जाता है, जबenever उस अपडेट में जो वे "नॉन-जीरो नॉर्मल कंपोनेंट" कहते हैं, वह होता है, जिसका अर्थ है कि धक्का मैनिफोल्ड के साथ-साथ नहीं, बल्कि इससे लंबवत दिशा में एक हिस्सा रखता है।

मैनिफोल्ड को एक तालाब की सतह की तरह और मॉडल के आउटपुट को उस सतह पर नावों की तरह कल्पना करें। एक अच्छा अपडेट नाव को तालाब पर एक बेहतर स्थान पर खींचता है। एक ड्रिफ्टिंग अपडेट नाव को ऊपर और पानी से बाहर खींच लेता है, और अब यह तकनीकी रूप से उस जगह के करीब है जहाँ रिवॉर्ड फंक्शन इसे ले जाना चाहता था, लेकिन यह अब तालाब पर नाव नहीं रही। यह उस तरीके से गलत है जिसे रिवॉर्ड मॉडल ने नोटिस नहीं किया।

वह अंतिम वाक्य ही असली कहानी है। यह रिवॉर्ड हैकिंग है: मॉडल उस मेट्रिक पर अच्छा स्कोर करने का रास्ता खोज लेता है जो "इंसानों को यह बेहतर लगा" का प्रतिनिधित्व करने के लिए है, बिना वास्तव में कुछ ऐसे उत्पन्न किए जो इंसानों को वास्तव में पसंद आए। गड़बड़ साइन टेक्स्ट इस विफलता का एक दृश्यमान, आसानी से पकड़ा जाने वाला संस्करण है। कम दृश्यमान संस्करण, सूक्ष्म टेक्सचर आर्टिफैक्ट्स, शारीरिक रूप से अजीब हाथ, रंग जो लगभग सही हैं लेकिन बिल्कुल नहीं, उन्हें पकड़ना मुश्किल है और संभवतः अभी प्रोडक्शन मॉडल्स में हो रहा है।

थर्मोडीपीओ: नाव को पानी पर बनाए रखना

लेखकों द्वारा प्रस्तावित समाधान एक सरल अंतर्ज्ञान से शुरू होता है: यदि खतरा वास्तविक, ज्ञात-अच्छे नमूनों से दूर निकल जाने का है, तो अनुकूलन को सीधे उन नमूनों से जोड़ दें। थर्मोडीपीओ एक तापमान-नियंत्रित उद्देश्य है जो प्रत्येक तुलना जोड़ी में पसंदीदा (जीतने वाले) नमूने में युग्मवार प्राथमिकता अपडेट को पिन करता है, बजाय इसके कि अपडेट को केवल दो विकल्पों के बीच इनाम के अंतर के आधार पर स्वतंत्र रूप से तैरने दे।

"तापमान-नियंत्रित" हिस्सा इसलिए महत्वपूर्ण है क्योंकि यह该方法 को एक नियंत्रण बटन (डायल) प्रदान करता है। एक सेटिंग पर, उद्देश्य रिजेक्शन सैंपलिंग फाइन-ट्यूनिंग, या आरएफटी (RFT) की तरह व्यवहार करता है: आप उम्मीदवारों का एक समूह उत्पन्न करते हैं, उन लोगों को रखते हैं जो अच्छा स्कोर करते हैं, और उन पर प्रशिक्षण लेते हैं। आरएफ्ट सुरक्षित है और लगभग निर्माण द्वारा डेटा मैनिफोल्ड के करीब रहता है, लेकिन यह प्राथमिकता जोड़ी में संकेत का बहुत कुछ बर्बाद कर देता है (यह कभी भी कम-गुणवत्ता वाले आउटपुट को उच्च-गुणवत्ता वाले आउटपुट के खिलाफ सीधे तुलना नहीं करता है, यह केवल फ़िल्टर करता है)। एक अन्य तापमान सेटिंग पर, उद्देश्य फ्लोडीपीओ (FlowDPO) की ओर अभिसरण करता है, जो अधिक आक्रामक प्राथमिकता-अनुकूलन दृष्टिकोण है जो पूर्ण तुलना का उपयोग करता है लेकिन ड्रिफ्ट के लिए अधिक प्रवृत्त है। थर्मोडीपीओ दोनों के बीच एक续त पर स्थित है और आपको सुरक्षा के लिए संकेत का कितना व्यापार करना है, यह चुनने देता है।

लेखक यह भी दिखाते हैं, और यह अधिक तकनीकी लेकिन वास्तव में उपयोगी हिस्सा है, कि उनका उद्देश्य मैनिफोल्ड दूरी के लिए एक पॉइंटवाइज रिकंस्ट्रक्शन-आधारित सरोगेट को नियंत्रित करता है। सादे शब्दों में: उन्होंने एक प्रॉक्सी माप खोजा है जो यह ट्रैक करता है कि एक उत्पन्न नमूना डेटा मैनिफोल्ड से कितना दूर भटक गया है, और उनका प्रशिक्षण उद्देश्य सामान्य प्रशिक्षण के एक साइड इफेक्ट के रूप में उस संख्या को नियंत्रण में रखता है, न कि बाद में जोड़ा गया एक अलग पेनाल्टी के रूप में।

एक पकड़: कम तापमान पर (जहां आप सुरक्षित, आरएफटी-जैसे रेजिम के सबसे करीब हैं), प्रशिक्षण संकेत कमजोर हो जाता है, क्योंकि आप मॉडल को ज्यादातर "यह नमूना ठीक है" बता रहे हैं बजाय इसके कि उसे सुधार की ओर एक उपयोगी ग्रेडिएंट दें। उनका उत्तर थर्मोडीपीओ-वेटेड (ThermoDPO-weighted) है, एक वेरिएंट जो संकेत को मजबूत रखने के लिए उद्देश्य को पुनर्वजनित करता है, भले ही तापमान सावधानीपूर्ण छोर की ओर घटाया गया हो। यह वह संस्करण है जो अंततः उनके अधिकांश बेंचमार्क में जीतता है।

संख्याएँ, और वे देखने से बड़ी क्यों हैं

पेपर के मुख्य टॉय बेचमार्क (एक नियंत्रित सेटअप जो इस विशिष्ट विफलता मोड को पूर्ण उत्पादन मॉडल के शोर से अलग करने के लिए डिज़ाइन किया गया है) पर, स्कोरिंग मेट्रिक कुछ ऐसा है जिसे वे StrictScore कहते हैं, जो सच्चे डेटा मैनिफोल्ड से किसी भी विचलन को दंडित करता प्रतीत होता है, बल्कि केवल प्राथमिकता-संरेखण (preference-alignment) के लिए इनाम नहीं देता। सादा FlowDPO 0.629 स्कोर करता है। FlowDPO के ऊपर रिजेक्शन सैंपलिंग जोड़ने से (FlowDPO+RFT) यह 0.857 तक पहुँचता है। ThermoDPO-वेटेड 0.899 तक पहुँचता है। "प्राथमिकताओं के अनुरूप" और "प्राथमिकताओं के अनुरूप बिना अंतर्निहित मॉडल को नुकसान पहुँचाए" के बीच यह एक बड़ा अंतर है, और यह पेपर का सबसे स्पष्ट प्रदर्शन है कि ड्रिफ्ट एक वास्तविक, मापने योग्य लागत है, न कि कोई सैद्धांतिक चिंता।

इस दर्शकों के लिए अधिक महत्वपूर्ण परिणाम SD3.5-M पर परीक्षण से आता है, जो एक वास्तविक उत्पादन-स्तर का Stable Diffusion 3.5 मॉडल है, क्लासिफायर-फ्री गाइडेंस (CFG) सेटिंग 4.5 पर, जो एक मानक नियंत्रण है जो यह निर्धारित करता है कि मॉडल अपने टेक्स्ट प्रॉम्प्ट का कितनी सख्ती से पालन करता है। ThermoDPO ने जनरेटेड इमेज पर OCR सटीकता में 47.5% की वृद्धि की, और चार मूल्यांकन मेट्रिक्स के औसत में 16.0% की वृद्धि की।

इस OCR संख्या को ध्यान से पढ़ें, क्योंकि यह कुछ दिलचस्प कर रहा है। शोधकर्ता OCR बेचमार्क को केवल अपने लिए नहीं चला रहे हैं। वे OCR सटीकता का उपयोग "क्या मॉडल ने वास्तव में पठनीय, अच्छी तरह से बनी टेक्स्ट जनरेट की या हैलुसिनेटेड अक्षरों के बजाय" के लिए एक प्रतिस्थापन के रूप में कर रहे हैं, जो ठीक वही प्रकार की विफलता है जिसे मान रेटर एक नज़र में छूटने में आसान है (थंबनेल पर साइन ठीक दिखता है) लेकिन OCR इंजन के लिए पकड़ना आसान है, क्योंकि एक OCR इंजन या तो असली शब्द पढ़ता है या नहीं।

यह क्यों मायने रखता है जो लोग OCR पाइपलाइन्स बना रहे हैं या मूल्यांकन कर रहे हैं

अगर आपका काम डॉक्यूमेंट AI, सिंथेटिक डेटा जनरेशन, या किसी भी पाइपलाइन से जुड़ा है जहाँ टेक्स्ट वाले इमेजेस जनरेटिव मॉडल द्वारा बनाए या बदले जाते हैं, तो यह पेपर प्रासंगिक है भले ही इसमें सीधे डॉक्यूमेंट प्रोसेसिंग का जिक्र न हो। कुछ ठोस निष्कर्ष:

• टेक्स्ट की पठनीयता (legibility) एक संवेदनशील और सस्ता चेक है एक बहुत बड़ी समस्या के लिए। अगर आप किसी भी इमेज जनरेटर का मूल्यांकन या फाइन-ट्यूनिंग कर रहे हैं और रिवॉर्ड हैकिंग या मैनिफोल्ड ड्रिफ्ट के लिए एक अलर्ट चाहते हैं, तो जनरेट आउटपुट्स को एक OCR इंजन से गुज़ारें और एक््यूरेसी चेक करें। यह एक कैनारी है जो कठिन-से-मापने वाले विजुअल क्वालिटी स्कोर्स में दिखने से पहले ही सूक्ष्म विफलताओं को पकड़ लेता है।
• OCR सिस्टम्स के लिए सिंथेटिक ट्रेनिंग डेटा उतना ही अच्छा है जितना कि उसे जनरेट करने वाला मॉडल। कई डॉक्यूमेंट AI टीमें ट्रेनिंग सेट्स को बढ़ाने के लिए सिंथेटिक रसीदें, फॉर्म्स और साइनबोर्ड्स जनरेट करती हैं। अगर उस जनरेटर को ThermoDPO जैसे ड्रिफ्ट-अवेयर मेथड के बिना प्रेफरेंस-ट्यून्ड किया गया था, तो उन इमेजेज में सिंथेटिक टेक्स्ट जितना दिखता है उससे थोड़ा कम रियलिस्टिक हो सकता है, जो डाउनस्ट्रीम OCR ट्रेनिंग को चुपके से खराब कर सकता है।
• एक असली प्रोडक्शन मॉडल पर 47.5% OCR सुधार (बस एक टॉय बेन्चमार्क पर नहीं) यह सुझाव देता है कि यह कोई निच अकादमिक फिक्स नहीं है। अगर ThermoDPO या इसी तरह की तकनीक को बड़े इमेज-मॉडल प्रोवाइडर्स द्वारा अपनाया जाता है, तो अगली पीढ़ी के जनरेटेड डॉक्यूमेंट्स, साइनबोर्ड्स और UI मॉकअप्स में टेक्स्ट रेंडरिंग में उल्लेखनीय सुधार की उम्मीद करें।
• रिवॉर्ड हैकिंग सिर्फ LLM की समस्या नहीं है। जो भी जनरेटिव मॉडल्स के इर्द-गिर्द मूल्यांकन पाइपलाइन्स बना रहा है, चाहे वे इमेज हों, टेक्स्ट हों या कुछ और, उन्हें "क्या रिवॉर्ड मेट्रिक बढ़ा?" और "क्या क्वालिटी वास्तव में सुधरी?" को दो अलग-अलग सवाल मानना चाहिए जिनके लिए दो अलग-अलग चेक की जरूरत है।

ThermoDPO के साथ और बिना OCR एक््यूरेसी में तुलना

मजबूत इंग्लिश OCR का मतलब यह नहीं है कि डेवनागरी OCR भी उतना ही अच्छा होगा; डेवनागरी स्क्रिप्ट में स्टैक्ड कॉन्जंक्ट्स, मात्राएँ, शिरोरेखा और नुक्ता जैसे तत्वों की वजह से OCR की चुनौतियाँ अलग होती हैं, इसलिए मॉडल को विशेष रूप से इन भाषाई विशेषताओं के लिए ट्रेन करना जरूरी है।

क्या अभी भी खुला है

मुख्य संख्याएँ एक खिलौना बेंचमार्क से आई हैं जो इस विशेष प्रभाव को अलग करने के लिए बनाया गया था, और एक उत्पादन मॉडल (SD3.5-M) एक गाइडेंस सेटिंग पर। यह एक ठोस प्रमाण अवधारणा है, न कि उन मॉडल परिवारों और सेटिंग्स पर एक व्यापक जांच जो लोग वास्तव में तैनात करते हैं। यह पूछना उचित है कि ThermoDPO विभिन्न CFG मानों पर, बड़े मॉडलों पर, या वीडियो जनरेशन पर कैसे प्रदर्शन करता है, जहां फ्लो मैचिंग भी बढ़ते हुए मानक दृष्टिकोण बन रहा है और जहां विचलन फ्रेमों के साथ बढ़ सकता है।

तापमान पैरामीटर भी एक नॉब है जिसे आपको ट्यून करना होगा, और पेपर के अपने परिणाम दिखाते हैं कि इसे गलत करना (बहुत कम) प्रशिक्षण सिग्नल को खत्म कर देता है, जो ठीक वही कारण है जिसके लिए वेटेड वेरिएंट एक पैच के रूप में मौजूद है। यह एक उचित इंजीनियरिंग ट्रेडऑफ है, लेकिन इसका मतलब यह है कि ThermoDPO मौजूदा प्राथमिकता-ट्यूनिंग पाइपलाइनों के लिए एक पैरामीटर-मुक्त ड्रॉप-इन रिप्लेसमेंट नहीं है। इसे अपनाने वाली टीमों को अपने मॉडल और डेटा के लिए सही रेजिम खोजने के लिए अपनी स्वयं की जांच करनी होगी।

फिर भी, मुख्य सैद्धांतिक योगदान, कि एक प्राथमिकता अपडेट तभी प्री-ट्रेनड मैनिफोल्ड को छोड़ता है जब इसका एक शून्य-नॉर्मल घटक होता है, क्षेत्र को यह समझने का एक बहुत ही तीक्ष्ण तरीका देता है कि एलाइनमेंट कभी-कभी कंटिन्यूअस-टाइम जनरेटिव मॉडल्स में क्यों विफल हो जाता है। यह एक उपयोगी मानसिक मॉडल है, भले ही टीमों का ThermoDPO को विशेष रूप से अपनाने की योजना न हो: जब आप प्राथमिकताओं पर एक फ्लो-आधारित जनरेटर को फाइन-ट्यून करते हैं, तो पूछें कि क्या आपका अपडेट मैनिफोल्ड के साथ या उससे बाहर धकेल रहा है। पेपर आपको विफलता के लिए एक नाम देता है और, पहली बार, इसे मापने के लिए कुछ करीब।