عندما يجعل محاذاة نموذج الصورةه أسوأ في الإملاء

اطلب من مولد الصور إنشاء "واجهة متجر مخبز مع لافتة مكتوبة بخط اليد تقول OPEN"، وستنجح العديد من النماذج في التقاط الإضاءة الدافئة، والمعجنات في النافذة، والطوب المتآكل. ثم تنظر إلى اللافتة. تقول "OPEEN". أو تتلاشى الحروف في شيء لا يشبه أي أبجدية.

هذا ليس فشلاً عشوائياً. تشير ورقة بحثية صدرت هذا الأسبوع، بعنوان "Manifold Drift in Flow Preference Optimization"، إلى أن هذه النتيجة المتوقعة ناتجة عن خطأ محدد وقابل للإصلاح في طريقة ضبط هذه النماذج لتتناسب مع التفضيلات البشرية. التحسين الذي يقترحه الباحثون، والمسمى ThermoDPO، يحسن دقة التعرف الضوئي على الحروف (OCR) في الصور المولدة بنسبة 47.5% في نموذج معياري واحد. بالنسبة لموقع يعتمد على مدى قدرة الآلات على قراءة النص، فهذا يستحق التفصيل.

KINCAID'S HAMBURGERS: City Says Sign Needs To Go Or Popular Burger Joint Faces Daily Fines — بواسطة Robert W. Howington عبر flickr، BY-SA 2.0.

ما الذي يفعله مطابقة التدفق فعلياً

تجاهل الرياضيات للحظة وتفكر في عملية التدريب على هذا النحو: يتعلم نموذج مطابقة التدفق تحويل الضوضاء العشوائية تدريجياً إلى صورة واقعية (أو مقطع صوتي، أو إطار فيديو) عن طريق اتباع مسار سلس، خطوة بخطوة، من التشويش الخالص إلى صورة مكتملة. تُعد "مطابقة التدفق" الوصفة الرائدة حالياً لتدريب هذه المولّدات المتبعة للمسارات، وهي المحرك وراء نماذج مثل Stable Diffusion 3.

ومن الناحية الجوهرية، عندما يتم تدريب نموذج التدفق بشكل جيد، فإن نقاط نهاية جميع تلك المسارات تقع بدقة داخل ما يسميه الباحثون بـ "متشعب البيانات" (data manifold): وهو فضاء الصور التي تبدو فعلاً مثل الصور الفوتوغرافية الحقيقية، أو المستندات الحقيقية، أو اللافتات الحقيقية، أو أي شيء حقيقي آخر. قم بإدخال ضوضاء عشوائية وسينتج النموذج بشكل موثوق شيئاً يشبه بيانات التدريب، لأن هذا هو ما صُمم رياضياً للقيام به. المساهمة الحقيقية الأولى للورقة البحثية هي إثبات ذلك بوضوح: مطابقة التدفق المثلى تستعيد التوزيع الحقيقي للبيانات. لا انحراف، ولا مفاجآت.

أين يكسر ضبط التفضيل الاتفاق

هنا الجزء الذي يربك الناس. بمجرد أن يكون لديك مُولّد صور يعمل، فإن الخطوة التالية في معظم خطوط الأنابيب الحديثة هي المحاذاة: إظهار أزواج من المخرجات للنموذج، وإخباره "أعجب البشر بهذا أكثر"، ودفع أوزانه نحو الخيار المفضل. هذه هي الفكرة نفسها الكامنة وراء DPO (التحسين المباشر للتفضيل)، التقنية التي استحوذت على ضبط نماذج اللغة قبل بضع سنوات. إنها تعمل بشكل جيد مع النص. نقلها إلى مطابقة التدفق هو المكان الذي تصبح فيه الأمور فوضوية.

المشكلة هي أن مسارات النقل لنموذج التدفق، الطرق من الضوضاء إلى الصورة، ليس لديها كبح مدمج يبقيها على متعدد الشعب البيانات بمجرد أن تبدأ في سحبها بإشارة مكافأة. يحدد الورقة هذا رسميًا على أنه "انحراف متعدد الشعب": تحريك تحديث التفضيل مخرجات النموذج بعيدًا عن مساحة الصور الواقعية كلما كان لهذا التحديث ما يسمونه مكونًا طبيعيًا غير صفري، مما يعني أن الدفع يحتوي على قطعة تشير عموديًا على متعدد الشعب بدلاً من على طولها.

تخيل متعدد الشعب كسطح بركة والمخرجات كنماذج قوارب على ذلك السطح. تحديث جيد يجند القارب إلى مكان أفضل على البركة. تحديث متحرك يسحب القارب لأعلى ويخرجه من الماء تمامًا، والآن هو تقنيًا أقرب إلى حيث أراد نموذج المكافأة الذهاب إليه، لكنه لم يعد قاربًا على بركة. إنه فقط خاطئ بطريقة فشل نموذج المكافأة في ملاحظتها.

هذا البند الأخير هو القصة الحقيقية. هذا هو اختراق المكافأة: يجد النموذج طريقة للحصول على درجات جيدة على المقياس الذي من المفترض أن يمثل "أعجب البشر بهذا" دون إنتاج شيء يفضلونه البشر فعليًا. النص المشوش هو نسخة مرئية وسهلة الملاحظة من هذا الفشل. النسخ الأقل وضوحًا، مثل الشوائب الدقيقة في النسيج، الأيدي الغريبة تشريحيًا، الألوان التي تبدو صحيحة تقريبًا لكنها ليست كذلك تمامًا، هي أصعب في الملاحظة وربما تحدث في النماذج الإنتاجية الآن.

ThermoDPO: إبقاء القارب على الماء

يبدأ الحل الذي يقترحه المؤلفون من حدس بسيط: إذا كان الخطر يكمن في الابتعاد عن العينات الحقيقية والمعروفة جودتها، فعلى المرء أن يرسو عملية التحسين على تلك العينات مباشرةً. يُعد ThermoDPO دالة هدف مُتحكَّمًا في حرارتها (temperature-controlled) تُثبت تحديثات التفضيل الزوجي على العينة المفضلة (الفائزة) في كل زوج مقارنة، بدلاً من ترك التحديث يطفو بحرية استنادًا فقط إلى فجوة المكافأة بين الخيارين.

تكمن أهمية الجزء المتعلق بـ "التحكم بالحرارة" في أنه يمنح الطريقة مقبض تحكم. عند إعداد معين، تتصرف دالة الهدف مثل ضبط الدقة عن طريق أخذ العينات الرفضية (RFT): حيث يتم توليد مجموعة من المرشحين، والاحتفاظ بتلك التي تحقق درجات عالية، والتدريب عليها. يُعد RFT آمناً ويبقى قريباً من متشعب البيانات (data manifold) تقريباً بالتصميم، لكنه يهدر الكثير من الإشارة الموجودة في زوج التفضيل (فهو لا يقارن مطلقاً بين المخرجات منخفضة الجودة وعالية الجودة بشكل مباشر، بل يقوم فقط بالتصفية). وعند إعداد حراري آخر، تتقارب دالة الهدف نحو FlowDPO، وهي نهج أكثر عدوانية لتحسين التفضيل يستخدم المقارنة الكاملة لكنه أكثر عرضة للانحراف. يقع ThermoDPO على طيف مستمر بين النهجين، مما يتيح لك اختيار مقدار ما ترغب في التنازل عنه من أمان مقابل الحصول على إشارة أقوى.

كما يوضح المؤلفون، وهذا هو الجزء الأكثر تقنية لكنه مفيد حقاً، أن دالة هدفهم تتحكم في وكيل قائم على إعادة البناء نقطة بنقطة (pointwise reconstruction-based surrogate) للمسافة على المتشعب. وبعبارة أخرى: وجدوا مقياساً بديلاً يتتبع مدى ابتعاد العينة المولدة عن متشعب البيانات، وتحافظ دالة التدريب الخاصة بهم على هذا الرقم تحت السيطرة كأثر جانبي للتدريب العادي، وليس كعقوبة منفصلة تُضاف لاحقاً.

هناك عقبة واحدة: عند درجات الحرارة المنخفضة (حيث تكون أقرب إلى النظام الآمن المشابه لـ RFT)، تضعف إشارة التدريب، لأنك تخبر النموذج في الغالب بأن "هذه العينة جيدة" بدلاً من تقديم تدرج مفيد نحو التحسين. وكانت إجابتهم هي ThermoDPO-weighted، وهو متغير يعيد وزن دالة الهدف للحفاظ على قوة الإشارة حتى عند خفض الحرارة نحو الطرف الحذر. وهو النسخة التي تنتهي بالفوز في معظم اختبارات الأداء (benchmarks) الخاصة بهم.

الأرقام، ولماذا هي أكبر مما تبدو

على المعيار التجريبي الرئيسي للورقة البحثية (إعداد مُتحكَّم فيه صُمِّم لعزل نمط الفشل هذا بالضبط عن ضوضاء نموذج إنتاج كامل)، تكون مقياس التقييم شيئاً يُسمى StrictScore، والذي يبدو أنه يعاقب أي انحراف عن متشعب البيانات الحقيقي (true data manifold) بدلاً من مجرد مكافأة توافق التفضيلات. يحصل FlowDPO العادي على 0.629. وإضافة العينة الرفضية (rejection sampling) فوق FlowDPO (FlowDPO+RFT) يرفع النتيجة إلى 0.857. بينما يصل ThermoDPO الموزَّن إلى 0.899. هذه فجوة كبيرة بين "متوافق مع التفضيلات" و"متوافق مع التفضيلات دون تخريب النموذج الأساسي"، وهي أوضح إثبات في الورقة على أن الانحراف (drift) تكلفة حقيقية وقابلة للقياس، وليست مجرد قلق نظري.

النتيجة التي ستهم هذه الفئة من الجمهور أكثر تأتي من الاختبار على SD3.5-M، وهو نموذج Stable Diffusion 3.5 حقيقي بحجم الإنتاج، عند إعداد توجيه خالٍ من المصنِّف (classifier-free guidance - CFG) بقيمة 4.5، وهو معيار قياسي يتحكم في مدى التزام النموذج بتعليمات النص. حسَّن ThermoDPO دقة التعرف الضوئي على الحروف (OCR) على الصور المولَّدة بنسبة 47.5٪، وحسَّن المتوسط عبر أربعة مقاييس تقييم بنسبة 16.0٪.

اقرأ رقم OCR هذا بعناية، لأنه يقوم بشيء مثير للاهتمام. الباحثون لا يجرّون معيار OCR لذاته. إنهم يستخدمون دقة OCR كبديل عن سؤال "هل ولَّد النموذج نصاً مقروءاً ومكوَّناً بشكل جيد بدلاً من خطوط عشوائية متخيلة (hallucinated squiggles)؟"، وهو بالضبط نوع الفشل الذي قد يفوته المقيِّم البشري عند نظرة سريعة (يبدو اللوح جيداً في الصورة المصغَّرة) لكنه سهل الإمساك به لمحرك OCR، لأن محرك OCR إما يقرأ كلمات حقيقية أو لا يفعل ذلك.

لماذا يهم هذا الأمر للمطورين والمقيّمين لأنابيب معالجة التعرف الضوئي على الحروف (OCR)

إذا كانت عملك يتعلق بذكاء المستندات الاصطناعي، أو توليد البيانات الاصطناعية، أو أي أنبوب معالجة يتم فيه إنشاء أو تحويل صور تحتوي على نصوص مدمجة بواسطة نموذج مولّد، فإن هذه الورقة ذات صلة بك حتى لو لم تذكر معالجة المستندات بشكل مباشر. إليك بعض الاستنتاجات العملية:

• قراءة النص بوضوح هي فحص حساس ورخيص لمشكلة أوسع بكثير. إذا كنت تقيّم أو تضبط أي مولّد صور وترغب في الحصول على إنذار مبكر عن "غش المكافأة" (reward hacking) أو انحراف الفضاء الاحتمالي (manifold drift)، فعليك تمرير المخرجات المولّدة عبر محرك OCR والتحقق من دقته. إنه بمثابة "الكناري" الذي يكشف عن الأعطال الدقيقة قبل أن تظهر في مقاييس جودة الصورة التي يصعب قياسها.
• بيانات التدريب الاصطناعية لأنظمة OCR لا تتجاوز جودة المولّد الذي ينتجها. العديد من فرق ذكاء المستندات تولّد فواتير ونماذج ولوحات إعلانية اصطناعية لتكملة مجموعات التدريب. إذا تم ضبط تفضيلات ذلك المولّد دون استخدام طريقة واعية للانحراف مثل ThermoDPO، فقد يكون النص الاصطناعي في تلك الصور أقل واقعية مما يبدو، مما قد يلوث تدريب OCR اللاحق بصمت.
• تحسن بنسبة 47.5% في دقة OCR على نموذج إنتاج حقيقي (وليس مجرد معيار اختبار بسيط) يشير إلى أن هذا ليس حلاً أكاديمياً متخصصاً. إذا تم اعتماد ThermoDPO أو شيء مشابه له من قبل مزودي نماذج الصور الكبار، فتوقع تحسناً ملحوظاً في عرض النصوص في الجيل القادم من المستندات المولّدة، واللوحات الإعلانية، ونماذج واجهات المستخدم.
• "غش المكافأة" ليس مشكلة خاصة بنماذج اللغة الكبيرة (LLMs) فقط. أي شخص يبني أنابيب تقييم حول النماذج المولّدة، سواء كانت صوراً أو نصوصاً أو غيرها، يجب أن يعامل سؤال "هل ارتفع مقياس المكافأة؟" وسؤال "هل تحسنت الجودة فعلياً؟" كسؤالين منفصلين يحتاجان إلى فحوصات منفصلة.

ملاحظة: تعقيدات الكتابة العربية، مثل طبيعتها المتصلة واتجاهها من اليمين إلى اليسار وأشكال الحروف الحساسة للسياق، تجعل مهمة التعرف الضوئي على الحروف أكثر صعوبة مقارنة باللغات اللاتينية.

ما لا يزال مفتوحاً

الأرقام الرئيسية مستمدة من معيار تجريبي مصمم لعزل هذا التأثير بالتحديد، بالإضافة إلى نموذج إنتاجي واحد (SD3.5-M) عند إعداد توجيه واحد. هذا يُعد إثباتاً قوياً للمفهوم، وليس مسحاً شاملاً عبر عائلات النماذج والإعدادات التي يستخدمها الناس فعلياً. من الجدير التساؤل عن أداء ThermoDPO عند قيم CFG مختلفة، وعلى نماذج أكبر، أو في توليد الفيديو، حيث أصبح مطابقة التدفق (flow matching) أيضاً النهج القياسي المتزايد، وقد يتراكم الانحراف عبر الإطارات.

معامل الحرارة هو أيضاً مقبض تحتاج إلى ضبطه، وتظهر نتائج الورقة نفسها أن الخطأ في ضبطه (أن يكون منخفضاً جداً) يحرم إشارة التدريب، وهو بالضبط السبب وراء وجود النسخة الموزونة كإصلاح. هذا تنازل هندسي معقول، لكنه يعني أن ThermoDPO ليس بديلاً جاهزاً وخالياً من المعلمات لاستبدال خطوط الأنابيب الحالية لضبط التفضيلات. ستحتاج الفرق التي تعتمد عليه إلى إجراء مسح خاص بها للعثور على النظام المناسب لنموذجها وبياناتها.

ومع ذلك، فإن المساهمة النظرية الأساسية، وهي أن تحديث التفضيل يترك المتشعب المدرب مسبقاً (pretrained manifold) بدقة عندما يكون له مركبة عمودية غير صفرية، تمنح المجال طريقة أكثر حدة للتفكير في سبب فشل المحاذاة أحياناً في النماذج التوليدية المستمرة زمنياً. هذا نموذج عقلي مفيد حتى للفرق التي لا تخطط لاعتماد ThermoDPO تحديداً: عند ضبط مولد قائم على التدفق (flow-based generator) على التفضيلات، اسأل نفسك ما إذا كان تحديثك يدفع على طول المتشعب أم خارجه. تمنحك الورقة اسماً للفشل، ولأول مرة، شيئاً قريباً من طريقة لقياسه.