تخطي طبقات الرؤية يعمل، حتى تطلب منه قراءة النص

## هل يجب أن تثير هذه الحقيقة قلقك؟

اطلب من نموذج الرؤية-اللغة عدّ السيارات في صورة لموقف سيارات، وسينفّذ نفس مقدار الحسابات تمامًا كما لو طلبت منه نسخ إيصال ضبابي. نفس مُشفِّر الرؤية، ونفس عدد الطبقات، ونفس عدد المللي ثوانٍ والدولار المُنفقة، سواء كانت المهمة "كم عدد" أم "ماذا يقول هذا النص". ينبغي أن تثير هذه الحقيقة قلقك قليلًا، لأن هاتين المهمتين مختلفتان بوضوح. يحتاج عدّ السيارات إلى فهم تقريبي للتخطيط المكاني، بينما يتطلب قراءة الإيصال تفاصيل دقيقة على أحرف صغيرة. لم يُصمّم أحد هذه النماذج لمعاملة المهمتين بشكل متطابق. إنه مجرد ما يحدث عندما تبني مُشفِّر رؤية واحدًا وتشغّله على كل شيء.

يطرح ورقة بحثية جديدة من تأليف تارون تومار (Tarun Tomar) سؤالًا صريحًا: إذا كان نموذج الرؤية-اللغة يعمل بالفعل، فهل يمكنك جعله أكثر تكلفة أقل بتخطي بعض عمليات معالجة الرؤية الداخلية، دون إعادة تدريب أي شيء؟ وإذا كان الأمر كذلك، فهل يساعد تخطي أجزاء مختلفة اعتمادًا على ما إذا كان السؤال يتعلق بالنص، أو العدّ، أو الكائنات، أو الألوان، أو العلاقات المكانية؟ الإجابة هي نعم، وأيضا، بطريقة مهمة، لا. تجد الورقة مكاسب حقيقية وقابلة للنقل من التقليم الذكي، ثم تجد أن فكرتها الأكثر إغراءً (تخصيص الاختصار لكل مهمة) تنهار بالضبط في الحالة التي يهتم بها قراء OpenOCR أكثر من غيرها: قراءة النص.

جواز سفر 8 — بواسطة Ken_Mayer عبر flickr، BY 2.0.

ما الذي يوجد فعلياً داخل "عيون" نموذج الرؤية واللغة؟

يقوم نموذج الرؤية واللغة (VLM) باستقبال صورة وموجه نصي وإنتاج إجابة نصية. وقبل بدء أي استدلال لغوي، تمر الصورة عبر مشفر بصري: وهو مجموعة من كتل المحولات (transformer blocks)، حيث يقوم كل منها بتحسين التمثيل البصري قليلاً أكثر. قد تختار الكتلة 1 الحواف والقوام، بينما قد تمثل الكتلة 12 شيئاً أقرب إلى "هذا هو المجموع في فاتورة في المنطقة السفلية اليمنى". وبحلول الوقت الذي تصل فيه الصورة إلى نموذج اللغة، تكون قد مرت عبر كل كتلة في المجموعة، بالترتيب، بغض النظر عما كانت عليه السؤال.

هذا هو الإعداد الذي تهاجمه هذه الورقة البحثية. الفكرة هي تخطي عدد ثابت من الكتل، دعنا نسميه K، تماماً أثناء وقت الاستدلال. بدون ضبط دقيق أو إعادة تدريب، فقط نقرر "لن ننفذ الكتل 4، 9، 15، و21 هذه المرة" ونرى ما يحدث للدقة. إذا انخفضت الدقة قليلاً بينما انخفضت الحسابات بشكل ملحوظ، فقد وجدت كفاءة مجانية. افعل ذلك عبر عائلة من النماذج وقد تجد شيئاً قد يكون قابلاً للتعميم.

المحاولة الأولى الواضحة هي ترتيب الكتل حسب مدى أهميتها الفردية (إزالة واحدة، قياس الضرر، وتكرار العملية لكل كتلة) ثم حذف الكتل K التي تبدو أقل أهمية بمفردها. تسمي الورقة هذا التصنيف المستقل، وهو خط الأساس الطبيعي الذي سيبحث عنه أي شخص أولاً. غريزة أخرى طبيعية هي ببساطة قطع سلسلة متصلة من الكتل، بناءً على نظرية أن الطبقات المتوسطة زائدة عن الحاجة. كلاهما رخيص الحساب. وكلاهما، كما يتبين، يترك دقة حقيقية على الطاولة.

تربية مسارات أفضل بدلاً من مجرد ترتيب الكتل

تكمن المشكلة في الترتيب المستقل في نفس المعضلة التي قد تواجهها عند تقييم لاعبي كرة السلة كل على حدة ثم اختيار "أفضل خمسة" دون التحقق مطلقاً من مدى انسجامهم في اللعب معاً. تتفاعل الكتل مع بعضها البعض. فقد يكون إزالة الكتلة 9 أمراً بريئاً إذا كانت الكتلة 10 لا تزال موجودة لتعويض عنها، لكنه يصبح ضاراً بمجرد اختفاء الكتلة 15 أيضاً. الأهمية ليست جمعية (additive)، لذا فإن تقييم الكتل بمعزل عن بعضها البعض وجمع أفضل الخيارات يتجاهل التفاعلات التي تظهر فقط عند اختبار التوليفات مباشرة.

وهنا يأتي دور الطريقة الرئيسية في الورقة البحثية: بحث تطوري (evolutionary search) حول المجموعة المحددة من K كتلة التي يجب تخطيها. بدلاً من تقييم الكتل بشكل فردي، تختبر التوليفات الكاملة (أي "المسارات" الكاملة عبر مشفر الرؤية) مباشرة مقابل مجموعة محتجزة من 876 مثالاً، وتتطور نحو تحسينها. ابدأ بمجموعة من المسارات المرشحة، احتفظ بتلك التي تحقق نتائج جيدة، قم بتغييرها وإعادة دمجها، ثم كرر العملية. إنها نفس المنطق الذي يستخدمه المربون لتحسين المحاصيل: لا تقرر مسبقاً أي جين واحد هو الأهم، بل تختار بناءً على النتائج الواقعية وتسمح للتوليفات الجيدة بالبقاء.

تتطلب هذه النقطة تفصيلاً مهماً: البحث يكون "متوازناً المصدر" (source-balanced)، مما يعني أن المجموعة المحتجزة التي يتم التقييم ضدها تخلط عمداً بين أنواع مهام مختلفة (التعرف الضوئي على الحروف OCR، العد، التعرف على الكائنات، السمات، العلاقات المكانية) بنسب متوازنة، بدلاً من السماح لفئة واحدة بالهيمنة. يهدف ذلك إلى منع البحث عن العثور على مسار ممتاز في مهمة معينة، مثل العد، ومتوسط في كل شيء آخر، فقط لأن أمثلة العد كانت ممثلة بشكل مفرط.

تختبر الورقة هذا النهج على نموذجين، Qwen2.5-VL-3B-Instruct و SmolVLM2-2.2B-Instruct، وكلاهما من نماذج الرؤية اللغوية المفتوحة المتوسطة الحجم، وتقارن النتائج مع الترتيب المستقل، والإزالة المتتالية، والاختيار العشوائي للكتل عند ميزانيات متطابقة (نفس عدد الكتل المتخطاة، ولكن بخيارات مختلفة حول أي منها يتم تخطيها).

النتيجة التي ينبغي أن تدفع الناس لإعادة التفكير في التقليم الساذج

الرقم الرئيسي: على نموذج SmolVLM2، يتفوق المسار المشترك المكون من أربعة كتل الذي وجدته الخوارزمية التطورية (مجموعة ثابتة واحدة من أربعة كتل يتم تخطيها، وتُستخدم لكل سؤال بغض النظر عن المهمة) على بناء الترتيب المستقل بفارق 4.91 نقطة مئوية. هذا فرق ذو دلالة كبيرة لتغيير لا يكلف شيئاً في وقت الاستدلال سوى تحديد أي أربعة كتل يجب استبعادها. وبما أن هذا النمط يظهر في كلا الهيكلين المعماريين الذين تم اختبارهما، فهو إشارة جيدة على أن البحث التوافقي (التحقق من المسارات الكاملة معاً بدلاً من تقييم الكتل واحدة تلو الأخرى) هو طريقة أفضل حقاً لبناء هذه الاختصارات مقارنة بالنهج الأولي الواضح.

لو توقفت الورقة البحثية عند هذا الحد، لكان الاستنتاج بسيطاً: البحث عن مجموعات كتل جيدة يتفوق على ترتيبها بشكل فردي، وهذه معلومة تستحق المعرفة إذا كنت تحاول خفض تكلفة الاستدلال على نموذج لغوي بصري (VLM) دون إعادة تدريبه.

حيث تصبح فكرة التخصص مغرية، ثم تنهار

السؤال التالي الذي تطرحه الورقة البحثية أكثر طموحاً: ماذا لو لم تستخدم مساراً ثابتاً واحداً لكل سؤال، بل اخترت مساراً مختلفاً مكوناً من K كتلة اعتماداً على نوع السؤال؟ إذا عرفت (أو استطعت تخمين) أن السؤال يتعلق بالتعرف الضوئي على الحروف (OCR) مقابل العد مقابل الاستدلال المكاني، ربما تكون الكتل المثالية للتخطي مختلفة لكل منها. هذا يتطلب تسمية للقدرات، أي إشارة تخبر النظام إلى أي فئة مهام ينتمي السؤال الحالي.

على نموذج Qwen2.5-VL، يحقق هذا نتائج إيجابية، للوهلة الأولى. يتفوق سياسة القدرات المحددة بست كتلات على المسار المشترك الموحد بنقاط 2.17 بشكل عام، ويأتي几乎所有的 من فئات واحدة فقط: تحسن بنقاط 7.10 في التعرف الضوئي على الحروف (OCR) تحديداً. هذه نتيجة حقيقية، وإذا استمرت في كل مكان، ستكون مفيدة حقاً: استخدم مساراً عاماً افتراضياً، ثم انتقل إلى مسار متخصص للتعرف الضوئي على الحروف عندما تعلم أنك تقرأ نصاً، واحصل على زيادة دقة ذات معنى مجاناً.

إلا أنها لا تستمر. عندما تفحص الورقة المسار الخاص بالـ OCR لنموذج SmolVLM2 مقابل مجموعة IIIT5K، وهي معيار قياسي للنص في المشاهد (صور للنص في الحياة الواقعية: واجهات المتاجر، لافتات الطرق، ملصقات المنتجات)، يتخلف المسار المتخصص عن المسار المشترك العادي بنقاط 13.6. ليس خطأً في التقريب. اختصار متخصص بدا وكأنه فوز على مجموعة الاختبار الخاصة بالبحث نفسه، اتضح أنه يضر بالأداء بشكل فعلي على اختبار OCR منفصل ومغلق.

السبب في حدوث هذا هو الجزء المهم. تم تحسين المسار الخاص بالقدرات ضد مجموعة محدودة من الأمثلة الموسومة بـ OCR من مجموعة الاختيار. تعلم تخطي الكتل التي حدثت أن تكون غير مهمة لتلك الشريحة المحددة من أمثلة قراءة النص، وليس الكتل التي هي غير مهمة لقراءة النص بشكل عام. يبدو أن نص المشهد في IIIT5K (لافتات منحنية، خطوط غريبة، خلفيات مزدحمة) يحتاج إلى بعض المعالجة البصرية بالضبط التي قرر المسار المتخصص التخلص منها. لقد تم الإفراط في تعميم المسار على تعريف ضيق لـ "التعرف الضوئي على الحروف" بدلاً من العثور على شيء يتعمم عبر ما يبدو عليه التعرف الضوئي على الحروف في الواقع.

لماذا يهم ذلك أي شخص يبني أو يختار نظام قراءة ضوئية للنصوص (OCR)

إذا كنت تبني خط أنابيب لمعالجة المستندات، أو تقيم أي محرك OCR أو نموذج لغوي بصري (VLM) يمكنك الوثوق به، فإن هذه الورقة تمثل حكاية تحذيرية مفيدة حول نوع محدد من حيل الكفاءة، وليست سبباً للشك في نماذج OCR القائمة على VLM بشكل عام.

الأخبار الجيدة: تخطي الكتل عبر البحث التوافقي السليم، وليس عبر التقليم العشوائي، هو طريقة شرعية لخفض تكلفة الاستدلال في نموذج لغوي بصري دون الحاجة إلى إعادة تدريبه، وقد انتقلت هذه المكاسب عبر عائلتين مختلفتين من النماذج في هذه الدراسة. إذا أخبرك مورد أنه وجد مسار استدلال أرخص عبر بحث دقيق بدلاً من التخمين، فهذا أمر معقول ويستحق الأخذ به بجدية.

المفاجأة: في أي وقت يخبرك فيه مزود بأنه بنى مساراً سريعاً "متخصصاً في المهمة" أو "محسناً لـ OCR" عبر نموذج مشترك، اسأل عما تم التحقق منه ضده. تظهر هذه الورقة أن المسار المتخصص في OCR قد يبدو رائعاً على معيار الاختبار الدقيق المستخدم في بناؤه، ثم يفقد أكثر من 13 نقطة في اختبار OCR قياسي مختلف. هذا الفجوة هي بالضبط النوع من الأمور التي ستكون غير مرئية إذا اعتمدت فقط على الأرقام التي يبلغ عنها المورد نفسه. إذا كنت تختار بين محركات OCR، فإن الخطوة العملية هي نفسها التي تستنتجها هذه الورقة: اختبر على مستنداتك الخاصة، خاصة تلك الفوضوية من العالم الحقيقي (الإيصالات، اللافتات، الخط اليدوي، المسح الضوئي منخفض التباين)، وليس فقط على أي معيار تم ضبط تحسين المورد ضده.

بالنسبة لأي شخص يبني بدلاً من الشراء: هذا حجة قوية للحفاظ على مسار مشترك واحد ومختبر جيداً كخيار افتراضي، ومعاملة أي مسار سريع محدد للمهمة كإضافة تجريبية تحتاج إلى تحقق خاص بها على مجموعة اختبار مختلفة حقاً قبل إطلاقها، وليس مجرد درجة أعلى على المجموعة التي استخدمتها لإيجادها. ومن الجدير بالذكر أن طبيعة النص العربي نفسه، مع خطه المتصل واتجاهه من اليمين إلى اليسار وأشكال الحروف الحساسة للسياق، تضيف طبقة إضافية من التعقيد تجعل أي اختصار في المعالجة البصرية أكثر خطورة ويتطلب تحققات دقيقة.

ما الذي لا يزال هشّاً هنا

هذه دراسة محدودة النطاق تعتمد على نماذج صغيرة، ويجب قراءتها بهذه الطريقة. كلا النموذجين المختبرين يعتبران مدمجين نسبياً (3 مليار و2.2 مليار معلمات)، لذا يبقى سؤالاً مفتوحاً عما إذا كان نفس الفجوة بين المسارات المشتركة والمتخصصة تظهر في نماذج VLM الإنتاجية الأكبر حجماً. تم اختبار بئتين معماريتين فقط، وهو ما يكفي لإظهار أن النمط ليس مجرد صدفة عابرة، لكنه غير كافٍ لاعتباره عالمياً.

هناك أيضاً تعقيد عملي لا تحله الورقة بشكل كامل: استخدام مسار مخصص لقابلية معينة يتطلب معرفة تسمية هذه القابلية في وقت الاستدلال، مما يعني أن شيئاً ما (مصنّف، تلميح من المستخدم، نموذج توجيه) يجب أن يسمّي كل سؤال وارد بشكل صحيح بأنه OCR، عدّ، مكاني، أو أي شيء آخر، قبل اختيار مسار. إذا أخطأت في هذا التصنيف، فأنت لا تفقد فقط فائدة التخصص، بل قد توجه سؤال OCR عبر مسار محسّن للعدّ.

أهم قيد، ومع ذلك، هو الذي تتحدث الورقة عنه بصراحة في إطارها الخاص: البحث التوافقي يحسّن بشكل موثوق كيفية بناء مسار، لكن تسميات القابلية لا تحدد بشكل موثوق مساراً يتعمّم. هذا ادعاء أضيق وأكثر فائدة من "القصّ الخاص بالمهمة يعمل"، وهو ما يستحق التذكر في المرة القادمة التي يقدم فيها شخص نموذجاً تم تحسينه خصيصاً لقراءة النص. اسأل عما يفعله مع نص لا يشبه النص الذي تم تحسينه عليه.