الوجبة المجانية المخفية في مشفر الرؤية الخاص بك: ما يفعله SigLIP-HD بشكل صحيح

يركض عداء بجوار لافتة في منتصف السباق. تقرأ اللافتة "HOKA TIME TO FLY"، وهي تعلن عن علامة تجارية لأحذية الجري. إذا قدمت هذه الصورة إلى نموذج حديث من نماذج الرؤية واللغة وسألته عما تكتبه اللافتة، فستحصل على الإجابة: "HOOKA TIME TO FLY." ليس خطأ مطبعياً في الصورة. بل خطأ اخترعه النموذج، لأن الدقة التي كان ينظر بها جعلت الحروف تتشوش بما يكفي لتحويل اسم علامة تجارية حقيقية إلى كلمة غير موجودة.

هذا هو نمط الفشل الذي صُممت ورقة بحثية جديدة بعنوان SigLIP-HD لإصلاحه، والحل بسيط لدرجة قد تبدو مشبوهة. لا حاجة لصور أكبر. ولا حاجة لمزيد من القدرة الحاسوبية أثناء الاستدلال. ولا حاجة لهيكلية جديدة. مجرد طريقة مختلفة لتدريب مشفر الرؤية نفسه الموجود بالفعل داخل جزء كبير من النماذج متعددة الوسائط الحالية. يحصل المؤلفون، من جامعة هونغ كونغ ومعهد شنغهاي للذكاء الاصطناعي، على تحسينات ذات معنى في التعرف الضوئي على الحروف (OCR) وفهم المستندات من SigLIP 2 (مشفر صور شائع الاستخدام) دون طلب منه النظر إلى بكسل إضافي واحد أثناء الاستدلال.

الغريزة التي يمتلكها الجميع، ولماذا تكلف أكثر مما تبدو

عندما يخطئ نموذج لغوي كبير متعدد الوسائط (MLLM، وهو نموذج يستقبل صورًا ونصوصًا ويخرج نصوصًا، مثل GPT-4V أو LLaVA) في قراءة النصوص الصغيرة، فإن الحل الواضح هو تزويده بصورة أكبر. كلما زادت عدد البكسلات المدخلة، زادت الرموز البصرية الدقيقة الناتجة، مما يحسن فرص التقاط كل حرف. وهذا بالضبط الاتجاه الذي تحركت إليه المجال: كانت الأنظمة المبكرة مثل LLaVA تقوم بتغيير حجم كل شيء إلى صورة ثابتة بحجم 336×336 بكسل، بينما تحاول الأنظمة الأحدث مثل Qwen2.5-VL أو InternVL الحفاظ على الدقة الأصلية، وأحيانًا تقطع المستند إلى شبكة من المربعات وتعمل مشفر الصورة على كل مربع على حدة.

هذا النهج يعمل، لكنه ليس مجانيًا. تقسيم الصورة إلى مربعات يعني عدة عمليات تمرير أمامية عبر المشفر لإدخال واحد. كلما زادت المربعات، زادت الرموز البصرية التي تتدفق إلى نموذج اللغة، مما يصبح مكلفًا بسرعة نظرًا لأن تكلفة المحولات تتناسب مع طول التسلسل. لذلك تضيف الأنظمة أدوات إعادة عينة أو حيل مثل "pixel-unshuffle" لضغط هذه الرموز مرة أخرى، مما يضيف سطحًا هندسيًا إضافيًا وأوضاع فشل خاصة به. كل خطوة تصاعدية في الدقة هي خطوة تصاعدية في زمن الوصول والتكلفة، وهي النوع من الأمور التي تظهر كتجاوزات للوقت المحدد في الإنتاج قبل أن يقوم أحد بتحديث رقم معيار الأداء.

يطرح المؤلفون سؤالًا أكثر حدة قبل الالتزام بأي من ذلك: هل استخرجنا بالفعل كل ما يمكن من الدقة التي نستخدمها بالفعل؟ إن توضيحهم جيد. خذ على سبيل المثال إنفوجرافيك طويل، شيء مثل ملصق رياضي مليء بالإحصائيات، بارتفاع أصلي يبلغ 1722 بكسل. قم بتقليل دقته إلى دقة "متوسطة" قياسية تبلغ 512 بكسل. تصبح النصوص ضبابية. يمكن للإنسان الذي يغمض عينيه قليلاً عند النظر إلى النسخة الأصغر أن يقرأ معظمها. نحن جيدون في إعادة بناء النصوص المتدهورة من السياق والأشكال الحرفية العامة. هل يقوم نموذج الرؤية بنفس عملية إعادة البناء، أم أنه ببساطة... لا ينظر بجدية كافية إلى ما يمتلكه بالفعل؟ إذا كانت الإجابة هي الثانية، فأنت لا تحتاج إلى صورة أكبر. تحتاج إلى تعليم النموذج استخراج المزيد من الصورة التي تدفع ثمنها بالفعل.

تعليم صورة رخيصة أن ترى مثل باهظة الثمن

تُعرف هذه الطريقة بالإشراف من الدقيق إلى العام (fine-to-coarse supervision)، وبمجرد رؤية المخطط التوضيحي، يستغرق فهمها حوالي ثلاثين ثانية فقط. ابدأ بمشفر (encoder) مسبق التدريب من نوع SigLIP 2 ومجمد. وكلمة "مجمد" تعني أن أوزانه مقفلة وغير قابلة للتعديل خلال هذه الخطوة. قم بإدخال نفس الصورة على المشفر بمقياسين: نسخة أساسية رخيصة بأبعاد 512×512 بكسل، ونسخة مكلفة أخرى مُقربة بأبعاد 1024×1024. ينتج كل من المرورين شبكة من متجهات السمات (يمكنك تخيلها على أنها الملخص الداخلي للنموذج لما تحتويه كل رقعة صغيرة من الصورة). ومن الواضح أن المرور عالي الدقة يلتقط تفاصيل أدق، ونصوصاً أصغر، وحواف أكثر دقة، لكنه ينتج شبكة أكبر لا تتطابق في الشكل مع النسخة الرخيصة.

لذلك، يقوم المؤلفون بتصغير حجم شبكة السمات عالية الدقة باستخدام الاستيفاء الثنائي الخطي البسيط (bilinear interpolation) حتى يتطابق شكلها مع شبكة الدقة الأساسية، ثم يقومون بدمجها معاً عن طريق حساب المتوسط، رقعة تلو الأخرى. هذا الناتج المتوسط هو سمة "المعلم": شيء قد رأى بالفعل التفاصيل الدقيقة من المرور المكلف، لكنه مُعبأ بنفس شكل المخرج الرخيص.

والآن، لخطوة التدريب الفعلية. خذ نسخة ثانية من نفس المشفر المسبق التدريب. هذه النسخة قابلة للتدريب وليست مجمدة، ولا تُعرض إلا على الصورة الرخيصة بأبعاد 512×512. قم بضبطها بدقة (Fine-tune) بحيث تتطابق السمات التي تنتجها من تلك الصورة الرخيصة الواحدة مع سمة المعلم، رقعة تلو الأخرى، باستخدام فقدان L1 بسيط (بإيجاز: قلل الفرق المطلق بين شبكتي السمات). لا توجد تسميات نصية، ولا تعليقات اصطناعية، ولا شيء مُعلّم يدوياً. "الإشراف" هنا هو أن النموذج يعلم نفسه باستخدام الصور الخام فقط بأحجام مختلفة.

بعد التدريب، يتم التخلي عن إعداد المعلم متعدد المقاييس والمكلف بالكامل. ما يتبقى هو مشفر واحد يستقبل نفس مدخلات 52×512 بكسل بالضبط، وينتج نفس عدد الرموز (tokens)، ويمكن استبداله كملف نقطة تفتيش (checkpoint) مباشر داخل نموذج لغوي متعدد الوسائط (MLLM)، لكنه الآن يشفر، ضمن أوزانه، بعض الفكرة حول كيف كانت ستبدو النسخة الأكثر تفصيلاً لتلك الصورة. نفس المدخلات، نفس التكلفة، ومخرجات أفضل. هذا هو الحيلة بأكملها: التقطير ليس من نموذج معلم أكبر ومنفصل (وهو الإعداد المعتاد في تقطير المعرفة)، بل من نفس النموذج وهو ينظر إلى المزيد من بكسلات الصورة نفسها.

كما أن إنتاجها رخيص التكلفة. قام المؤلفون بتدريبه على 4.5 مليون صورة لمدة 90,000 خطوة، واستغرق التشغيل بأكمله 34 ساعة على 32 وحدة معالجة رسومات من نوع A100. قارن ذلك بتدريب مشفر بصري من الصفر، والذي يلاحظ الورق البحثي أنه يمكن أن يستهلك "ملايين ساعات وحدات معالجة الرسومات" ومجموعات بيانات تتكون من مليار صورة. هذه عملية صقل خفيفة الوزن مُضافة إلى مشفر موجود مسبقاً، وليست نموذجاً جديداً بُني من الصفر.

باريس - خريطة مترو 1973 — بواسطة roger4336 عبر flickr، BY-SA 2.0.

ما كشفه التجريب مع المقاييس والخسائر فعلياً

قبل الوصول إلى الوصفة النهائية، أجرى المؤلفون مجموعة من الدراسات الاستطلاعية تستحق التوقف عندها، لأن الإجابات أكثر إثارة للاهتمام من مجرد "كلما كان أكبر كان أفضل".

عند اختبار المدخلات أحادية المقياس مقابل متعددة المقاييس لإشارة المعلم، وجدوا أن دمج عرض أساسي بحجم 512² مع عرض مكبّر بحجم 1024² ساعد في 10 من أصل 12 معياراً للأداء مقارنة باستخدام أي منهما بمفرده. لكن إضافة مقياس ثالث (1536²) أو رابع (2048²) توقف عن المساعدة في الغالب وأحياناً أساء الأمور. في الواقع، أدى عرض عالي الدقة بمفرده، بدون مرافق بمقياس أساسي، إلى أداء أضعف من المزيج. يبدو أن النموذج يحتاج إلى الرؤية العالمية الخشنة جنباً إلى جنب مع الرؤية المحلية الدقيقة، وليس مجرد تراكم المزيد من التفاصيل الدقيقة.

اختبروا أيضاً كيفية معالجة صورة عالية الدقة عندما تم تدريب المشفر فقط على حجم أصغر ثابت. الحركة البديهية، المستعارة من مهام التنبؤ الكثيف مثل التقسيم، هي تحريك نوافذ متداخلة عبر الصورة بحيث لا تقع أي معلومات مهمة بشكل غير مريح على حدود البلاطة. هنا أدى الأمر إلى نتيجة عكسية: فزت النوافذ غير المتداخلة بدلاً من ذلك. أفضل تخمين لهم هو أن المناطق المتداخلة تتلقى معالجة غير متسقة (بعض الرقع يتم "عدّها مرتين" فعلياً) أو أن التضمينات الموضعية تتعارض عندما يظهر نفس المحتوى في أكثر من نافذة. بأي حال من الأحوال، لم تنتقل حكمة سابقة من زاوية مختلفة في مجال رؤية الحاسوب.

وعندما يتعلق الأمر بدمج الميزات متعددة المقاييس، فازت الخيار الأبسط مرة أخرى: الاستيفاء ثنائي الخطي لمحاذاة الأشكال، ثم متوسط غير مرجح عادي، تغلب على كل من التجميع على مستوى القنوات والعينات الهابطة غير المفككة بكسل. حاولوا حتى تحريك المتوسط نحو الميزات عالية الدقة تحديداً لمعايير الأداء الغنية بالتفاصيل مثل VQA المستند، بناءً على النظرية القائلة بأن المزيد من التفاصيل الدقيقة يجب أن يساعد أكثر حيث تكون التفاصيل الدقيقة أكثر أهمية. لم يحدث ذلك. بقي متوسط 1:1 مباشر الأفضل طوال الوقت.

الأرقام الفعلية، وإصلاح بعض الأخطاء الحقيقية في القراءة

عند دمج SigLIP-HD في خط تدريب LLaVA القياسي باستخدام نموذج لغوي كبير (LLM) من نوع Vicuna بملياري وسبع مليمليارات من المعاملات، وباستخدام بيانات ضبط التعليمات الخاصة بـ LLaVA-NeXT والتي تركز بشكل أكبر على التعرف الضوئي على الحروف (OCR)، ارتفع أداء نموذج DocVQA (وهو معيار لقياس قراءة النصوص في المستندات الممسوحة ضوئياً) من 56.0 إلى 59.6، وارتفع أداء ChartQA (قراءة البيانات من المخططات والرسوم البيانية) من 61.6 إلى 65.2، كما ارتفع أداء HRBench (معيار تم بناؤه خصيصاً حول التفاصيل البصرية الدقيقة) من 43.5 إلى 48.3، وكل ذلك مقارنةً بخط الأساس SigLIP 2، وبكلفة استنتاج متطابقة. وعند حساب المتوسط عبر جميع المعايير التي تم اختبارها، انتقلت هذه التكوينات التدريبية من 62.8 إلى 64.4.

لم تكن هذه المكاسب مقصورة على نموذج لغوي كبير واحد فقط. فاستبدال النموذج بنموذج Llama-3.2-3B الأصغر حجماً أدى إلى قفزة في أداء ChartQA من 45.2 إلى 49.8؛ واستبدال النموذج بـ Qwen2.5-7B أدى إلى تحسن DocVQA من 62.5 إلى 64.2. والأمر لا يقتصر على قصة SigLIP 2: فعند ربطه بمشفر OpenAI CLIP الأقدم بكثير (من عام 2021)، دفع نفس خدعة التلقين الذاتي (self-distillation) أداء DocVQA من 22.4 إلى 33.2. وبغض النظر عما يفعله هذا الأسلوب، فهو غير مرتبط بخصائص مشفر معين.

تبرز نتيجتان كأكثر من مجرد ضوضاء في لائحة المتصدرين. أولاً، يتراكم هذا الأسلوب مع نهج "استخدام الدقة الأصلية" (تقسيم AnyRes) بدلاً من التنافس معه. فعند تطبيق SigLIP-HD فوق AnyRes، لا يزال يدفع أداء ChartQA لأعلى بمقدار 3.5 نقاط إضافية. ثانياً، وهنا تظهر ادعاءات الملخص في الورقة البحثية في الممارسة العملية: تتضمن الأمثلة النوعية في الورقة نفس خطأ القراءة HOKA/HOOKA المذكور في بداية هذه المقالة، بالإضافة إلى صورة لوح أبيض حيث يقرأ النموذج الأساسي اسماً مكتوباً بخط اليد على أنه "Brian Owens"، بينما يحصل النموذج المعالج بدقة على "Bryan Owens". أخطاء صغيرة ومحددة، هي النوع الذي يظهر فعلياً عند توجيه كاميرا نحو خط يد أو لافتة ضبابية في العالم الحقيقي بدلاً من صفحة ممسوحة ضوئياً ونظيفة.

لماذا يهمك هذا الأمر إذا كنت تبني أو تشتري خط أنابيب للتعرف الضوئي على الحروف (OCR)

الدروس الرئيسية هنا لا تتعلق بـ SigLIP تحديداً. بل تكمن في حقيقة أن "الدقة" و"ميزانية الرموز" (token budget)، وهي الأرقام التي تذكرها الشركات المصنعة عند وصف محرك التعرف الضوئي على الحروف أو الذكاء الاصطناعي المستند إلى المستندات، لا تخبرك بكل شيء حول مقدار ما يستخرجه النموذج فعلياً من الصورة. يمكن لمشفِّرين مختلفين أن يتعاملوا مع صورة متطابقة بأبعاد 512×512، وينتجا عدداً متطابقاً من الرموز، ويتكبدان نفس التكلفة أثناء الاستدلال، ومع ذلك يختلفان بمقدار عدة نقاط في اختبارات الأداء على المستندات والرسوم البيانية، وذلك ببساطة بسبب طريقة التدريب. إذا كنت تقيّم المحركات بناءً على مواصفات الدقة وعدد الرموز فقط، فأنت تتجاهل متغيراً له أهمية لا تقل عن ذلك.

عملياً، هذه أخبار جيدة لأي شخص ينشر حلول التعرف الضوئي على الحروف على نطاق حقيقي بدلاً من اختبارها في المختبر. تعتبر خطوط الأنابيب ذات الدقة العالية والمقسمة إلى مربعات (tiling) طريقة شرعية لاكتشاف النصوص الصغيرة، لكنها تضاعف عمليات التمرير الأمامي وعدد الرموز، مما يضاعف زمن الاستجابة والتكلفة لكل مستند، وهو رقم حقيقي عندما تكون تقوم بمعالجة آلاف الصفحات يومياً. يعد تشغيل ضبط دقيق ذاتي الإشراف لمرة واحدة يستغرق 34 ساعة، ويحسن الدقة دون التأثير على تكلفة التشغيل، نوعاً من التغييرات السهل تبريره، ومن الجدير بالذكر أنه سهل التراجع عنه إذا لم يكن مفيداً، لأنه يعتمد على تبديل نقطة تحقق (checkpoint) بدلاً من إعادة هندسة النظام بالكامل.

الحقيقة الصريحة، والتي يصرح بها المؤلفون بوضوح بدلاً من إخفائها: هذا لا يجعل الدقة العالية الأصلية قديمة. فبعض التفاصيل تُفقد حقاً بمجرد خفض دقة الصورة؛ فلا يوجد قدر من الذكاء في التدريب يستعيد البكسلات التي تم متوسطها قبل أن يراها النموذج أبداً. ما يمنحك إياه هذا النهج هو استخراج دقة أكبر من ميزانية الدقة التي التزمت بها بالفعل، وهو ما قد يكون الرافعة الأكثر فائدة للبدء بها بالنسبة للفرق التي لا تستطيع تحمل تكلفة تمرير كل مستند عبر خط أنابيب مكلف ومقسم إلى مربعات متعددة. وتجدر الإشارة إلى أن طبيعة الكتابة العربية، بحروفها المتصلة واتجاهها من اليمين إلى اليسار وأشكالها الحساسة للسياق، تضيف طبقة إضافية من التعقيد لعملية التعرف الضوئي على الحروف، مما يجعل تحسين الدقة ضمن الميزانيات الحالية أمراً بالغ الأهمية.