مقياس الخرائط الذي يكتشف نماذج الذكاء الاصطناعي التي تزيف الرؤية

انظر إلى الشكل 1 في هذه الورقة وستلاحظ شيئاً غريباً. على جانب واحد، توجد لقطة شاشة من DocVQA، أحد معايير فهم المستندات القياسية: جدول مليء ببيانات استقصائية حول المدخنين، مع سؤال في الأسفل يسأل عن النسبة المئوية للأشخاص الذين يشعرون بالحاجة إلى إيجاد مزيد من الإثارة في حياتهم. وعلى الجانب الآخر، يوجد ما يبدو كرسمة من كتاب للأطفال: حي أخضر بسيط مع بعض المنازل، وطرق متعرجة، وأشجار كرتونية. يطرح السؤال أي منزل سترى على يمينك إذا دخلت من اليسار وواصلت القيادة.

يتم تصنيف الجدول على أنه "سهل الوصف". بينما يتم تصنيف الحي الكرتوني على أنه "صعب الوصف". هذا عكس ما يبدو للبشر، وهذا بالضبط هو الهدف. يمكن للنموذج تحويل جدول الاستقصاء إلى فقرة نصية والإجابة على السؤال بشكل جيد، لأن الجداول هي بالفعل نص إلى حد ما. لكن حاول كتابة فقرة تلتقط بالكامل أي منزل يقع أين بالنسبة لنظام طرق متعرج، بتفاصيل كافية للإجابة على أي سؤال محتمل عنها، وستجد نفسك إما تكتب مقالة أو تتجاهل شيئاً ما. الفجوة بين "يبدو بسيطاً" و"يقاوم الوصف" هي ما تم بناء OmniMapBench، معيار جديد من مختبر شنغهاي للذكاء الاصطناعي، وجامعة تشجيانغ، وشركاء آخرين، لكشفها.

خريطة سياتل 1914 — بواسطة Rob Ketcherside عبر flickr، BY 2.0.

الخدعة التي لا تدركها معظم اختبارات "الإدراك البصري"

إليك السر غير المريح الذي يدور حوله هذا البحث. العديد من اختبارات الأداء التي تدعي اختبار الاستدلال البصري في نماذج اللغة-الرؤية الكبيرة (LVLMs، وهي النماذج التي يمكنها استقبال صورة ونص كمدخلات) يمكن حلها فعلياً دون الحاجة إلى الكثير من الاستدلال البصري. إذا كان الرسم البياني قابلاً للتحويل إلى جدول بيانات دون فقدان المعلومات، أو المستند إلى نص عبر التعرف الضوئي على الحروف (OCR)، أو مخطط الهندسة إلى قائمة من الإحداثيات، فإن النموذج لا يحتاج إلى النظر إلى الصورة بصدق. كل ما يحتاجه هو تحويل الصورة إلى نص مرة واحدة ثم القيام بما تتقنه نماذج اللغة الكبيرة (LLMs) بالفعل: الاستدلال على النص.

هذا ليس مجرد قلق نظري. يشير الباحثون إلى أن صور المستندات يتم تحويلها إلى تنسيق Markdown بشكل متكرر في خطوط استرجاع المعلومات، وأن الرسوم البيانية والجداول يتم تحويلها بشكل روتيني إلى أكواد أو بيانات منظمة. حتى مسائل الهندسة، التي تبدو بصرية في الظاهر، غالباً ما تكون "مكتملة نصياً"، مما يعني أن الوصف اللفظي للأشكال كافٍ لحلها. لذا، عندما يبلغ اختبار أداء أن نموذجاً حقق نسبة 90% في مهمة "استدلال بصري"، هناك سؤال حقيقي يستحق طرحه: هل استخدم النموذج عينيه فعلياً، أم أنه قرأ النص فقط؟

الخريطة هي إجابة المؤلفين على هذا السؤال. معنى الخريطة يكمن في تخطيطها المكاني: خطوط الكنتور، المناطق الملونة، الرموز التي يعتمد معناها على مفتاح الخريطة، والمواقع النسبية للأشياء فيما بينها. لا يمكنك تسطيح ذلك إلى فقرة نظيفة كما يمكنك تسطيح جدول بيانات. هذا ما يجعل الخرائط اختبار إجهاد جيد، وهذا هو سبب وجود OmniMapBench.

كيف تثبت أن معيارًا معينًا يتطلب فعليًا حاسة البصر

لا تكمن الذكاء في هذه الورقة البحثية فقط في عبارة "لقد أنشأنا معيارًا للخرائط"، بل في أن المؤلفين طوروا طريقة لقياس مدى اعتماد أي معيار فعليًا على الصورة مقابل مدى إمكانية التلاعب به باستخدام النص فقط.

يطلقون على هذه الطريقة "مؤشر الاعتماد البصري" (Visual Dependency Index - VDI)، والفكرة بسيطة بمجرد استيعابها. خذ معيارًا معينًا، وشغّل نموذجًا قويًا عليه بشكل طبيعي باستخدام الصورة الحقيقية، وسجّل دقة النتائج. ثم أزِل الصورة، لكن اسمح لنفس النموذج أولاً بتوليف وصف نصي لتلك الصورة (محدود بميزانية رموز ثابتة، بحيث لا يمكنه ببساطة إخراج نص تفصيلي لا نهائي). ثم قدّم هذا الوصف للنموذج بدلاً من الصورة، وقيس الدقة مرة أخرى. مؤشر VDI هو ببساطة النسبة المئوية للانخفاض بين هذين الرقمين. إذا كان أداء النموذج متقاربًا جدًا عند العمل من وصفه النصي الخاص مقارنةً بمشاهدته للصورة الفعلية، فإن مؤشر VDI يكون منخفضًا، مما يعني أن المعيار لا يتطلب رؤية حقيقية. أما إذا انهارت الدقة دون وجود الصورة، فإن مؤشر VDI يكون مرتفعًا.

النتائج واضحة تمامًا. عند ميزانية وصف تبلغ 1,024 رمزًا، وهو ما يكفي تقريبًا لعدة فقرات مكتظة بالمعلومات، تنهار معايير مثل AI2D (الرسوم التوضيحية العلمية) وMMBench تقريبًا: حيث ينخفض مؤشر VDI لديهم إلى الصفر تقريبًا، مما يعني أن فقرة جيدة بما فيه الكفاية تمنحك دقة قريبة جدًا من تلك المحققة باستخدام الصورة الحقيقية. في الطرف الآخر، يحتل معيار OmniMapBench موقعًا مميزًا بمؤشر VDI يبلغ 0.338، وهو الأعلى بين أحد عشر معيارًا تم اختبارها، بما في ذلك أسماء مألوفة مثل DocVQA وChartQA وMathVista. يتتبع المؤلفون أيضًا مقياسًا مصاحبًا يسمى "مؤشر التشبع الوصفي" (Descriptive Saturation Index - DSI)، والذي يقيس ما إذا كانت النماذج تستمر في استهلاك ميزانية الرموز بالكامل لمحاولة وصف صورة، أو تتوقف مبكرًا لأنه لا يوجد شيء آخر يمكن قوله. حصل OmniMapBench على درجة 0.629 في هذا المقياس، وهي ثاني أعلى درجة في المقارنة، مما يعني أن النماذج تستمر في بذل جهد للحصول على المزيد من الكلمات لوصف هذه الخرائط حتى عند الحد الأقصى للرموز. ضع هذين الرقمين معًا وستحصل على معيار يقاوم اختصار التحويل النصي من زاويتين مختلفتين.

بناء 1,603 خريطة لا يمكن التلاعب بها

يُعدّ حجم مجموعة البيانات نفسها أصغر من بعض معايير التقييم المشهورة في مجال الإجابة البصرية على الأسئلة (VQA)؛ إذ تحتوي DocVQA على حوالي 50,000 زوج من الأسئلة والأجوبة، بينما تضم OmniMapBench 2,096 زوجاً. ومع ذلك، فإن عملية البناء تستحق التوضيح لأنها تفسر سبب صعوبة اختصار أو التلاعب بالإجابات على هذه الأسئلة.

بدأ الفريق بالحصول على أكثر من 5,000 صورة خرائط عبر الزحف الآلي (scraping) والجمع اليدوي، مستخدمين نموذج لغوي كبير (LLM) لتوليد استعلامات بحث متنوعة عبر تسعة فئات مستهدفة، بالإضافة إلى مصادر مستهدفة من البوابات الحكومية ومنصات التواصل الاجتماعي للحصول على أنواع متخصصة من الخرائط مثل مخططات النقل العام. قاموا بتصفية هذه المجموعة لتصل إلى حوالي 2,000 صورة، مستبعداً النسخ المكررة جزئياً، والمسح الضوئي منخفض الدقة، وأي شيء يتعلق بالمناطق الحساسة سياسياً. ثم كتب المُعلِّمون البشريون أزواج الأسئلة والأجوبة يدوياً، ملتزمين بقواعد صارمة: يجب أن تكون كل إجابة قابلة للاستنتاج باستخدام المعلومات البصرية الموجودة في الخريطة فقط، دون الحاجة إلى معرفة خارجية، وتمت صياغتها كأسئلة اختيار من متعدد (إجابة واحدة أو متعددة) أو أسئلة ترتيبية للحفاظ على موضوعية التصحيح.

كما كان على المُعلِّمين تحقيق ثلاثة مستويات للصعوبة عمداً: تختبر أسئلة المستوى الأول الإدراك الأساسي (هل يمكنك العثور على رمز وقراءته)، واختبر أسئلة المستوى الثاني الاستدلال المكاني بخطوة واحدة (أي من هذين النقطتين أقرب إلى النهر)، بينما تختبر أسئلة المستوى الثالث الاستدلال العلائقي متعدد الخطوات (تتبع مساراً عبر عدة منعطفات وأبلغ عما هو مرئي على طول الطريق). أنتجت هذه الجولة الأولى 3,386 زوجاً من الأسئلة والأجوبة، والتي تم تصفيتها وإعادة توازنها لتصل إلى 2,882، ثم خضعت لجولة ثانية مستقلة من التحقق المتقاطع حيث قام فريق مختلف من المُعلِّمين بمراجعة كل زوج للتأكد من صحته ودقة تصنيفه. تم استبعاد أي زوج لم يجتز هذه المراجعة. والنتيجة النهائية: 2,096 زوجاً موزعة على 1,603 صورة.

تقدم الفئات التسعة فكرة عن مدى اتساع مفهوم "الخريطة" هنا: الملاحة الداخلية (18.3% من الصور)، التعليم والتاريخ (17.2%)، الهندسة والمرافق (16.8%)، النقل (15.7%)، السياحة (13.2%)، الطبوغرافيا والاستشعار عن بعد (7.3%)، البيئة والطبيعة (5.2%)، الاجتماعية والاقتصادية (3.9%)، وأخيراً وبشكل ملحوظ، خرائط الألعاب (2.4%)، والتي تعني خرائط العوالم الخيالية أو ألعاب الفيديو. يُعدّ هذا التصنيف الأخير انتقاداً متعمداً للمعايير التي تفترض أن الخرائط تعني فقط الجغرافيا الواقعية. تميل معايير التقييم السابقة الخاصة بالخرائط إلى التخصص الضيق، مثل ReasonMap (خرائط النقل العام فقط، حوالي 30 صورة) أو MapQA (خرائط الكوروليث فقط). رهان OmniMapBench هو أن التنوع، بدءاً من مخططات المترو وصولاً إلى دلائل المراكز التجارية ومخططات طوارئ الإخلاء، هو ما يضغط فعلياً على قدرة النموذج على الاستدلال المكاني العام بدلاً من اعتماده على الألفة مع نمط واحد من الخرائط.

خريطة طبوغرافية لجبال دوك ورايدنج في شمال غرب مانيتوبا (1888) — بواسطة خرائط مانيتوبا التاريخية عبر flickr، BY 2.0.

لوحة النتائج: 25 نموذجًا وسقفٌ عند 75%

النتيجة الرئيسية هي أن أفضل نموذج تم اختباره، وهو Gemini-3.1-Pro، حقق نسبة 75.03% إجمالاً. وبالنسبة لمعيار تقييم مبني على أسئلة اختيار من متعدد وترتيب، حيث تمنحك التخمين العشوائي بالفعل نتيجة معينة، فإن هذا يمثل سقفًا منخفضًا بشكل ملحوظ لنموذج رائد في عام 2026.

تبرز عدة نقاط في لوحة الترتيب الكاملة لـ 25 نموذجًا. أولاً، الفجوة بين أفضل النماذج الخاصة وأفضل النماذج مفتوحة المصدر أصغر مما قد تتوقع: فقد حقق Qwen3.5-397B-A17B نسبة 72.22%، وهو ما يقل بثلاث نقاط فقط عن Gemini-3.1-Pro، ومتقدم بوضوح على عدة أنظمة خاصة أخرى بما في ذلك GPT-5 (56.54%)، وClaude-Sonnet-4-5 (45.04%)، وGPT-4o الذي جاء في آخر القائمة بين جميع النماذج الـ 25 بنسبة 31.47%. إذا كنت تفترض أن "النموذج الرائد الخاص" يعني تلقائيًا "الأفضل في الاستدلال البصري"، فإن هذه لوحة الترتيب تدل على خلاف ذلك.

ثانيًا، تتراجع الأداء بشكل حاد كلما زاد صعوبة الاستدلال. وتروي درجات Gemini-3.1-Pro الخاصة حسب مستوى الصعوبة القصة: 88.24% في المستوى 1 (الإدراك)، و81.53% في المستوى 2 (استدلال بخطوة واحدة)، و62.88% في المستوى 3 (استدلال متعدد الخطوات). قراءة رمز من خريطة أمر واحد. لكن ربط عدة حقائق مكانية معًا للإجابة على سؤال هو مهارة مختلفة، وهي المهارة التي لا تزال بوضوح قيد التطوير.

ثالثًا، الفئة الموضوعية تهم كثيرًا. تتعامل النماذج بشكل أفضل نسبيًا مع فئات مثل السياحة، حيث تميل الخرائط إلى تضمين نصوص موسومة تقليدية أكثر (أسماء المعالم، لافتات الشوارع) يمكن للنماذج الاعتماد عليها. وهي تتعامل بشكل أسوأ مع فئة الطوبوغرافيا والاستشعار عن بعد، حيث يتم تشفير المعلومات في رموز كثيفة وغير قياسية، وخطوط الكنتور، وتدرجات لونية متصلة بدلاً من نصوص موسومة منفصلة. وهذا يتوافق مع الأطروحة الكاملة للورقة البحثية: كلما كان من الصعب وصف خريطة بالكلمات، كان من الصعب على النماذج الحالية التعامل معها.

هناك أيضًا تجربة تحكم تستحق الذكر. قام المؤلفون بتشغيل خط أساس "بدون صورة": حيث قدموا للنموذج فقط السؤال وخيارات الإجابة، دون أي صورة أو وصف على الإطلاق، لمعرفة ما إذا كان يمكن خداع المعيار من خلال تحيز خيارات الإجابة أو المعرفة العامة للعالم. انخفض متوسط الدقة عبر ثلاثة نماذج تم اختبارها من 58.87% مع الوصول العادي إلى 23.35% في الوضع الأعمى. وهذا قريب مما تتوقعه من شيء يقع بين التخمين العشوائي والتحيز الطفيف نحو الإجابات التي تبدو معقولة، وهي أخبار جيدة: فهذا يعني أن المعيار ليس قابلاً للحل سراً بواسطة نموذج جيد فقط في اختيار إجابة الاختيار من متعدد التي تبدو الأقل غرابة.

لماذا يهم ذلك لأي شخص يبني أو يختار خط أنابيب للتعرف الضوئي على الحروف (OCR)

إذا كان منتجك يتعامل مع وثائق ذات طبيعة مكانية جوهرية بدلاً من نصية، مثل مخططات الطوابق، وخرائط النقل، ومخططات المواقع، ومسارات الإخلاء، والطبقات الجغرافية المكانية (GIS)، فإن هذه الورقة تمثل تحذيراً واضحاً. ستفشل خطوط الأنابيب التي تعمل بتشغيل التعرف الضوئي على الحروف (OCR) أو تمريرة "وصف هذه الصورة" ثم تسليم النص الناتج إلى نموذج لغوي كبير (LLM) بصمت تماماً في هذا النوع من الوثائق، لأن المعلومات المهمة (ما الذي يقرب من ماذا، أي مسار يتصل بأي غرفة، أي منطقة ملونة بأي لون) لا تنجو من عملية تسطيحها إلى وصف نصي. أرقام معايير التقييم من نوع DocVQA التي تحب شركات التعرف الضوئي على الحروف والذكاء الاصطناعي الوثائقي نشرها لا تخبرك بشيء عن كيفية تعامل نظامهم مع هذه الفئة، لأن هذه المعايير، وفقاً لقياسات الورقة نفسها، قابلة للحل في الغالب عبر اختصارات نصية.

الحل العملي هو الاختبار مع وضع نمط الفشل الفعلي في الاعتبار بدلاً من الثقة في دقة مجمعة. اسأل عما إذا كان المحرك قادراً على تتبع مسار عبر مخطط طابق وإبلاغ عما يوجد على طوله، وليس عما إذا كان يستطيع نسخ النص داخل مربع محدد. إذا كنت تقيم موردي التعرف الضوئي على الحروف أو الذكاء الاصطناعي الوثائقي لأي شيء يتضمن خرائط، ومخططات هندسية، ومخططات فنية، أو رسوم بيانية، فلا تأخذ عبارة "نحن نتعامل مع الوثائق المرئية" على محمل الجد: اطلب دقة محددة للأسئلة متعددة الخطوات والمبنية مكانياً، لأن هذا هو المكان بالضبط الذي تتعثر فيه خطوط الأنابيب العامة للتعرف الضوئي على الحروف وحتى نماذج اللغة البصرية الكبيرة القوية. حالياً، حتى أفضل نموذج في العالم لا يتجاوز دقة ثلاثة أرباع في هذا المجال. إذا كان استخدامك يعتمد على الحصول على الربع الأخير بشكل صحيح، فخطط للمراجعة البشرية أو نهض أضيق ومخصص لهذا الغرض بدلاً من افتراض أن نموذج لغة مرئي عام سيحقق ذلك لك جاهزاً للاستخدام. تجدر الإشارة إلى أن تعقيدات النصوص العربية، مثل طبيعتها المتصلة واتجاهها من اليمين إلى اليسار وأشكال الحروف الحساسة للسياق، تضيف طبقة إضافية من الصعوبة للتعرف الضوئي على الحروف، مما يجعل التحديات المكانية المذكورة أعلاه أكثر حدة عند التعامل مع وثائق عربية معقدة.

أين تبدو هذه المعيارية أرقق مما تبدو عليه

هناك بعض التحذيرات التي يستحق الاحتفاظ بها في الاعتبار قبل التعامل مع OmniMapBench كحقيقة مسلم بها. مع وجود 2,096 زوج سؤال وجواب، فهو صغير مقارنة بـ 50,000 حالة في DocVQA أو عشرات الآلاف في بعض معايير الرسوم البيانية، وتوزيع الفئات غير متوازن: تشكل الملاحة الداخلية، والتعليم والتاريخ، والهندسة والمرافق معًا أكثر من نصف الصور، بينما تمثل خرائط الألعاب أقل من 40 صورة إجمالاً. يمكن أن تكون المعايير الرقيقة في أصغر فئاتها ضوضائية على مستوى الفئة حتى لو كانت الأرقام الإجمالية قوية.

تعتمد مقياس VDI نفسه أيضًا على نموذج مرجعي واحد (GPT-4.1) لتوليد الوصف المستخدم للمقارنة النصية فقط. قام المؤلفون بإجراء اختبار تبديل نموذج مرجعي مختلف ووجدوا اتجاهات متسقة، مما يساعد، لكن المقياس لا يزال في الأساس يطرح سؤال "ما مدى جودة هذا النموذج في وصف هذه المعيارية بالكلمات"، وليس خاصية مستقلة عن النموذج للصور نفسها. كما أن المعيارية تغطي الإنجليزية والصينية فقط (61% و39% من الأسئلة على التوالي)، لذا فهي لا تقول شيئًا عن كيفية تغير هذه النتائج للخرائط الموضحة بلغات أو خطوط أخرى.

لا يقلل أي من ذلك من أهمية النتيجة الأساسية. حتى مع مجموعة بيانات أصغر ومقياس غير مثالي، فإن الفجوة بين VDI لـ OmniMapBench وكل شيء آخر تم اختباره كبيرة بما يكفي لتكون مقنعة، وسقف بنسبة 75% من أفضل نموذج في العالم هو نتيجة حقيقية، وليس خطأ تقريب. المساهمة الفعلية للورقة أقل من "هنا هو المعيار النهائي للخرائط" وأكثر من "هنا طريقة لمعرفة ما إذا كان معيارك يختبر الرؤية أم يختبر فهم القراءة بشكل خفي". هذه أداة يستحق امتلاكها، وهي متأخرة جدًا نظرًا لكيفية قياس العديد من لوحات "الاستدلال البصري" حاليًا، ربما دون علم، شيء أقرب إلى الأخير.