طوال 14 عاماً، ظل ImageNet يُقيّم النماذج وفق نموذج إجابة معيب

تخيل اختبار إملاء مكوّناً من 50,000 سؤال، يتم تصحيحه وفق نموذج إجابة كتبه معلّم على عجل في عام 2012 ولم يراجعه قط بعد ذلك. والآن تخيّل أن هذا النموذج يحتوي على أخطاء إملائية في إجابة واحدة من بين كل 8 إجابات تقريباً، وأنه في ثلث الأسئلة كانت هناك هجاءات مقبولة متعددة (اثنان أو ثلاثة)، ومع ذلك اعتُمد هجاء واحد فقط كإجابة صحيحة. هذه تحديداً هي مجموعة التحقق (validation set) في ImageNet-1k، المعيار القياسي (benchmark) الذي رسّخ أبحاث تصنيف الصور لأكثر من عقد، وهو موضوع ورقة بحثية جديدة بعنوان "Doomed to Re-Annotate, Forever: The ImageNet Story".

النتيجة التي ستجعلك تتوقف عن التصفح مذهولاً: نحو 12% من التسميات الأصلية في ImageNet-1k خاطئة، و33.3% من الصور تُظهر في الواقع أكثر من فئة صالحة واحدة، و3.8% لا تحتوي إطلاقاً على أي كائن من الفئات الألف. إن كل ادعاء بتحقيق "أحدث ما توصلت إليه التقنية" (state of the art) استند إلى دقة top-1 في مقابل هذه المجموعة قد جرى تقييمه، جزئياً، وفق مفتاح حل معيب. وعندما أصلح الباحثون ذلك، تحركت دقة top-1 للنماذج الخاضعة للإشراف (supervised models) بما يصل إلى 1.2 نقطة مئوية، في حين قفزت دقة النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs، وهي نوع النماذج القادر على النظر إلى صورة والإجابة عن أسئلة حولها باللغة الطبيعية) بمقدار 5 إلى 6 نقاط. وهذا ليس مجرد ضجيج إحصائي، بل هو جزء معتبر مما كان الناس يطلقون عليه اسم "التقدم".

لماذا تؤدي صورة لكلب وقرص طائر (Frisbee) إلى كسر معيار يعتمد إجابة وحيدة

تطلب ImageNet-1k من النموذج اختيار تسمية واحدة فقط، من قائمة محددة تضم 1,000 فئة، لكل صورة. كان هذا القيد منطقياً في عام 2012، حين كان المجال بحاجة إلى طريقة بسيطة وقابلة للمقارنة لقياس ما إذا كانت الحواسيب قادرة على التعرف على الكائنات أصلاً. لكنه ظل خاطئاً في صمت منذ ذلك الحين، لأن الصور الحقيقية لا تنصاع لقواعد التسمية الأحادية.

لنتأمل صورة موسومة بـ "لابرادور ريتريفر" (Labrador retriever). إذا كان الكلب يمسك أيضاً بكرة تنس، أو يعض عصا، أو يجلس بجوار شخص على أريكة، فأي من هذه الخيارات هو الإجابة "الصحيحة"؟ اختار واضعو التوسيم الأصليون في ImageNet خياراً واحداً ومضوا في عملهم على نطاق هائل شمل مليون صورة، بالاعتماد على عمال حشد رقمي (crowdworkers) رأى معظمهم كل صورة مرة واحدة فقط. وعندما تضرب حالات الغموض الصغيرة هذه في مليون صورة، ينتهي بك المطاف بمعيار قياسي مليء بإجابات يمكن الدفاع عنها نظرياً لكنها خاطئة عملياً. إن الرقم الأبرز في الورقة البحثية—وهو أن ثلث الصور متعددة التسميات بالفعل—ليس في جوهره سوى إحصاء صريح لعدد المرات التي يرفض فيها العالم الحقيقي الانصياع للاختيار الفردي القسري.

ثم هناك مشكلة ثانية أكثر دهاءً: الفئات نفسها غير متسقة. فالفئات الألف في ImageNet مستمدة من WordNet، وهي قاعدة بيانات لغوية وليست تصنيفاً مصمماً بعناية للرؤية الحاسوبية (computer vision). بعض الفئات يتداخل فيما بينه (مثل "laptop" و"notebook computer")، وبعضها الآخر ضيق على نحو غريب، وبعض التعريفات لم يتضح للمصنفين الأصليين إلا بعد أن كانوا قد وسموا بالفعل آلاف الصور بطريقة "خاطئة" وفق التعريف الذي استقروا عليه لاحقاً. وتلك هي الحجة الأعمق في هذه الورقة البحثية: لا يمكنك كتابة دليل قواعد صحيح لمهمة كهذه قبل أن تبدأ بالتوسيم، لأن الحالات الحدية (edge cases) التي تجبرك على تنقيح الدليل لا تظهر إلا بعد أن تتعمق في عملية التوسيم. فالأخطاء والثغرات التعريفية تُكتشف من خلال ممارسة العمل نفسه، وليس عبر التخطيط له مسبقاً.

كيف بنى الفريق ReImageNet دون الادعاء بأن جولة واحدة ستصلح الأمر

تعاملت معظم المحاولات السابقة لتنقيح تسميات ImageNet مع الأمر بوصفه تصحيحاً لمرة واحدة (one-shot): ابحث عن الأخطاء، أصلحها، واطرح ملف CSV مصححاً. أما الرهان الأساسي لهذا الفريق فهو أن مجموعة بيانات بحجم ImageNet لا يمكن واقعياً توسيمها بدقة في جولة واحدة؛ لذا بنوا مسار عملهم (pipeline) حول التنقيح المتكرر والتحقق المستمر من الأخطاء بدلاً من ذلك: وسم البيانات، اكتشف مواضع قصور الإرشادات، عدّل الإرشادات، أعد فحص العمل السابق وفق الإرشادات الجديدة، ثم كرر العملية.

وجاءت النتيجة، ReImageNet، لتتجاوز مجرد تصحيح التسميات الخاطئة؛ فلكل صورة في مجموعة التحقق، أضاف الفريق:

• تصحيح التسميات المتعددة (Multilabel correction) — إدراج كل فئة صالحة موجودة في الصورة، وليس فئة واحدة فقط.
• تحديد موضع الكائن (Object localization) — تحديد الموضع الدقيق لكل كائن موسوم داخل الصورة.
• تنقيح تعريفات الفئات (Revised class definitions) — ضبط الفئات الأصلية المشتقة من WordNet وتدقيقها أينما وُجد غموض أو تداخل.
• السمات الدلالية (Semantic attributes) — مؤشرات توضح ما إذا كانت الصورة تحتوي على نص، وما إذا كانت صورة فوتوغرافية أم رسماً أم تصييراً رقمياً (rendering)، وما إذا كان الكائن يظهر عبر انعكاس، أو وسط حشد، وما إذا كان هناك كائن واحد يهيمن بوضوح على إطار الصورة.

وتستحق سمة التعرف على النصوص هذه التوقف عندها؛ فنسبة من صور ImageNet تحتوي على نص مرئي: ملصق على مرطبان، أو لافتة في الخلفية، أو كلمة مطبوعة على قميص. والنموذج الذي يقرأ ذلك النص فعلياً، بدلاً من التعرف على الأشكال المجردة، قد يتلقى دعماً إضافياً أو يتعرض لخصم في تقييمه تبعاً للصورة، ولم يكن أحد يتتبع هذا المتغير من قبل. ويُعد وسم هذا المتغير إضافة صغيرة ذات قيمة بالغة الأثر: فهي تحول تساؤل "لماذا أخطأ النموذج في هذه الصورة" من لغز محير إلى فرضية قابلة للاختبار والتحقق.

أما الخطوة الأخرى اللافتة للنظر فهي الجهة التي تتولى مهمة التوسيم. تشير الورقة البحثية إلى أن التعاون بين البشر والنماذج اللغوية الكبيرة (LLMs)، المدعوم بالأدوات المناسبة، يمثل سقف الجودة الحالي لعمليات التوسيم بهذا الحجم. ومن الناحية العملية، يعني هذا على الأرجح أن النماذج اللغوية تقترح تسميات مرشحة، وترصد أوجه عدم الاتساق، أو تملأ السمات مسبقاً، بينما يتولى البشر المراجعة، والفصل في الخلافات، والتقاط الحالات التي يخطئ فيها النموذج بثقة مفرطة. فلا أحد من الطرفين يعمل بمعزل عن الآخر. وتلك معلومة بالغة الأهمية لأي شخص يقرر حالياً كيفية تشكيل فريق لمشروع توسيم ضخم: فالتعهيد الجماعي الخالص أضاع الكثير في عام 2012، ومن المرجح أن تضيّع الأتمتة الكاملة اليوم القدر نفسه، ولكن بطرق مختلفة.

الأرقام ذات الأهمية، ولماذا يُعد الخطأ بنسبة 12% أسوأ مما يبدو

إليكم الحصيلة بعبارات واضحة:

• نحو 12% من التسميات الأصلية خاطئة. ليست حالات حدية، ولا "قابلة للنقاش"، بل غير صحيحة تماماً بالنسبة للصورة المعروضة.
• 33.3% من الصور متعددة التسميات. يُظهر ثلث مجموعة التحقق فعلياً أكثر من فئة واحدة من فئات ImageNet، وكان تنسيق التسمية الفردية القديم يعاقب الإجابات الصحيحة ضمنياً دون أن ندري.
• 3.8% لا تحتوي على أي كائن من الفئات الـ 1,000. ما يقرب من 4 أسئلة من بين كل 100 سؤال في الاختبار لم تكن لها إجابة صحيحة متاحة في القائمة أصلاً.
• تكسب النماذج الخاضعة للإشراف ما يصل إلى 1.2 نقطة في دقة top-1 بمجرد تقييمها وفق التسميات المصححة بدلاً من الأصلية.
• تكسب نماذج MLLMs ما بين 5 إلى 6 نقاط. وهذا رقم كبير، ويكشف الكثير عن السبب وراء ذلك.

الفجوة بين هذين الرقمين الأخيرين هي القصة الحقيقية؛ فالمصنف الخاضع للإشراف الحديث والمدرب كلياً (end-to-end) على ImageNet قد تعلّم، نوعاً ما، التنبؤ بخصائص مجموعة البيانات وغرائبها جنباً إلى جنب مع المفاهيم البصرية الحقيقية. لقد استوعب أعراف التوسيم الأصلية أثناء التدريب، ولذا فعندما يُقيّم وفق تلك الأعراف نفسها، يتلاشى عدم التطابق إلى حد كبير. أما نموذج MLLM فلم يُدرّب على محاكاة عادات التوسيم الخاصة بـ ImageNet؛ إنه ينظر إلى الصورة، ويفكر منطقياً فيما تحتويه بالفعل، وغالباً ما يقدم إجابة صحيحة تماماً لم تكن "الحقيقة الأرضية" (ground truth) أحادية التسمية تسمح بها إطلاقاً. وبعبارة أخرى، فإن جزءاً كبيراً من السردية القائلة بأن "نماذج MLLMs أسوأ في التصنيف من النماذج المتخصصة" ربما كان يقيس مدى الامتثال لقواعد غير اعتيادية صيغت في عام 2012، وليس الفهم البصري الحقيقي.

ولا يتوقف الضرر عند حدود المعيار القياسي الأصلي فحسب؛ فالورقة البحثية توضح أن مشكلات ImageNet-1k تمتد وتنتقل إلى مجموعات الاختبار المشتقة منها، وهي مختلف المعايير اللاحقة التي بُنيت عبر إعادة أخذ العينات أو إدخال تشويشات على البيانات الأصلية. وإذا كانت التسميات الأساسية معيبة، فإن كل ما يليها في المسار يرث هذا الخطأ. ولهذا السبب تجادل الورقة بأن هذه مشكلة هيكلية وليست مجرد علة في مجموعة بيانات واحدة: لقد بنى المجال عائلة كاملة من المعايير القياسية على أساس لم يقم أحد بالتدقيق فيه بالكامل.

لماذا يهمك هذا الأمر إن كنت تبني محركات التعرف الضوئي على الحروف (OCR) أو تختار بينها

قراء OpenOCR لا يدربون مصنفات ImageNet، لذا فمن المنطقي التساؤل عن سبب نشر هذه الورقة على هذه المدونة. هناك سببان، وكلاهما عملي.

أولاً، المنهجية قابلة للتطبيق هنا بشكل مباشر؛ إذ تعاني أنظمة الذكاء الاصطناعي للمستندات ومعايير تقييم OCR من أنماط الفشل ذاتها التي عانى منها ImageNet، وغالباً ما تكون أسوأ. فالفاتورة الممسوحة ضوئياً قد تحتوي على ختم يتداخل مع سطر المجموع، أو تصحيح يدوي بجوار حقل مطبوع، أو خلية جدول تتأرجح بوضوح بين قراءتين صالحتين. وتتضاعف هذه التحديات مع الخط العربي، حيث تجعل طبيعته المتصلة من اليمين إلى اليسار، وأشكال حروفه المتغيرة بحسب سياقها، وتراكيبه وتشكيلاته الاختيارية، مهمة التعرف الضوئي والتوسيم الدقيق أكثر صعوبة بكثير. وعادةً ما تُبنى "الحقيقة الأرضية" لمجموعات بيانات OCR بالأسلوب نفسه الذي بُنيت به مجموعة ImageNet في 2012: جولة واحدة، وموسم واحد أو فريق صغير، وتجميد للتعريفات قبل أن يكتشف أحد الحالات الحدية. وتعد هذه الورقة حجة قوية على أنك إذا كنت تبني معياراً للمستندات أو تدققه، فيجب أن تضع في حسبانك ميزانية لإعادة التوسيم المتكرر منذ البداية، وليس كمجرد عملية تنظيف لاحقة؛ فجولة توسيم وحيدة على نطاق واسع ستكون خاطئة حتماً في نسبة لا يستهان بها من بياناتك، نقطة على أول السطر.

ثانياً، وهو الأمر الأكثر ارتباطاً ومباشرة باختيار محرك OCR: لا تحظى أرقام دقة المعايير القياسية بموثوقية تفوق موثوقية حقيقتها الأرضية. فإذا كنت تفاضل بين المحركات بناءً على لوحة المتصدرين (leaderboard)، فاسأل عن ماهية الحقيقة الأرضية في الواقع، وكيف تم بناؤها، وهل تمت مراجعتها أكثر من مرة، وهل تأخذ في الحسبان الحالات التي تحتمل أكثر من قراءة منطقية واحدة (مثل رقم غير واضح قد يكون 3 أو 8، أو حقل اسم ملتبس بين تقطيعين محتملين). إن فارق الدقة البالغ نقطة أو نقطتين بين محركين يمكن تفسيره بالكامل بوجود ضجيج في التسميات وليس بوجود فارق حقيقي في القدرات، تماماً كما أظهرت هذه الورقة ما حدث مع نماذج ImageNet الخاضعة للإشراف. وإذا كنت تقيّم نموذجاً لفهم المستندات بدلاً من مجرد استخراج النصوص العادية، فإن الرقم الأكبر في هذه الورقة يجب أن يجعلك تتريث: لقد كسبت نماذج MLLMs ما بين 5 إلى 6 نقاط بمجرد تقييمها بإنصاف. وأي تقييم لأنظمة OCR يُحكّم النماذج متعددة الوسائط وفق حقيقة أرضية أحادية الإجابة أُعدت من جولة واحدة، فهو على الأرجح يبخس من قيمتها الحقيقية للسبب عينه الذي تكرر مع ImageNet.

وتُعد السمات الدلالية فكرة أصغر حجماً ولكنها مفيدة بحق وجديرة بالاقتباس أيضاً؛ فوَسْم ما إذا كانت الصورة تحتوي على نص، أو ما إذا كانت صورة حقيقية مقابل تصيير رقمي، أو تُظهر محتوى عبر انعكاس، يحول عبارة "فشل النموذج في هذه الصورة" إلى فئة قابلة للتنقيح وتصحيح الأخطاء بدلاً من أن تظل لغزاً. وستستفيد معايير تقييم المستندات من النوع نفسه من التوسيم: هل هذه صورة لصفحة التُقطت بكاميرا أم مسح ضوئي مسطح؟ هل النص مكتوب بخط اليد أم مطبوع؟ هل هناك علامة مائية أو ختم يتداخل مع المحتوى؟ ففي الوقت الحالي، تُعلن معظم معايير OCR عن رقم دقة مدمج واحد، وتخفي بدقة ذلك التباين الذي قد يوضح لك أين يواجه المحرك صعوبات حقيقية.

جوانب القصور التي لا تزال قائمة

تتسم الورقة البحثية بالصراحة والشفافية بشأن حدودها الخاصة، ويستحق ذلك أن يؤخذ على محمل الجد بدلاً من التعامل مع ReImageNet كمشكلة حُسمت وانتهت. فالعنوان يعلنها صراحة: "محكوم عليها بإعادة التوسيم إلى الأبد" ("Doomed to Re-Annotate, Forever"). والرؤية التي يطرحها المؤلفون أنفسهم تؤكد أنه لا يوجد أي جهد توسيمي بهذا الحجم يمكن أن يبلغ حالة نهائية خالية تماماً من الأخطاء؛ فـ ReImageNet يمثل نموذج إجابة أفضل، لكنه ليس مثالياً، ووفقاً لحجتهم نفسها، سيظل بحاجة إلى جولات إضافية كلما طفت على السطح حالات حدية تعريفية جديدة.

وهناك أيضاً قيد في النطاق يجدر التنويه به لقراء مدونة OCR على وجه التحديد: هذا معيار لتصنيف الصور الطبيعية. ولا يمس أي من إصلاحات ReImageNet دقة التعرف على النصوص، أو فهم المخطط الهيكلي (layout understanding)، أو استخراج الجداول، وهي الأمور التي تحتاج معايير OCR فعلياً إلى قياسها. وتنحصر الصلة هنا بالكامل في المنهجية وما تكشفه بشأن كيفية تقييم نماذج MLLMs في المهام البصرية عموماً، ولا تتعلق بتحسين مباشر لأي مجموعة بيانات مخصصة للتعرف الضوئي على الحروف.

وهناك ملاحظة عملية لأي شخص قد يغريه مجرد استبدال التسميات الجديدة بالأصلية: إعادة تقييم النماذج وفق ReImageNet تُغير ترتيب لوحة المتصدرين. فالنماذج التي كانت تُصنف سابقاً على أنها "الأفضل" بفارق أجزاء من النقطة قد يتغير ترتيبها بمجرد استخدام حقيقة أرضية مصححة وتراعي التسميات المتعددة. وإذا استشهدت بأرقام دقة ImageNet في ورقة بحثية أو منشور مدونة أو بطاقة نموذج (model card)، فمن الجدير أن تكون واضحاً وصريحاً من الآن فصاعداً بشأن مجموعة التسميات التي يستند إليها هذا الرقم؛ فعبارة "Top-1 على ImageNet" أصبحت تعني في صمت أمرين مختلفين تماماً منذ صدور هذه الورقة، والفارق بينهما ليس بالضآلة التي تسمح بتجاهله.

إن البيانات، وتعريفات الفئات، وإرشادات التوسيم، وكود التحليل كلها متاحة للعموم (ومرفقة بروابط داخل الورقة)، وهو الجانب الذي يجعل هذا العمل مفيداً عملياً وليس مجرد إحصائية طريفة للاستشهاد بها. وأصبح لدى أي شخص يبني الجيل القادم من معايير الرؤية الحاسوبية أو معايير المستندات الآن مثال ملموس لما يبدو عليه مسار التوسيم التكراري السليم الذي يجمع بين البشر والنماذج اللغوية الكبيرة (LLMs)، بكل ما فيه من عيوب ومزايا.