معايير تقييم التعرف الضوئي على الحروف المصممة لجعل GPT-5 يفشل

خذ لقطة شاشة لإعلان احتيالي ربما تكون قد رأيته: رقم هاتف "خدمة العملاء" مكتوب بخط متموج وشبه شفاف، موضوع فوق صورة لشخص يبتسم، مع ألوان مختارة بحيث يندمج النص تقريبًا مع الخلفية. تقرأه في نصف ثانية دون جهد. لكن إذا قدمت نفس الصورة إلى GPT-4o وطلبت منه نسخ الرقم، فمن المرجح أن يخطئ أو لا يجد النص على الإطلاق.

هذا الفجوة، بين ما تفعله العين البشرية تلقائيًا وما لا تستطيع نماذج الرؤية المتطورة فعله بشكل موثوق، هي موضوع ورقة بحثية جديدة بعنوان ArmorOCR. قام الباحثون بإنشاء مجموعة معايير من الصور مصممة خصيصًا لتكون قابلة للقراءة بالنسبة للبشر وصعبة على النماذج، واختبروا مجموعة من النماذج المتعددة الوسائط الكبيرة الحالية (LMMs) ضدها، ووجدوا أرقامًا صعبة حقًا: سجل GPT-4o نسبة 23.2% في اختبار OCR المعادي الخاص بهم. أدى GPT-5 أداءً أفضل لكنه استقر عند 30%. حتى Gemini 2.5 Flash، الذي يتمتع بأداء جيد في OCR العام، حقق نسبة 32.3%. ثم قاموا بتدريب نموذج مخصص لهذا المشكلة وحققوا نسبة 55.7%， وهو أكثر من ضعف نتيجة GPT-4o، باستخدام نموذج أساسي أصغر بكثير من هذه الأنظمة المتقدمة.

ماذا تعني بالضبط OCR العدائية "المؤسّسة" (Grounded)

تختبر معظم معايير تقييم OCR عملية التعرف: إليك صورة، فماذا يقول النص؟ هذه المهمة صعبة بالفعل عندما يكون النص مُصمَّمًا بأسلوب فني أو متدهور الجودة، لكنها تمثل نصف العمل فقط. فقد يخمن النموذج الإجابة الصحيحة أحيانًا دون أن يعثر على النص فعليًا، بالاعتماد على السياق. فإذا كانت لافتة في صورة لمقهى من المفترض أن تقول شيئًا متعلقًا بالقهوة، فقد ينتج النموذج إجابة معقولة بينما يشير إلى بكسلات خاطئة تمامًا، أو لا يشير إلى أي بكسلات على الإطلاق.

يُشير البحث إلى هذه النقطة مباشرة: دقة الإجابة وحدها لا تثبت أن النموذج قادر فعليًا على تحديد موقع النص. لذا، فإنهم يحددون المهمة على أنها "إدراك OCR المؤسّس" (Grounded OCR perception)، مما يعني أن على النموذج القيام بشيئين معًا: العثور على المنطقة التي يوجد فيها النص (التحديد المكاني، وعادةً ما يكون صندوق محيط) وقراءة ما بداخلها (التعرف). إذا كان الصندوق خاطئًا، فلا يهم إذا كانت الكلمة المُخمَّنة صحيحة بالصدفة. هذه هي النسخة الأصعب والأكثر صدقًا من المهمة، وهي المهمة التي تهم التطبيقات الحقيقية مثل حذف الحقول الحساسة من نموذج ممسوح ضوئيًا، أو تحديد موقع قطعة نصية مُحرَّرة في صورة.

كلمة "عدائية" (Adversarial) هنا لا تعني أن شخصًا ما يشغّل خوارزمية هجوم رسمية ضد أوزان النموذج. بل تعني أن النص نفسه عدائي بصريًا: مشوّه، مخبأ في خلفية مزدحمة، مرسوم بنقاط بدلاً من خطوط، أو مدمج في صورة مولّدة بالذكاء الاصطناعي بسلاسة بحيث يكاد لا يوجد فرق بين "النص" و"الصورة".

داخل AdvSpot: 390 صورة صُممت لإرباك النموذج

المعيار، المسمى AdvSpot، صغير بمعايير مجموعات البيانات الحديثة: 390 صورة. لكن كل واحدة منها مُعلَّمة على مستوى المنطقة، وقد تم اختيار كل منها لتمثيل واحدة من 13 طريقة محددة يمكن للنص من خلالها التهرب من انتباه النموذج، مجمعة في 5 فئات.

التلاعب المكاني يغطي النص الذي تم تحريفه جسدياً: تدويره بزوايا غريبة، أو قلبه، أو تصغيره ليصبح بضع وحدات بكسل فقط. هذا النوع من الأشياء نادراً ما يلاحظه الشخص عند قراءة لافتة شارع مائلة، لكنه يربك النماذج المدربة بشكل أساسي على كتل نصية أفقية من اليسار إلى اليمين.

يتعلق تنوع الرموز (Glyph variation) بأشكال الحروف نفسها. الرموز المُنمَّقة تقطع أو تحجب أو تقص strokes، فكر في شعار حيث تكون نصف الحرف مخبأً وراء شكل آخر لكن عقلك يملأ الفراغ على أي حال. النص المكتوب بخط اليد، بتباعداته غير المنتظمة وخصائصه الشخصية، ينتمي إلى هذه الفئة أيضاً.

تدهور الصورة هو الأمور اليومية: ضبابية الحركة، وهج كاميرا الهاتف، حبيبات الفيلم، صورة مُفرطة التعريض، أو تشوهات الضغط الناتجة عن أخذ لقطة شاشة وإعادة مشاركتها عشرات المرات. لا شيء غريب هنا، مجرد واقع الصور التي لم تُلتقط في استوديو.

الاندماج السياقي هو حيث تصبح الأمور مثيرة للاهتمام حقاً. يتضمن ذلك النص منخفض التباين (نفس عائلة لون الخلفية، لذا فهو مرئي تقنياً لكنه متخفٍ بصرياً)، وطبقات الأنماط (نقاط أو خطوط مرسومة فوق النص مثل علامة مائية)، وما يسميه المؤلفون بنص الاندماج AIGC، وهو النص المدمج مباشرة في صورة مولَّدة بالذكاء الاصطناعي بحيث يبدو كجزء طبيعي من المشهد بدلاً من تعليق مُلصق فوقه. اتضح أن هذه الفئة الأخيرة هي الأصعب في المعيار بأكمله. قبل التدريب، سجلت معظم النماذج درجات قريبة من الصفر فيها.

التشفير البصري هو المجموعة الأكثر تجريدية: أحرف ممثلة من خلال ترتيب الرموز، أو كثافة النقاط، أو اتجاه الخطوط بدلاً من السكتات التقليدية. هذا أقرب إلى لغز منه إلى القراءة، وهو الفئة الأخرى حيث انهارت نماذج الأساس بشكل كامل.

كيف دربوا النموذج فعلياً ليصبح أفضل في هذا الأمر

تمر عملية تدريب ArmorOCR بمرحلتين، ومن الجدير استعراض المنطق وراء كل مرحلة، لأن المرحلة الأولى على وجه الخصوص تمثل حيلة ذكية للتغلب على مشكلة تظهر باستمرار في تعلم الآلة: لا يمكنك إنتاج بيانات مرجعية (ground-truth) بسهولة أو بتكلفة منخفضة للنسخة الصعبة من المهمة، لكن قد تكون لديك بالفعل إشارات من نسخة أسهل منها.

تُسمى المرحلة الأولى "التقطير الذاتي وفق السياسة الحالية" (On-Policy Self-Distillation). إليك الفكرة: لكل صورة تدريبية معادية، يقوم الباحثون أيضاً بإنشاء عدة نسخ محوّلة منها، إما بتغيير الحجم، أو التدوير، أو القلب، أو تنظيفها بطرق أخرى، ثم يقوم نموذج قاضي منفصل باختيار النسخة المحوّلة الأسهل للقراءة بشكل صحيح. تصبح هذه النسخة الأسهل نوعاً من التلميحات المميزة. أثناء التدريب، لا يرى نموذج الطالب إلا الصورة الأصلية الصعبة وعليه إنتاج إجابته بنفسه بناءً على سياسته الحالية (وهذا هو جزء "السياسة الحالية": إنه يصحح نفسه، وليس نسخة ثابتة من وقت سابق في التدريب). ثم يقوم عملية معلم بمقارنة إجابة الطالب بما يمكن استنتاجه من النسخة المحوّلة الأسهل بالإضافة إلى النص المرجعي الحقيقي، ويدفع احتمالات النموذج الداخلية نحو الإجابة الأفضل. يستخدم هذا الدفع نوعين مختلفين من العقوبات اعتماداً على جزء المخرجات الذي يتم تصحيحه: نوع أخف لخطوات التفكير في النموذج، ونوع أقسى للنص المتوقع فعلياً. وببساطة، يتم تعليم النموذج قراءة صورة مشوهة من خلال مقارنة ما يقوله بما كان ينبغي أن يقوله لو رأى نسخة أقل تشوهاً قليلاً من نفس الصورة.

المرحلة الثانية هي التعلم المعزز عبر "التحسين النسبي للسياسة ضمن المجموعة" (Group Relative Policy Optimization) أو GRPO، وهي تقنية أصبحت شائعة لضبط نماذج اللغة ونماذج اللغة-الرؤية لأنها لا تحتاج إلى نموذج مكافأة منفصل، بل تقارن مجموعة من المخرجات التي عينها النموذج نفسه ضد بعضها البعض وتعزز تلك التي حققت أعلى الدرجات. يطبق ArmorOCR هذا باستخدام أربع إشارات مكافأة مميزة مضبوطة لأربع مهام فرعية: مدى تداخل الصناديق المتوقعة مع الصناديق المرجعية الحقيقية (للتحديد المكاني النقي)، مدى قرب النص المتوقع من السلسلة الصحيحة باستخدام مسافة التعديل (للتعرف النقي)، درجة موحدة لأداء كلا الأمرين في وقت واحد (الاستكشاف الكامل)، وفحص صحة بسيط للإجابة على الأسئلة البصرية حول النص. إن التدريب بهذه الطريقة، بدلاً من تحسين مقياس واحد مدمج، يجبر النموذج على أن يصبح جيداً فعلياً في التحديد المكاني والتعرف كمهارات منفصلة بدلاً من العثور على اختصار يرضي فقط درجة مدمجة واحدة.

تم تشغيل كل هذا فوق نموذج Qwen3-VL-8B-Instruct، وهو نموذج مفتوح المصدر متوسط الحجم، باستخدام حوالي 50,000 مثال تدريب اصطناعي في المرحلة الأولى و70,000 حالة أكثر صعوبة في المرحلة الثانية.

الأرقام، وأين تظهر المكاسب فعلياً

النتيجة الرئيسية هي القفزة من 23.2% في نموذج GPT-4o إلى 55.7% في نموذج ArmorOCR في مهمة VQA الخاصة بـ AdvSpot، ونمط مماثل في مهمة التحديد المكاني (localization)، حيث حقق ArmorOCR نسبة IoU قدرها 63.3% (وهي مقياس قياسي لتداخل المربعات المحيطة بالنص) مقابل 47.5% لأفضل نموذج أساسي، وهو Qwen3-VL-235B، وهو نموذج أكبر بحوالي 30 مرة.

المكاسب ليست موزعة بالتساوي، وهو الأمر الأكثر فائدة لمعرفة ما إذا كان هذا الأداء قابلًا للتعميم. في فئة النصوص المدمجة في الخلفيات المولدة بالذكاء الاصطناعي (AIGC fusion text)، تفوق ArmorOCR على أقوى نموذج منافس بنسبة 65%. هذه الفئة هي التي أشارت إليها تحليلات الأخطاء في الورقة البحثية نفسها على أنها شبه مستحيلة الحل مسبقاً، لذا فإن القفزة الكبيرة فيها تُعد دليلاً معنوياً على أن نهج التدريب ثنائي المراحل يؤدي عملاً حقيقياً بدلاً من مجرد حفظ خصائص محددة لمجموعة الاختبار. وظلت الترميزات القائمة على الرموز وأنماط النقاط هي الأصعب حتى بعد التدريب، حيث كانت الورقة صريحة في أن هذه الفئات تظل "صعبة للغاية".

في مجموعات اختبارات OCR المعادية الأخرى التي لم يصممها الباحثون أنفسهم، مثل AdvOCR وSmuggleBench، تفوق ArmorOCR على الأساليب المتخصصة السابقة ولكن بفوارج أصغر بكثير (56.0% مقابل 55.0%، و17.1% مقابل 16.4%). يستحق هذا الأمر التأمل: تظهر أكبر المكاسب في مجموعة الاختبار التي بناها المؤلفون ووجّهوا بيانات تدريبهم نحوها، وتنكمش في مجموعات الاختبار التي بناها آخرون. هذا ليس علامة حمراء بحد ذاته، فمعظم التدريبات المتخصصة تحقق أفضل أداء في مجالها الخاص، لكنه سبب كافٍ لمعالجة الرقم الرئيسي البالغ 55.7% كسقف لهذا النوع المحدد من النصوص المعادية وليس كدرجة عالمية لأداء OCR ضد النصوص المعادية.

الرقم الآخر المهم هو ما لم يتغير: أداء OCR العام في مجموعات الاختبار القياسية مثل OCRBench ظل مستقراً تقريباً، دون إضافة أي بيانات تدريب عامة إضافية. تخصص النموذج لمشكلة ضيقة وصعبة دون الإضرار بأدائه اليومي هو النتيجة الأقل إبهاراً ولكن الأهم بلا شك هنا. الكثير من أعمال الضبط الدقيق (fine-tuning) يتنازل عن الكفاءة العامة مقابل ارتفاع حاد في مجموعة اختبار واحدة، وهذا العمل لم يفعل ذلك.

لماذا يهم ذلك أي شخص يبني أو يختار نظام قراءة ضوئية للنصوص (OCR)

إذا كنت تختار محركاً لقراءة النصوص (OCR) أو نموذج لغوي متعدد الوسائط (LMM) للتعامل مع خطوط معالجة المستندات، أو فواتير الشراء، أو التحقق من الهوية، أو مراجعة المحتوى، فإن هذه الورقة البحثية تمثل واقعاً مفيداً يكشف عن نقطة عمى لا تغطيها معظم معايير التقييم. تختبر لوحات المتصدرين القياسية لـ OCR في الغالب المستندات النظيفة والصور الطبيعية الملتقطة بجودة معقولة. ولا يخبرك أي من ذلك بما يحدث عندما يقوم المستخدم برفع صورة هاتف مليئة بالوهج لفاتورة شراء، أو لقطة شاشة تحتوي على علامة مائية شبه شفافة فوق الأرقام، أو صورة مولّدة بالذكاء الاصطناعي حيث اندمج رقم الهاتف مع خلفية الشاشة. لم تعد هذه حالات هامشية. فالوهج والضبابية يحدثان في كل رفع عبر الهاتف المحمول. وتظهر النصوص المائية والمدمجة بالذكاء الاصطناعي باستمرار في محتوى الاحتيال، والمستندات المزيفة، ومحاولات التهرب من المراجعة، وهو بالضبط النوع الذي تحتاج خطوط المراجعة الخاصة بالثقة والأمان إلى اكتشافه.

ومن الجدير بالذكر أن طبيعة الكتابة العربية، مع خطها المتصل واتجاهها من اليمين إلى اليسار، والأشكال الحرفية الحساسة للسياق، والروابط الاختيارية، تجعل مهمة التعرف الضوئي على النصوص أصعب بكثير.

الخلاصة العملية ليست "التحول إلى ArmorOCR"، لأنه نقطة بحثية مبنية على نموذج مفتوح المصدر بملياري معلمة، وليس واجهة برمجة تطبيقات (API) جاهزة للإنتاج. بل إن حجم النموذج وترتيبه العام في معايير تقييم OCR هو مؤشر ضعيف لكيفية تعامل النظام مع المدخلات المعادية حقاً. فقد تغلب نموذج أصغر حجماً، تم تدريبه خصيصاً للتثبيت المكاني (grounding) والمتانة ضد الهجمات المعادية، على نماذج أكبر منه بكثير في هذه المهمة. إذا كان استخدامك يتعلق بكشف الاحتيال، أو مراجعة المحتوى، أو أي خط معالجة يكون فيه لدى شخص ما حافز لجعل النص صعب القراءة على الآلة، فإن درجات OCR العامة لن تخبرك بما تحتاج إلى معرفته. ستحتاج إلى الاختبار مقابل شيء أقرب إلى فئات AdvSpot: النصوص المشوهة والمدارة، والطلاءات منخفضة التباين، والوهج، والنصوص المدمجة في الصور المولّدة، قبل أن تثق بأرقام النموذج في معيار نظيف.

ما الذي لا يزال غير مستقر هنا

منحة مكونة من 390 صورة صغيرة بما يكفي بحيث يمكن لعدد قليل من الأمثلة غير المعتادة أن تؤثر بشكل كبير على درجات الفئة، ولا يقدم الورقة تباينًا عبر عدة تجارب، لذا تعامل الأرقام الفردية للفئات كاتجاهية وليس دقيقة. بيانات التدريب والتقييم مُصنَّعة بدلاً من استخراجها من محتوى احتيالي أو غش واقعي، وهو أمر معقول لبناء منحة مضبوطة، لكنه يعني أن النص العدائي الحقيقي في العالم الخارجي، الذي أنشأه أشخاص يحاولون بنشاط التهرب من نموذج معين، قد يبدو مختلفًا عما يلتقطه AdvSpot. والفئات التي لا تزال ArmorOCR تواجه صعوبة فيها، مثل ترميز الرموز ونمط النقاط، هي بلا شك الأكثر عدائية عمدًا في المجموعة، أقرب إلى شفرة بصرية منها إلى نص طبيعي مشوَّه. حل 80% الأسهل من مشاكل OCR العدائية بينما يبقى 20% الأصعب قريبًا من الصفر هو تقدم حقيقي، لكنه ليس بنفس قوة حل مشكلة OCR العدائية بالكامل.

ومع ذلك، فإن المساهمة الأساسية تبقى قوية: منحة تقيس فعليًا ما إذا كان النموذج قادرًا على العثور على نص صعب القراءة، وليس مجرد التخمين عليه، ووصفة تدريب تغلق الفجوة بشكل ملحوظ دون الإضرار بالأداء اليومي. هذا المزيج، تقييم أكثر صعوبة مع إصلاح لا يكلفك شيئًا في أماكن أخرى، نادر في هذا المجال أكثر مما ينبغي.