أخصائي التعرف الضوئي على الحروف الذي لم يتدرب أبدًا لهذا العمل

إليك النتيجة التي جعلتني أسترعي الانتباه: قام الباحثون ببناء نظام يختار أفضل نموذج للتعرف الضوئي على الحروف (OCR) لصفحة معينة من خط المانشو في القرن السابع عشر، وفي مرتين من كل ثلاث مرات، كان النموذج الذي اختاره النظام لم يتم تدريبه فعليًا على قراءة هذا النوع من الخط. لقد أصبح جيدًا في ذلك كنتيجة ثانوية للتدريب على شيء مختلف تمامًا، ولم يكن أحد يدرك ذلك حتى قاموا بالفحص.

هذا النوع من النتائج يبدو وكأنه تقرير عن خطأ برمجي حتى تقرأ الورقة البحثية (arXiv 2607.14041، من تشان تشين، جيكياو ما، وتشيه-ون كو) وتدرك أنها في الواقع طريقة ذكية للتعامل مع مشكلة تواجه فرق الـ OCR باستمرار: نقص البيانات الموسومة، ووثائق لا تبدو جميعها متشابهة.

لماذا تُعد لغة المانشو كابوساً لأنظمة التعرف الضوئي على الحروف (OCR)

تُعد لغة المانشو لغة محكمة أسرة تشينغ، وتُكتب من الأعلى إلى الأسفل باستخدام أبجدية عمودية مشتقة من الكتابة المغولية. إذا كنت تبني نظام OCR لهذه اللغة، فستواجه مشكلتين في آن واحد.

أولاً، إنها لغة ذات موارد محدودة. لا تتوفر كميات هائلة من النصوص المانشو المُعلَّمة كما هو الحال مع الإنجليزية أو الصينية. فقد كان لا بد من إنتاج كل نسخ على مستوى الحرف المستخدمة في التدريب أو التقييم بواسطة أشخاص قادرين فعلياً على قراءة المانشو، وهي شريحة صغيرة من الناس.

ثانياً، وهذا هو الجانب الذي يجعلها اختبار إجهاد جيد، تأتي وثائق المانشو بأنماط خطية مختلفة تماماً اعتماداً على من كتبها ولماذا. تتعامل الأعمال البحثية مع ثلاثة أنماط: الخط العادي (مُتقن، رسمي، وأقرب إلى الطباعة)، والخط الجاري (أسرع، وأكثر سلاسة، حيث تندمج الحروف مع بعضها البعض)، والخط شبه النسخي "chancery hand" المستخدم تحديداً في مذكرات القصر، وهي التقارير التي كان يرسلها مسؤولو تشينغ إلى الإمبراطور. قد يفشل نموذج مُدرَّب على قراءة أحد هذه الأنماط عند التعامل مع نمط آخر، تماماً كما قد يواجه شخص يقرأ الإنجليزية المطبوعة النظيفة صعوبة في فهم وصفة طبية مكتوبة بخط يد طبيب.

عند دمج هاتين المشكلتين معاً، تظهر التحدي الحقيقي: تحتاج إلى نظام يتعامل بشكل جيد مع ثلاثة أنماط كتابة مختلفة بصرياً، لكنك لا تملك أمثلة مُعلَّمة كافية لأي نمط فردي لتتمكن من حل المشكلة ببساطة عن طريق إضافة المزيد من البيانات.

الفكرة الأساسية: توقف عن تدريب نموذج واحد، وابدأ بالتوجيه إلى النموذج المناسب

الخطوة القياسية عندما لا تملك بيانات كافية لنموذج عام كبير هي الضبط الدقيق (Fine-tuning): خذ نموذجًا مُدرَّبًا مسبقًا واستمر في تحديثه على بياناتك المستهدفة، مع حفظ نقاط التفتيش (Checkpoints) على طول الطريق. عادةً ما ترمي جميع نقاط التفتيش الوسيطة وتحافظ على النقطة النهائية فقط.

تكمن رؤية هذه الورقة في أن نقاط التفتيش المرمية ليست نفايات. أثناء الضبط الدقيق التكراري، يمر النموذج بمراحل مختلفة، وفي مرحلة ما من هذه العملية قد يصبح جيدًا بشكل غير عادي في التعامل مع ميزة محددة في البيانات، حتى لو لم يكن ذلك هدف التدريب. يحتفظ المؤلفون بمجموعة من هذه النقاط ويعاملونها كمتخصصين في المجال.

ثم يقومون ببناء جهاز توجيه (Router) خفيف الوزن: وهو مصنف صور صغير ينظر إلى الصفحة ويتنبأ بأي من أنماط الكتابة الثلاثة التي يواجهها (عادي، متتابع، أو تذكاري كنسي)، ثم يرسل تلك الصفحة إلى النقطة في المجموعة التي تُعد خبيرة معروفة في ذلك النمط. إذا لم يكن لدى المجموعة متخصص جيد لمجال معين، يقومون بتدريب واحد وإضافته.

تشبيه مناسب هو فرز الحالات في المستشفى. لا تريد طبيبًا واحدًا يعالج كل المرضى. تريد ممرضة في المكتب الأمامي يمكنها النظرة السريعة للمريض ومعرفة أي متخصص في الممر يجب إرساله إليه. ما هو غير المعتاد هنا هو أن بعض هؤلاء "المختصين" لم يتم تدريبهم رسميًا في تخصصهم. لقد اكتسبوا المهارة كنتيجة ثانوية للتدريب على شيء آخر، واكتشف النظام ذلك من خلال اختبارهم، وليس من خلال سؤالهم عما كانوا من المفترض أن يكونوا جيدين فيه.

ما قاسوه، ولماذا تعتبر نسبة خطأ الأحرف (CER) هي الرقم الذي يهم

المقياس الرئيسي هنا هو نسبة خطأ الأحرف (CER): وهي النسبة المئوية للأحرف التي يخطئ فيها نظام التعرف الضوئي على الحروف (OCR) مقارنة بنسخة نصية تم التحقق منها يدوياً بواسطة بشري. كلما انخفض الرقم كان ذلك أفضل، وفي خطوط الأنابيب الناضجة للتعرف الضوئي على الحروف، غالباً ما يكمن الفرق بين نموذج جيد ونموذج متوسط في أقل من نقطة مئوية واحدة من نسبة خطأ الأحرف، وهو بالضبط النوع من الأمور التي من السهل تزويرها باستخدام مجموعة اختبار صغيرة أو مختارة بعناية. تستخدم هذه الورقة ثلاث مجموعات اختبار ثابتة، واحدة لكل أسلوب كتابة، بحيث تظل المقارنة متسقة.

نتائج النظام الموجه، حسب الأسلوب:

• الخط العادي: 0.30% نسبة خطأ أحرف
• مذكرات القصر (خط الدواوين): 1.57% نسبة خطأ أحرف
• الخط الجاري: 4.83% نسبة خطأ أحرف

تبرز نقطتان هنا. أولاً، تتطابق هذه الأرقام مع ما ستحصل عليه لو كنت تعرف بالفعل المجال الصحيح لكل صفحة على حدة وقمت بتوجيهها يدوياً إلى المتخصص الأفضل.换句话说، لا يفقد الموجه التلقائي دقته بسبب التخمين الخاطئ. إنه يؤدي وكأنه تم تسليمه مفتاح الإجابات.

ثانياً، الخط الجاري هو بوضوح الأصعب بين الثلاثة بفارق كبير، حيث تبلغ نسبة الخطأ فيه أكثر من 16 مرة من نسبة الخطأ في الخط العادي. وهذا يتوافق مع النمط العام للتعرف الضوئي على الحروف، حيث تكون أكبر التحديات دائماً تقريباً في أكثر أنواع الكتابة اليدوية فضفاضة وغير رسمية، وليس في الكتابة المرتبة.

الموجه نفسه، وهو المصنف الصغير الذي يقرر إلى أين تذهب كل صفحة، حقق دقة بنسبة 99.3% على مستوى الصفحة في تحديد أسلوب الكتابة الصحيح. هذا رقم قوي لمهمة تصنيف بصرية معقدة حقاً: التمييز بين ثلاثة أنواع من خط لا يستطيع معظم الناس الأحياء اليوم قراءته على الإطلاق، ناهيك عن التمييز بينها بنظرة خاطفة.

اكتشاف الخبراء بالصدفة، ولماذا هو العنوان الحقيقي

لنعد إلى التفصيل الذي افتتحنا به هذا المقال. تشير الورقة البحثية إلى أنه من بين المتخصصين الثلاثة الذين انتهى الأمر بموجه الطلبات (router) بالاعتماد عليهم، كان خبير "النصوص التشغيلية" (running-script) هو الوحيد الذي تم تدريبه في البداية كنقطة تفتيش (checkpoint) بهدف استهداف النصوص التشغيلية تحديداً. أما المتخصصان الآخران، اللذان يتعاملان مع النصوص العادية والوثائق الرسمية للقصر، فقد جاءا من نقاط تفتيش كانت نتاج عملية ضبط دقيق تكراري (iterative fine-tuning) تهدف إلى أغراض مختلفة.

هذا الأمر أكثر أهمية مما قد يبدو للوهلة الأولى. فهو يشير إلى أنه في البيئات محدودة الموارد، لا يمكن التنبؤ بشكل كامل بمدى كفاءة النموذج في مجال معين بناءً على ما خططت لتدريبه عليه. إن ديناميكيات التدريب تخلق آثاراً جانبية، وبعض هذه الآثار الجانبية هي متخصصون مفيدون لن تفكر أبداً في بنائهم عمداً. والتداعية العملية لذلك هي أنه إذا كنت تمتلك مجموعة من نقاط التفتيش الوسيطة من عمليات الضبط الدقيق السابقة، فإن التعامل معها على أنها مواد قابلة للتخلص منها قد يعني إضاعة متخصصين دفعت ثمن إنشائهم بالفعل.

كما يعيد هذا الإطار تعريف ما يقوم به "الموجه" (router) فعلياً. إنه لا يوجه حركة المرور فحسب، بل يجري نوعاً من المقابلات العمياء، حيث يسمح لتصنيف خفيف الوزن باكتشاف أي من أصولك الحالية جيد بشكل سري في وظيفة لم تُسند إليه، ثم يتصرف بناءً على هذا الاكتشاف بدلاً من الافتراضات حول ما كانت كل نقطة تفتيش "مصممة من أجله".

لماذا يهمك هذا الأمر إذا كنت تبني أو تشتري نظام OCR

إذا كنت تعالج المستندات عبر التعرف الضوئي على الحروف (OCR) بأي حجم حقيقي، فمن المرجح أنك تتعامل بالفعل مع نسخة من هذه المشكلة، albeit بدون الإطار الخاص بالمخطوطات التاريخية. فالمستندات المتعاقد عليها الممسوحة ضوئياً، والنماذج المكتوبة بخط اليد، والفواتير الباهتة، وملفات PDF ذات الجودة المختلطة، كلها مجالات بصرية مختلفة تتنافس على انتباه نموذج واحد، بنفس الطريقة التي تتنافس بها الخطوط العادية والخطوط الجارية وخطوط الأمانة هنا.

العبرة ليست في "الذهاب لتدريب متخصص في اللغة المانشو". بل إن نموذج OCR "الأفضل" الوحيد، وهو النوع الذي تختاره من لوحة المتصدرين، غالباً ما يكون الإطار الخاطئ. يمكن لنظام توجيه (router) يرسل أنواعاً مختلفة من المستندات إلى متخصصين مختلفين، كل منهم مُعد أو اكتُشف ببساطة ليكون قوياً في ذلك النوع، أن يتفوق على أي نموذج واحد يُستخدم بشكل شامل. هذه هي نفس المنطق وراء سبب تفوق الخدمة التي تحاول عدة محركات OCR لكل مستند وتحافظ على أفضل نتيجة، مقارنة بالرهان على محرك واحد في كل مرة.

كما أن هذا سبب لعدم الاستعجال في حذف نقاط التفتيش (checkpoints) القديمة للنماذج. إذا كنت قد قمت يوماً بضبط نموذج دقيق عبر عدة تكرارات واحتفظت فقط بالنسخة النهائية، فإن هذه الورقة تقدم حجة للاحتفاظ بالنسخة الوسيطة واختبارها بشكل دوري لمعرفة ما إذا كانت أي منها قد اتضح أنها رائعة بصمت في شيء لم تكن تخطط له. تكلفة تخزين نقطة تفتيش رخيصة. أما تكلفة إعادة تدريب متخصص كنت تملكه بالفعل ورميته فهي ليست كذلك. وتجدر الإشارة إلى أن تعقيدات النصوص العربية، مثل طبيعتها المتصلة واتجاهها من اليمين إلى اليسار وأشكال الحروف الحساسة للسياق، تجعل هذه التحديات الخاصة بـ OCR أكثر حدة وتتطلب عناية فائقة في اختيار النماذج المناسبة.

الحدود الصادقة لهذا النهج

هذا دراسة صغيرة ذات نطاق محدد بعناية، وليست وصفة عامة الغرض، ولا يبالغ البحث في تسويقها.

ثلاثة مجالات هي عدد قابل للإدارة لكي يميزها جهاز التوجيه (router). من غير الواضح كيف سيستمر هذا الأداء مع وجود عشرة أو عشرين نوعًا مستندًا بصريًا متميزًا، حيث قد يبدأ مصنف الصفحات الخفيف في ارتكاب المزيد من أخطاء التوجيه، وتصبح قرارات التوجيه الخاطئة أكثر تكلفة لأن هناك المزيد من الطرق للخطأ.

لا يزال النظام بحاجة إلى حل بديل: عندما لا يحتوي تجمع نقاط التفتيش (checkpoint pool) على متخصص معقول لمجال معين، يجب على شخص ما تدريب خبير جديد، مما يعني أن شخصًا ما لا يزال بحاجة إلى إنتاج بيانات مُعلَّمة لذلك المجال. يقلل هذا النهج من تكرار حاجتك إلى بيانات تدريب جديدة، لكنه لا يلغي الحاجة إليها.

يحدث التوجيه هنا على مستوى الصفحة، وليس سطرًا بسطر أو كلمة بكلمة. قد تخلط صفحة واحدة تجمع بين أسلوبين كتابيين (وهو أمر ليس نادرًا في الوثائق التاريخية الحقيقية، حيث قد يغير الكاتب يده في منتصف الصفحة) جهاز توجيه مبني حول تصنيف واحد لكل صفحة.

وهذا ينطبق تحديدًا على لغة المانشو: خط يتميز باختلافات هيكلية واضحة بين متغيراته الأسلوبية. قد يكون من الصعب جدًا على مصنف خفيف التمييز بين المجالات التي تتداخل مع بعضها البعض أكثر (على سبيل المثال، الخط اليدوي لعدة أشخاص ينتمون إلى نفس المدرسة العامة من الخط)، مما يقوض الفكرة الأساسية للتوجيه الواثق.

لا يمحو أي من ذلك النتيجة الأساسية. يوضح البحث طريقة ذكية حقًا لاستخلاص المزيد من القيمة من تجمع نقاط التفتيش الذي لديك بالفعل، وتذكير بأن "صنع نموذج واحد جيد جدًا" ليس دائمًا السؤال الصحيح. أحيانًا يكون السؤال الصحيح هو "أي من الأشياء التي بنيتها بالفعل هو الأفضل سرًا في هذا"، وبناء نظام للبحث فعليًا عن الإجابة.