نماذج صغيرة وبيانات مهيكلة: هل يمكن لنماذج الرؤية واللغة (VLMs) الخفيفة استبدال واجهات السحاب البرمجية لاستخراج المستندات المعقدة؟

عندما تقدم فاتورة رقمية واضحة لنموذج متعدد الوسائط، قد تبدو عملية استخراج أزواج المفتاح والقيمة (key-value pairs) أمراً يسيراً. ولكن جرّب أن تقدم للنموذج نفسه سجلاً أثرياً ألمانياً تاريخياً كُتب بخط يدوي متشابك، أو مسحاً معمارياً يجمع بين التسميات المطبوعة والمدخلات اليدوية وخانات الاختيار الفنية؛ هنا ستدرك أن قراءة الكلمات ليست سوى جزء يسير من المهمة.

تعتمد المقاربات التقليدية على مراحل متعددة: ثنائية الصورة (image binarization)، وتجزئة التخطيط (layout segmentation)، ومحركات التعرف الضوئي على الحروف (OCR) الخارجية مثل Tesseract، وصولاً إلى نماذج استخراج المعلومات الرئيسية (KIE) مثل LayoutLM. ومن جانب آخر، توفر نماذج الرؤية واللغة (VLMs) التجارية الضخمة مساراً بديلاً، لكنها تأتي مصحوبة بقيود نشر واستخدام خاصة بها.

بالنسبة لمؤسسات قطاع GLAM (المعارض، والمكتبات، والأرشيفات، والمتاحف)، يمكن لواجهات البرمجة السحابية (cloud APIs) أن تفرض عوائق جوهرية؛ إذ إن إرسال السجلات الأرشيفية إلى مزودي الخدمات التجاريين يثير مخاوف تتعلق بسيادة البيانات واستقلاليتها، ويفرض تكاليف تشغيلية متكررة، كما يثير تساؤلات حول البصمة البيئية للحوسبة واسعة النطاق. هذه المخاوف هي الدافع وراء البحث عن بدائل محلية، وليست قياسات للتكلفة أو استهلاك الطاقة مستخلصة من هذه الدراسة.

تناول فريق بحثي من Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) عنق الزجاجة هذا في ورقتهم البحثية بعنوان: From Pixels to Structure: Lightweight Vision-Language Models for Document OCR and Structured JSON Extraction (إعداد Uddipan Basu Bir وVincent Christlein وAndreas Maier وMathias Zinnen، بتاريخ 8 أكتوبر 2026، arXiv:2610.11818). وقد طرح الباحثون تساؤلاً هندسياً مباشراً: هل تستطيع نماذج الرؤية واللغة (VLMs) الخفيفة ذات 7 مليارات معامل أو أقل نسخ المستندات التاريخية وتوليد مخرجات JSON مقيدة بمخطط بنيوي محدد تلائم المعالجة الخاضعة لرقابة المؤسسة داخلياً؟

قيّم الباحثون ثمانية نماذج عبر ثلاث مجموعات أرشيفية ألمانية متخصصة. وخلال هذه العملية، توصلوا إلى رؤى عملية تتحدى النصائح التقليدية السائدة في معالجة المستندات، لا سيما ما يتعلق بأمثلة التوجيه (prompt demonstrations)، وفلاتر الصور الكلاسيكية، وتدريب نقطة فحص (checkpoint) موحدة عبر مجموعات بيانات متعددة.

ثلاث مجموعات وثلاثة كوابيس: الخط اليدوي المتشابك، وبطاقات الفهارس، والسلالم المتداخلة

يتطلب تقييم استخراج المستندات المهيكلة اختبار النماذج في مواجهة تحديات أرشيفية واقعية. ولتحقيق ذلك، جمع المؤلفون معياراً تقييمياً يضم 1,062 مستنداً عبر ثلاث مجموعات متميزة، مع تقسيمها بنسب تقريبية: 70% للتدريب، و15% للتحقق، و15% للاختبار:

+------------------------+-------+-------+-----+------+-------------------+--------------------------------+
| Dataset                | Total | Train | Val | Test | Text Type         | Schema Complexity              |
+------------------------+-------+-------+-----+------+-------------------+--------------------------------+
| Erlangen-Prehistoric    |   308 |   216 |  46 |   46 | Handwritten       | Medium (8 top-level fields)    |
| Pforzheim Jewelry       |   590 |   413 |  88 |   89 | Mostly printed    | Medium (17 flat fields)        |
| Regensburg Scalalogy    |   164 |   114 |  25 |   25 | Mixed (print/pen) | High (deeply nested, booleans)  |
| Total                  | 1,062 |   743 | 159 |  160 | —                 | —                              |
+------------------------+-------+-------+-----+------+-------------------+--------------------------------+

تمثل كل مجموعة عقبة هيكلية فريدة:

1. مجموعة Erlangen-Prehistoric: مأخوذة من سجل الجرد التابع لجامعة FAU بعنوان Inventarbuch der Anthropologisch Prähistorischen Sammlung. تضم هذه المجموعة 308 صفحات تجمع بين الكتابة اليدوية التاريخية والترويسات أو التسميات المطبوعة. ويحتوي مخطط JSON المستهدف على ثمانية حقول من المستوى الأعلى، بما في ذلك معرّف الصورة وأبعاد القطعة الأثرية (Maße) المتفرعة إلى L وB وD. وتشمل الحقول الأخرى موقع الاكتشاف (Fundort)، وتاريخ العثور عليها (Fundzeit)، والملاحظات الوصفية (Beschreibungstext). تم توليد نصوص الحقيقة الأرضية (ground-truth) باستخدام Gemini والتحقق منها يدوياً قبل نشرها على Zenodo.
2. مجموعة Pforzheim Jewelry: مستمدة من مشروع البحث KUPFER في جامعة HS Pforzheim، وتضم 590 بطاقة جرد تاريخية تصف مجوهرات تم اقتناؤها بين عامي 1879 و1970. تم استخراج هذه البطاقات من سجلات تاريخية عندما نُقلت المقتنيات كإعارة دائمة إلى متحف بفورتسهايم للمجوهرات قرابة عام 1980. والمستندات مطبوعة في معظمها، ولكنها تتطلب استخراج بيانات موزعة على مخطط كثيف يضم 17 حقلاً يغطي المادة، والوزن، وسعر الشراء، والقيمة التأمينية (Vers.-Wert).
3. مجموعة Regensburg Scalalogy: تمثل اختبار الإجهاد الهيكلي الأقصى. تم استمدادها من معهد فريدريش ميلكه لعلم السلالم (FMIS) في جامعة OTH Regensburg، وتضم 164 استمارة مسح توثق هندسة السلالم المعمارية باستخدام مصطلحات تخصصية. يتميز مخطط JSON المستهدف بتداخل هرمي عميق، ويحتوي على مؤشرات منطقية (boolean flags) للسمات الإنشائية، بما في ذلك فئات التجويف الداخلي والخارجي (GEHÄUSE)، واتجاه الدوران (LAUF)، وموضع الدرابزين (HANDLAUF)، إلى جانب قياسات رقمية صحيحة وتعداد درجات السلم (STUFEN).

وفي حال كان الحقل الأرشيفي غير مقروء أو مفقوداً، اشترطت المهمة تعيين الحقول النصية كسلاسل فارغة ("") والحقول المنطقية كقيمة false. ولكل مجموعة مخطط مستهدف ثابت، مما يعني أن النجاح لا يقتصر على التعرف على المحتوى فحسب، بل يتطلب أيضاً وضعه في الحقول المناسبة له.

مواجهة النماذج الثمانية والتباين في أساليب التوجيه (Prompting)

قيّم الباحثون ثمانية نماذج، وُصفت في الورقة بأنها نماذج VLMs مفتوحة المصدر، تراوحت أحجامها بين 200 مليون و7 مليارات معامل:

• Donut-Base (200M) وDonut-CORD (200M): نموذجان يعملان ببنية المشفّر-مفكك التشفير (encoder-decoder) دون الحاجة لمحرك OCR.
• Florence-2-Large (0.77B): نموذج موحد للرؤية واللغة.
• PaddleOCR-VL (0.9B): نموذج رؤية ولغة متخصص في الـ OCR.
• Nanonets-OCR-s (4B): نموذج VLM متخصص في الـ OCR.
• Gemma-3-4B (4B): نموذج VLM مضبوط بالتعليمات (instruction-tuned).
• Phi-3.5-Vision (4.2B): نموذج VLM مضبوط بالتعليمات.
• Qwen2.5-VL-7B (7B): نموذج VLM مضبوط بالتعليمات.

من الإسهامات الجوهرية لهذه الدراسة اعتمادها على بروتوكول تقييم يراعي القيود (constraint-aware evaluation protocol)؛ إذ إن مقارنة نماذج VLM المتنوعة تنطوي على تعقيد نظراً لاختلاف واجهات الاستخدام المدعومة في كل منها.

بموجب بروتوكول الدراسة، استُخدمت مع نماذج Donut وFlorence-2-Large وPaddleOCR-VL مطالبات ثابتة بنمط OCR أو رموز خاصة بالمهام، مثل <OCR> أو <s_cord-v2>. ولم تُمنح هذه النماذج تعليمات حوارية عامة أو أمثلة توجيهية سياقية (few-shot). واقتصر الباحثون على تطبيق حد أدنى من المعالجة اللاحقة — تمثل في إزالة الأغلفة والبوادئ الحوارية والمسافات البيضاء وفواصل الكود البرمجي — قبل محاولة معالجة كود JSON واستخراجه.

في المقابل، خضعت نماذج Gemma-3-4B وPhi-3.5-Vision وQwen2.5-VL-7B وNanonets-OCR-s للتقييم باستخدام مطالبات مخصصة باللغة الطبيعية. وفي التقييم الصفري (zero-shot)، تضمنت تلك المطالبات الهيكل العام لمخطط JSON المستهدف مع طلب توليد المخرجات وفقاً لذلك المخطط.

ويكتسب هذا التمييز أهمية خاصة عند تفسير النتائج؛ فالمعيار التقييمي يقيس أداء الانتقال من OCR إلى JSON عبر الواجهات المتبعة في الدراسة، بدلاً من تزويد كل نموذج بمطالبة موحدة تتضمن المخطط نفسه.

لماذا قد تعجز مقاييس OCR القياسية عن رصد إخفاقات بنيات JSON؟

يتطلب تقييم الذكاء الاصطناعي للمستندات المهيكلة قياس دقة المخرجات وموثوقيتها البنيوية معاً؛ فالنص المقروء بوضوح يظل غير صالح للإدراج الآلي المباشر إذا أنتج النموذج كود JSON معطوباً أو أسند القيم إلى حقول غير صحيحة.

تتبع الباحثون ثلاثة مقاييس متكاملة:

• معدل خطأ الحروف (Character Error Rate - CER): يقيس أخطاء التعديل على مستوى الحروف مقارنة بسلسلة JSON المرجعية القياسية (canonical ground-truth)، مع معايرتها بالنسبة لطول المرجع؛ والقيمة الأقل تعني أداءً أفضل. يتم تسلسل التنبؤات المحللة في التنسيق القياسي نفسه قبل المقارنة، وإذا تعذرت المعالجة البنيوية، يُقارن الناتج الخام بالمرجع القياسي. يقيس هذا المقياس دقة نص JSON شاملاً بنيته، بدلاً من دقة النسخ وحدها.
• تشابه ليفنشتاين المعياري التقريبي (*Approximate Normalized Levenshtein Similarity - ANLS): مقياس تشابه هيكلي يستخدم عتبة $\tau = 0.5$؛ حيث تُصفّر قيم التشابه التي تقل عن هذه العتبة. وإذا تمت معالجة المخرجات كـ JSON صالح، فإنه يقيّم الكائنات المتداخلة؛ أما إذا أخفقت المعالجة، فيرجع المقياس تلقائياً إلى قياس التشابه النصي بالنسبة لسلسلة JSON المرجعية القياسية.
• متوسط الدقة المتوسطة F1 (مقياس mAP-F1): المقياس الهيكلي المحوري في الدراسة. استُلهم من بروتوكولات تقييم كشف الكائنات ومقياس mAPCER الخاص بنموذج DAN؛ حيث يقوم بتسطيح التنبؤات والحقيقة الأرضية إلى مفاتيح فرعية مفصولة بنقاط، مثل GEHÄUSE.innen.1. وتُحسب درجات التطابق لكل حقل ($1 - \text{CER}$) عند أربع عتبات: $\theta \in {0.3, 0.5, 0.7, 0.8}$. ثم يُحسب المتوسط الكلي (macro-average) للدقة (precision) والاسترجاع (recall) عبر الحقول لحساب درجة F1 عند كل عتبة، ليكون mAP-F1 هو المتوسط الحسابي عبر العتبات الأربع مجتمعة.

والنقطة الحاسمة هنا هي أنه إذا تعذرت معالجة المخرجات إلى قاموس بايثون عبر json.loads، تُحتسب درجة mAP-F1 بقيمة 0.0% مباشرة. في حين يظل بإمكان مقياسي CER وANLS* منح درجات جزئية عبر مقارنات النصوص الخام.

كما تتبع المؤلفون صلاحية تنسيق JSON بشكل منفصل؛ حيث حافظت نماذج Gemma-3 وPhi-3.5-Vision وQwen2.5-VL على نسبة صلاحية قاربت 95%–100% عبر مختلف المجموعات والإعدادات، رغم أن الجداول الرئيسية لا تدرج تلك النسب. ومع ذلك، فإن نجاح التحليل البنيوي بمفرده لا يثبت صحة كل حقل أو قيمة.

في المقابل، سجلت نماذج Donut وFlorence-2 وPaddleOCR-VL نسب صلاحية أدنى بكثير لـ JSON؛ حيث حققت جميعها 0.0% في mAP-F1 في التقييم الصفري، حتى عندما أظهر CER أو ANLS* أن مخرجاتها احتفظت ببعض المحتوى المرجعي.

التعلم الصفري، وقليل الأمثلة، ومصيدة التوجيه السياقي (In-Context Prompting)

في الإعداد الصفري (zero-shot)، قادت النماذج المرنة مع التوجيه نتائج الاستخراج المهيكل. وحقق Qwen2.5-VL-7B أعلى درجات ANLS* وmAP-F1 في المجموعات الثلاث بأكملها. وفي مجموعة Pforzheim Jewelry، سجل 2.6% CER، و96.0% ANLS*، و96.3% mAP-F1، على الرغم من أن Nanonets-OCR-s حقق معدل CER أدنى بلغ 1.9%. أما في سجلات Erlangen-Prehistoric المكتوبة بخط اليد، فقد حقق Qwen معدل CER قدره 21.4% ودرجة mAP-F1 بلغت 56.2%.

جميع قيم المقاييس في جداول النتائج أدناه هي نسب مئوية.

+------------------+--------------------------+--------------------------+--------------------------+
|                  |   Erlangen-Prehistoric   |     Pforzheim Jewelry    |   Regensburg Scalalogy   |
| Zero-Shot Model  |  CER↓   ANLS*↑   mAP-F1↑ |  CER↓   ANLS*↑   mAP-F1↑ |  CER↓   ANLS*↑   mAP-F1↑ |
+------------------+--------------------------+--------------------------+--------------------------+
| Donut-Base       |  93.4      0.0      0.0  |  97.2      0.0      0.0  |  90.1      0.0      0.0  |
| Donut-CORD       |  78.8      0.0      0.0  |  91.9      0.0      0.0  |  93.1      0.0      0.0  |
| Florence-2-Large |  45.6     50.4      0.0  |  33.6     66.4      0.0  |  75.6      0.0      0.0  |
| Nanonets-OCR-s   |  25.7     49.4     28.5  |   1.9     86.5     86.5  |  39.3     22.8     15.2  |
| PaddleOCR-VL     |  69.2     20.1      0.0  |  51.3     57.0      0.0  |  78.1      0.0      0.0  |
| Gemma-3-4B       |  33.6     41.8     34.6  |   4.4     92.1     87.4  |  37.6     26.3     22.5  |
| Phi-3.5-Vision   |  50.9     28.1     23.4  |   7.3     85.3     67.9  |  28.7     57.1     27.9  |
| Qwen2.5-VL-7B    |  21.4     54.0     56.2  |   2.6     96.0     96.3  |  21.3     67.0     33.3  |
+------------------+--------------------------+--------------------------+--------------------------+

عندما اختبر الباحثون التعلم السياقي قليل الأمثلة (few-shot in-context learning)، زودوا النماذج بأمثلة توضيحية مكونة من (صورة–JSON) مأخوذة من مجموعة التدريب: مثالاً واحداً لمجموعة Pforzheim Jewelry، ومثالين لكل من Erlangen-Prehistoric وRegensburg Scalalogy. واقتصر الاختبار على النماذج الأربعة المرنة مع التوجيهات.

وجاءت النتيجة كتحذير عملي: التوجيه قليل الأمثلة لم يؤدِّ إلى تحسين استخراج المستندات المعقدة بصورة متسقة.

+------------------+--------------------------+--------------------------+--------------------------+
| Few-Shot Model   |   Erlangen-Prehistoric   |     Pforzheim Jewelry    |   Regensburg Scalalogy   |
| (1-2 Examples)   |  CER↓   ANLS*↑   mAP-F1↑ |  CER↓   ANLS*↑   mAP-F1↑ |  CER↓   ANLS*↑   mAP-F1↑ |
+------------------+--------------------------+--------------------------+--------------------------+
| Nanonets-OCR-s   |  61.9     53.3     44.7  |   1.7     93.1     90.7  |  33.3     44.5     44.9  |
| Gemma-3-4B       |  26.8     61.7     53.6  |   2.0     97.3     92.1  |  34.9     33.8     20.2  |
| Phi-3.5-Vision   |  59.3     40.7     38.9  |   7.2     85.9     71.1  |  52.7     27.5     23.1  |
| Qwen2.5-VL-7B    |  18.9     79.0     74.7  |   0.9     98.9     99.4  |  24.1     55.6     30.7  |
+------------------+--------------------------+--------------------------+--------------------------+

أفاد التوجيه قليل الأمثلة النماذج الأربعة كافة في مجموعة Pforzheim Jewelry عبر جميع المقاييس المقاسة؛ حيث انخفض CER لنموذج Qwen2.5-VL من 2.6% إلى 0.9%، وارتفع mAP-F1 إلى 99.4%. أما في المواضع الأخرى، فكانت الصورة متباينة:

• ارتفع CER لنموذج Nanonets-OCR-s في خط يد Erlangen-Prehistoric من 25.7% إلى 61.9%، بالرغم من تحسن ANLS* وmAP-F1.
• تراجع mAP-F1 لنموذج Gemma-3-4B في Regensburg Scalalogy من 22.5% إلى 20.2%، بالرغم من التحسن في CER وANLS*.
• ساء معدل CER لنموذج Phi-3.5-Vision في Scalalogy من 28.7% إلى 52.7%، وتزامن ذلك مع تراجع في المقياسين الآخرين.
• تحسنت نتائج Qwen وGemma عبر المقاييس الثلاثة في Erlangen-Prehistoric، بينما تحسن Nanonets عبر المقاييس الثلاثة في Scalalogy.

لماذا أفادت الأمثلة في إعدادات معينة وأضرت بأخرى؟ يرى الباحثون أن المطالبات الأطول قد تزيد من تعقيد التعليمات، إلا أن التجارب لا تثبت آلية انتباه أو ترميز بصري محددة تفسر ذلك. والدرس المستفاد هنا محدد: تقديم الأمثلة هو استراتيجية مواءمة يجب اختبارها، وليس ترقية مؤكدة النتائج.

الضبط الدقيق المحلي: تقنية QLoRA على معالج رسومي بسعة 32 جيجابايت

أجرى المؤلفون أيضاً ضبطاً دقيقاً (fine-tuning) لكل نموذج من النماذج المقيمة.

بالنسبة للنماذج التي يقل حجمها عن مليار معامل، استخدموا الضبط الدقيق لكامل المعاملات. أما للنماذج الأكبر حجماً، فقد طبقوا تقنية التكيف منخفض الرتبة المكمّم (Quantized Low-Rank Adaptation - QLoRA)، جامعين بين التكميم بدقة 4 بت ومحولات LoRA في طبقات الانتباه وMLP مع تجميد الأوزان الأساسية. ويحدد قسم المنهجية استخدام بطاقة NVIDIA V100 بذاكرة فيديو 32GB VRAM لإعداد QLoRA هذا.

اعتمد اختيار نقاط الفحص على أدنى معدل CER انحداري ذاتي في التحقق، بينما استند تقييم الاختبار إلى التوليد الانحداري الذاتي؛ وهو توليد مباشر من الصورة إلى JSON، وليس تمريرة أمامية وحيدة تنتج مخرجات المستند دفعة واحدة.

+------------------+--------------------------+--------------------------+--------------------------+
| Fine-Tuning      |   Erlangen-Prehistoric   |     Pforzheim Jewelry    |   Regensburg Scalalogy   |
| Baseline Results |  CER↓   ANLS*↑   mAP-F1↑ |  CER↓   ANLS*↑   mAP-F1↑ |  CER↓   ANLS*↑   mAP-F1↑ |
+------------------+--------------------------+--------------------------+--------------------------+
| Donut-Base       |  16.4     78.0      0.0  |   6.3     93.6      0.0  |  59.5      0.0      0.0  |
| Donut-CORD       |  20.6     75.0      0.0  |   6.9     92.9      0.0  |  66.0      0.0      0.0  |
| Florence-2-Large |  10.7     75.5     45.4  |  11.1     89.9      0.0  |  57.4      4.3      0.0  |
| Nanonets-OCR-s   |  23.0     82.5     81.2  |   0.5     96.7     87.2  |  20.2     79.9     50.7  |
| PaddleOCR-VL     |  13.7     90.1     85.3  |   1.1     98.7     84.7  |  65.1      0.0      0.0  |
| Gemma-3-4B       |  10.4     88.6     83.1  |   0.9     99.0     99.4  |  14.6     73.8     46.9  |
| Phi-3.5-Vision   |  17.9     86.5     82.2  |   0.3     99.4     99.5  |   6.3     90.1     72.0  |
| Qwen2.5-VL-7B    |   5.8     91.0     90.0  |   0.5     99.2     99.4  |   7.6     87.0     62.8  |
+------------------+--------------------------+--------------------------+--------------------------+

حقق الضبط الدقيق مكاسب كبيرة مقارنة بالتقييم الصفري لأقوى نماذج الاستخراج المهيكل:

• حقق Qwen2.5-VL-7B نسبة 5.8% CER و90.0% mAP-F1 في سجلات Erlangen-Prehistoric المكتوبة بخط اليد.
• تصدر Phi-3.5-Vision نتائج الضبط الدقيق الأساسية في Regensburg Scalalogy مسجلاً 6.3% CER، و90.1% ANLS*، و72.0% mAP-F1، مقارنة بـ 27.9% mAP-F1 في التقييم الصفري.
• وصل Gemma-3-4B إلى 99.4% mAP-F1 في المجوهرات و83.1% في سجلات ما قبل التاريخ، مع بقاء استخراج البيانات المتداخلة في Scalalogy صعباً عند 46.9% mAP-F1.

لم يعالج الضبط الدقيق كافة الإخفاقات الهيكلية؛ إذ استمر متغيرَا Donut في تسجيل 0.0% mAP-F1 عبر المجموعات الثلاث. وفي المقابل، حقق PaddleOCR-VL نسبة 85.3% mAP-F1 في Erlangen-Prehistoric، مما يثبت أن النماذج المتخصصة في الـ OCR لم تكن جميعها غير ناجحة.

وبناءً على الأداء عبر إعدادات الصفرية، وقليلة الأمثلة، والضبط الدقيق، إلى جانب استقرار توليد JSON، اختار الباحثون نماذج Gemma-3-4B وPhi-3.5-Vision وQwen2.5-VL-7B لإجراء ثلاث دراسات فرعية.

اختبار الموروث الشائع في ذكاء المستندات الاصطناعي: المعالجة المسبقة وتحسين المعاملات الفائقة ليسا فوزاً تلقائياً

اختبر الباحثون تحسين المعاملات الفائقة (HPO)، والمعالجة المسبقة للصور، والتدريب متعدد المراحل، في مقابل خط الأساس للضبط الدقيق القياسي. وجرى تقييم كل تدخل بشكل مستقل، لذا فإن هذه النتائج لا تصف خط معالجة يدمج التدخلات الثلاثة معاً.

الدراسة الأولى: تحسين المعاملات الفائقة (HPO)

باستخدام أداة Optuna مع خوارزمية أخذ العينات Tree-structured Parzen Estimator (TPE)، أجرى المؤلفون 20 تجربة تضمنت كل منها 5 حقب تدريبية (epochs)، مستهدفين تحسين CER في التحقق. ثم استخدموا المعاملات الفائقة المختارة في تدريب كامل بالاعتماد على كود الضبط الدقيق الأساسي. ولا تحدد الورقة فضاء البحث أو قيم المعاملات المختارة.

+-------------------------+--------------------------+--------------------------+--------------------------+
| Hyperparameter Tuning   |   Erlangen-Prehistoric   |     Pforzheim Jewelry    |   Regensburg Scalalogy   |
| (Optuna vs Default)     |  CER↓   ANLS*↑   mAP-F1↑ |  CER↓   ANLS*↑   mAP-F1↑ |  CER↓   ANLS*↑   mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (Default)    |  10.4     88.6     83.1  |   0.9     99.0     99.4  |  14.6     73.8     46.9  |
| Gemma-3-4B (HPO)        |   9.3     88.8     65.4  |   0.4     99.2     99.5  |   3.4     92.3     77.9  |
| Phi-3.5-Vision (Default)|  17.9     86.5     82.2  |   0.3     99.4     99.5  |   6.3     90.1     72.0  |
| Phi-3.5-Vision (HPO)    |  17.7     84.0     81.2  |   0.3     99.5     99.7  |   3.2     91.8     73.8  |
| Qwen2.5-VL-7B (Default) |   5.8     91.0     90.0  |   0.5     99.2     99.4  |   7.6     87.0     62.8  |
| Qwen2.5-VL-7B (HPO)     |   4.3     93.4     91.2  |   0.5     99.3     99.5  |   3.1     89.4     67.1  |
+-------------------------+--------------------------+--------------------------+--------------------------+

كانت النتائج لافتة:

• في مجموعة Regensburg Scalalogy، حسّن HPO المقاييس الثلاثة للنماذج الثلاثة جميعها؛ حيث انخفض CER لـ Gemma-3-4B من 14.6% إلى 3.4%، بينما ارتفع mAP-F1 من 46.9% إلى 77.9%. وهبط CER لـ Qwen2.5-VL من 7.6% إلى 3.1%، ولـ Phi من 6.3% إلى 3.2%.
• في مجموعة Pforzheim Jewelry، كانت التحسينات المطلقة صغيرة نسبياً لأن درجات خط الأساس كانت قوية بالفعل.
• في مجموعة Erlangen-Prehistoric، ساعد HPO نموذج Qwen عبر المقاييس الثلاثة؛ وفي حين تحسن CER لـ Gemma من 10.4% إلى 9.3%، هبط mAP-F1 من 83.1% إلى 65.4%. وشهد Phi تحسناً طفيفاً في CER بينما انخفض ANLS* وmAP-F1.

يكتسب هذا التباين أهمية؛ فاختيار المعاملات الفائقة بالاعتماد على CER في التحقق لم يضمن استخراجاً هيكلياً أفضل في مجموعة الاختبار. وتُظهر النتائج تفاوتاً بين مخرجات المقاييس دون تحديد أخطاء الحقول المسؤولة عن ذلك.

الدراسة الثانية: مصيدة المعالجة المسبقة للصور

أنشأ الباحثون خط معالجة مسبقة تقليدياً يتكون من أربع خطوات:

1. تسوية الإضاءة (Illumination Flattening): التحويل إلى التدرج الرمادي، وتطبيق الفتح المورفولوجي لتقدير إضاءة الخلفية، والتطبيع للحد من الإضاءة غير المتساوية.
2. إزالة التشويش (Denoising): استخدام الفلترة الثنائية كخيار افتراضي، أو إزالة التشويش بالوسائل غير المحلية، لتقليل الضوضاء مع الإبقاء على الحواف.
3. موازنة المدرج التكراري التكيفية محدودة التباين (CLAHE): تحسين التباين المحلي على قناة السطوع.
4. تغيير الحجم بنمط الإطار المضاف (Letterbox Resizing): تغيير الحجم إلى أبعاد إطار ثابتة مع إضافة حواف تعويضية للحفاظ على نسبة العرض إلى الارتفاع؛ وذكر قسم المنهجية قياس $1024 \times 1024$ كمثال.

قيّم الباحثون خط المعالجة المكتمل مضافاً إلى خط أساس الضبط الدقيق، مقارنة بخط أساس الصور الخام. ويقصد بـ "الخام" هنا الصور التي لم تخضع لخط التنقية الإضافي هذا، مع استمرار خضوعها للمعالجة المسبقة الخاصة بكل نموذج.

+-------------------------+--------------------------+--------------------------+--------------------------+
| Image Preprocessing     |   Erlangen-Prehistoric   |     Pforzheim Jewelry    |   Regensburg Scalalogy   |
| (Raw vs Preprocessed)   |  CER↓   ANLS*↑   mAP-F1↑ |  CER↓   ANLS*↑   mAP-F1↑ |  CER↓   ANLS*↑   mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (Raw)        |  10.4     88.6     83.1  |   0.9     99.0     99.4  |  14.6     73.8     46.9  |
| Gemma-3-4B (Preproc ✓)  |  10.4     88.8     85.3  |   1.2     97.6     97.7  |  16.4     69.7     43.6  |
| Phi-3.5-Vision (Raw)    |  17.9     86.5     82.2  |   0.3     99.4     99.5  |   6.3     90.1     72.0  |
| Phi-3.5-Vision (Pre ✓)  |  19.0     80.4     76.5  |   0.3     99.2     99.3  |   5.5     89.5     61.1  |
| Qwen2.5-VL-7B (Raw)     |   5.8     91.0     90.0  |   0.5     99.2     99.4  |   7.6     87.0     62.8  |
| Qwen2.5-VL-7B (Pre ✓)   |   5.2     90.0     87.4  |   0.7     99.1     99.3  |  12.0     81.7     53.6  |
+-------------------------+--------------------------+--------------------------+--------------------------+

أدى خط المعالجة المسبقة الخاضع للاختبار إلى تراجع mAP-F1 في ثماني حالات من أصل تسع تركيبات بين النماذج ومجموعات البيانات، على الرغم من تحسن بعض المقاييس الأخرى.

وفي مجموعة Regensburg Scalalogy:

• تراجع CER لنموذج Qwen2.5-VL من 7.6% إلى 12.0%، وهبط mAP-F1 من 62.8% إلى 53.6%.
• تحسن CER لنموذج Phi-3.5-Vision من 6.3% إلى 5.5%، لكن mAP-F1 انخفض من 72.0% إلى 61.1%.
• تراجع CER لـ Gemma-3-4B من 14.6% إلى 16.4%، مع هبوط في ANLS* وmAP-F1 أيضاً.

وظهرت استثناءات أخرى؛ إذ ارتفع mAP-F1 لنموذج Gemma في Erlangen-Prehistoric من 83.1% إلى 85.3%، في حين تحسن CER لـ Qwen في المجموعة ذاتها من 5.8% إلى 5.2% رغم انخفاض درجاته الهيكلية.

اختبرت التجربة خط المعالجة كاملاً وليس كل مرشح على انفراد؛ ولذا لا يمكنها تحديد ما إذا كان تقليل الضوضاء أو ضبط التباين أو تصحيح الإضاءة أو تغيير الحجم أو اجتماعها معاً هو سبب تراجع محدد. كما أنها لا تثبت آلية عصبية لتلك التراجعات. والدرس العملي هو مقارنة المعالجة المسبقة دائماً بخط أساس الصور الخام بالاعتماد على مقاييس الدقة ومقاييس الاستخراج المهيكل معاً.

الدراسة الثالثة: التدريب التدريجي متعدد المراحل (Multi-Stage Curriculum Training)

اختبر الباحثون خطة تدريبية من مرحلتين: إحماء قصير باستخدام الإجبار بالتوجيه (teacher forcing) على أهداف JSON تحت الإشراف بمعدل تعلم يبلغ $3\times$ معدل التعلم الأساسي، تتبعه مرحلة تحسين على مجموعة البيانات نفسها بمعدل التعلم الأساسي.

أُجري التحقق في كل حقبة تدريبية، مع اختيار نقاط الفحص بناءً على أدنى CER في التحقق، وتطبيق الإيقاف المبكر بعد فترة صبر محددة دون تحسن. وقورن ذلك بخط أساس أحادي المرحلة بالميزانية الإجمالية ذاتها من الحقب وتضاؤل معدل التعلم بجيب التمام (cosine learning-rate decay).

+-------------------------+--------------------------+--------------------------+--------------------------+
| Multi-Stage Training    |   Erlangen-Prehistoric   |     Pforzheim Jewelry    |   Regensburg Scalalogy   |
| (Single vs Multi-Stage) |  CER↓   ANLS*↑   mAP-F1↑ |  CER↓   ANLS*↑   mAP-F1↑ |  CER↓   ANLS*↑   mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (Single)     |  10.4     88.6     83.1  |   0.9     99.0     99.4  |  14.6     73.8     46.9  |
| Gemma-3-4B (Multi-stage)|   8.1     89.9     86.5  |   0.4     99.3     99.5  |  10.3     80.2     63.8  |
| Phi-3.5-Vision (Single) |  17.9     86.5     82.2  |   0.3     99.4     99.5  |   6.3     90.1     72.0  |
| Phi-3.5-Vision (Multi)  |  18.0     86.7     83.0  |   0.3     99.5     99.7  |   4.9     90.5     72.5  |
| Qwen2.5-VL-7B (Single) |   5.8     91.0     90.0  |   0.5     99.2     99.4  |   7.6     87.0     62.8  |
| Qwen2.5-VL-7B (Multi)  |   5.8     91.4     89.1  |   0.7     88.5     90.2  |   7.8     86.0     57.8  |
+-------------------------+--------------------------+--------------------------+--------------------------+

أعطى التدريب متعدد المراحل نتائج اختلفت بحسب النموذج. فقد أفاد Gemma-3-4B عبر المقاييس الثلاثة والمجموعات كافة، مخفضاً CER في سجلات ما قبل التاريخ من 10.4% إلى 8.1% ورافعاً mAP-F1 في Scalalogy من 46.9% إلى 63.8%.

وتحسن نموذج Phi عبر المقاييس الثلاثة في Scalalogy، مع تغيرات طفيفة أو مختلطة في المجموعات الأخرى. أما Qwen، فلم يُظهر سوى تحسن طفيف في ANLS* في Erlangen-Prehistoric، مع ثبات CER وانخفاض mAP-F1. وتراجعت نتائجه عبر المقاييس الثلاثة في مجموعتي المجوهرات وScalalogy. تثبت الدراسة هذه الفروق في النتائج، دون الجزم بأن عدم استقرار التدريب هو المتسبب فيها.

معضلة المجموعات المتعددة: مكاسب Gemma والنقل السلبي لـ Qwen

في بيئات العمل الفعلية، قد ترغب الفرق الهندسية في استخدام نقطة فحص موحدة بدلاً من تخصيص نماذج منفصلة لكل مجموعة مستندات. اختبر الباحثون ذلك عبر ضبط كل نموذج مختار لمرة واحدة على مجموعات التدريب المدمجة للمجموعات الثلاث — بإجمالي 743 مستنداً — باتباع وصفة الضبط الدقيق القياسية.

ثم قيّموا نقطة الفحص تلك على مجموعة الاختبار لكل مجموعة، وقارنوها بنقطة الفحص المخصصة لتلك المجموعة:

+-------------------------+--------------------------+--------------------------+--------------------------+
| Single-Dataset vs       |   Erlangen-Prehistoric   |     Pforzheim Jewelry    |   Regensburg Scalalogy   |
| Multi-Dataset Checkpoint|  CER↓   ANLS*↑   mAP-F1↑ |  CER↓   ANLS*↑   mAP-F1↑ |  CER↓   ANLS*↑   mAP-F1↑ |
+-------------------------+--------------------------+--------------------------+--------------------------+
| Gemma-3-4B (Single)     |  10.4     88.6     83.1  |   0.9     99.0     99.4  |  14.6     73.8     46.9  |
| Gemma-3-4B (Multi-Joint)|   8.7     90.6     87.9  |   0.3     99.4     99.7  |   9.1     81.5     68.0  |
| Phi-3.5-Vision (Single) |  17.9     86.5     82.2  |   0.3     99.4     99.5  |   6.3     90.1     72.0  |
| Phi-3.5-Vision (Multi)  |  19.7     84.0     45.4  |   0.5     99.2     99.4  |   7.4     84.3     54.1  |
| Qwen2.5-VL-7B (Single)  |   5.8     91.0     90.0  |   0.5     99.2     99.4  |   7.6     87.0     62.8  |
| Qwen2.5-VL-7B (Multi)   |   7.1     89.3     91.9  |   1.6     98.2     99.1  |  24.9     65.2     41.4  |
+-------------------------+--------------------------+--------------------------+--------------------------+

أظهرت هذه التجربة تفاوتاً حاداً بين النماذج الثلاثة:

• استفاد Gemma-3-4B بشكل مستمر من التدريب المشترك. فقد تفوقت نقطة فحصه متعددة المجموعات على نقاط الفحص المخصصة عبر كل مقياس مسجل. وفي Regensburg Scalalogy، انخفض CER من 14.6% إلى 9.1% وارتفع mAP-F1 من 46.9% إلى 68.0%. تدعم هذه النتائج التدريب المشترك لـ Gemma في هذا المعيار، دون إثبات كيفية أدائه على مجموعات بيانات جديدة لم يرها من قبل.
• أظهر Qwen2.5-VL-7B نقلاً سلبياً (negative transfer) كبيراً في Scalalogy. فقد ارتفع CER من 7.6% إلى 24.9%، وهبط mAP-F1 من 62.8% إلى 41.4%. كما تراجع CER وANLS* عبر المجموعات الثلاث، رغم تحسن mAP-F1 في Erlangen-Prehistoric من 90.0% إلى 91.9%.
• تراجع Phi-3.5-Vision أيضاً عبر المجموعات الثلاث، مع خسائر ملحوظة في الاستخراج المهيكل: تراجع mAP-F1 في سجلات ما قبل التاريخ من 82.2% إلى 45.4%، وفي Scalalogy من 72.0% إلى 54.1%. وكانت التغيرات في مجموعة المجوهرات أقل بكثير.

يفسر الباحثون هذا التراجع بأنه دليل على النقل السلبي عبر مجموعات ذات مخططات وأنماط نصوص متباينة. ولا تعزل الدراسة تداخل التدرجات أو تعارض التخطيطات كأسباب محددة. وتبعاً لذلك، تحتاج قرارات النشر الفعلي إلى تقييم مستقل لكل مجموعة؛ إذ ساعد التدريب المشترك نموذجاً واحداً في هذا المعيار التقييمي وأضر بنماذج أخرى في حالات هامة.

أين لا تزال النماذج تواجه صعوبات: أنماط الإخفاق النوعي

يسلط فحص عينات من المخرجات الضوء على التحسينات التي يقدمها الضبط الدقيق، وكذلك على الأخطاء التي لا تزال قائمة.

في الشكل 4، يقارن الباحثون بين تنبؤات Gemma-3-4B الصفرية وتلك الناتجة عن الضبط الدقيق لصفحة مكتوبة بخط اليد من مجموعة Erlangen-Prehistoric. وتستعرض المقتطفات التالية تلك المقارنة؛ علماً بأن علامات الحذف والملاحظات بين الأقواس هي لأغراض التوضيح وليست المخرجات الكاملة للنموذج.

تنبؤ الصفرية (Zero-shot)، معدل CER للعينة: 26.8%.

{
  "Überschrift": "Anthropologisch-prähistorifche ...",
  "Inventarnummer": "J.-Nr. E024",
  "Maße": {"L": "", "B": "", "D": ""},
  "Objektbezeichnung": "Primitiver Kratzer",
  "Fundort": "Spay, Belgien",
  "Fundzeit": "Aumente Helin",
  "Beschreibungstext": "Flacher Stein ... [many OCR errors]"
}

تنبؤ الضبط الدقيق (Fine-tuned)، معدل CER للعينة: 13.9%.

{
  "Überschrift": "Anthropologisch=prähistorische ...",
  "Inventarnummer": "Eo 24",
  "Maße": {"L": "6,25", "B": "3,95", "D": "1,7"},
  "Objektbezeichnung": "Primitiver Kratzer ...",
  "Fundort": "Spy, Belgien Ausbeute Helin",
  "Fundzeit": "",
  "Beschreibungstext": "Flacher Stein ... [partially correct]"
}

حسّن الضبط الدقيق عدة أجزاء من التنبؤ:

• تغيرت الترويسة من Anthropologisch-prähistorifche إلى Anthropologisch=prähistorische.
• تحول رقم الجرد من J.-Nr. E024 إلى Eo 24، وهو ما عده الباحثون تصحيحاً سليماً.
• أصبحت الأبعاد المتداخلة "L": "6,25", "B": "3,95", "D": "1,7"، مما استعاد قياسات بقيت فارغة في الناتج الصفري.

ومع ذلك، تشير الورقة صراحة إلى استمرار الصعوبة مع النصوص اليدوية الأطول والفصل بين حقل Fundort وحقل Fundzeit. فالناتج المضبوط بدقة وضع عبارة "Spy, Belgien Ausbeute Helin" كاملة في حقل Fundort وترك Fundzeit فارغاً. ولا يحدد المقتطف التوزيع الصحيح لكل عبارة أو يوضح دلالتها التاريخية.

يجسد هذا المثال التحدي الأوسع: إذ يمكن أن يقترن انخفاض معدل الخطأ الإجمالي ووجود كائن JSON قابل للتحليل باستمرار أخطاء حدود الحقول دون حل.

أهمية هذا البحث لهندسة المستندات وخطوط معالجة قطاع GLAM

بالنسبة لمهندسي البرمجيات، ومهندسي تعلم الآلة، وفرق رقمنة الأرشيفات، تقدم هذه الدراسة إرشادات عملية ضمن نطاق مجموعاتها الثلاث. وتتضاعف أهمية هذه الإرشادات عند التعامل مع المستندات المكتوبة بالخط العربي، الذي تزيد طبيعته المتصلة واتجاهه من اليمين إلى اليسار وتغير أشكال حروفه وسياقاتها وعلامات التشكيل والوصلات الاختيارية من تعقيدات التعرف الضوئي واستخراج البنى المهيكلة:

• تقييم نماذج VLMs المضبوطة بالتعليمات عند الحاجة لاستخراج JSON المباشر: أظهرت نماذج Gemma-3-4B وPhi-3.5-Vision وQwen2.5-VL-7B الأداء الإجمالي الأقوى في التوليد المهيكل الموثوق. ولا يثبت ذلك ضرورة التخلي عن محركات OCR المتخصصة؛ فالمعيار التقييمي فحص نماذج وواجهات محددة، كما أن بعض النماذج المتخصصة حققت أداءً جيداً بعد ضبطها دقيقاً على مجموعات فردية.
• اختبار التوجيه قليل الأمثلة بدلاً من افتراض فائدته المسبقة: حسنت الأمثلة التوضيحية أداء النماذج الأربعة في مجموعة المجوهرات، لكن النتائج تباينت في الخط اليدوي والاستمارات المتداخلة. ينبغي مقارنة نتائج الصفرية وقليلة الأمثلة على وثائق ممثلة قبل الاستقرار على استراتيجية التوجيه.
• الإبقاء على خط أساس للصور الخام عند اختبار التنقية: أدى خط المعالجة المسبقة الكامل في كثير من الأحيان إلى خفض درجات الاستخراج المهيكل، غير أن أثره اعتمد على النموذج ومجموعة البيانات والمقياس. تدعم هذه النتائج المقارنة التجريبية بدلاً من المنع القاطع لإزالة التشويش أو تعديل التباين.
• أخذ HPO في الحسبان للاستمارات المعقدة مع تتبع مقاييس متعددة: حسنت الإعدادات المختارة عبر Optuna نتائج Scalalogy بدرجة ملحوظة؛ إذ انخفض CER من 14.6% إلى 3.4% لـ Gemma، ومن 6.3% إلى 3.2% لـ Phi، ومن 7.6% إلى 3.1% لـ Qwen. ولكن في الخط اليدوي، ترافق انخفاض CER أحياناً مع تدهور في mAP-F1.
• تدقيق نقاط الفحص متعددة المجموعات لرصد النقل السلبي: يجب تقييم كل مجموعة بصورة منفصلة قبل دمج النماذج؛ فقد كان أداء نقاط الفحص المخصصة لكل مجموعة أفضل بكثير لـ Phi وQwen في بعض المجموعات، بينما استفاد Gemma بصورة مستمرة من التدريب المشترك.

حدود الدراسة بموضوعية وما يستحق المتابعة مستقبلاً

توفر هذه النتائج أدلة مفيدة، إلا أن نطاقها يستوجب الانتباه:

• الدراسات المستقلة مقابل المجمعة: اختبر الباحثون HPO والمعالجة المسبقة والتدريب متعدد المراحل بشكل مستقل. ويبقى اختبار ما إذا كان الجمع بين تلك التدخلات سيحقق مكاسب إضافية قيد البحث المستقبلي.
• فك التشفير المقيد يظل عملاً مستقبلياً: اعتمدت التقييمات على فك التشفير الجشع (greedy decoding) المسجل بدرجة حرارة 0. ويقترح المؤلفون فك التشفير المقيد لتوليد JSON صالح كمسار مستقبلي، دون إثبات أثره في هذا البحث، مع الحاجة للتمييز بين الصلاحية البنائية وصحة الحقول والقيم.
• تكافؤ الموارد الحسابية: جرى تكييف النماذج الأكبر حجماً عبر QLoRA، بينما خضعت النماذج دون المليار معامل لضبط دقيق كامل. وتظل المقارنات المنضبطة لتلك المقاربات تحت ميزانيات حوسبة متكافئة عملاً مستقبلياً.
• تغطية النماذج والمجموعات: يغطي المعيار ثلاث مجموعات متخصصة، بمجموعات اختبار تشمل 46 و89 و25 مستنداً. ويشير المؤلفون إلى تسارع وتيرة تطور النماذج ويدعون إلى تقييمات أوسع متعددة اللغات، ومواءمة خاصة بالخط اليدوي، والربط الموضعي الدقيق للحقول بالتخطيطات.
• استبدال السحاب لم يخضع لمقارنة مرجعية مباشرة: لا تقارن التجارب هذه النماذج بأنظمة الواجهات السحابية التجارية أو النسخ اليدوي، ولا تقيس وفورات التكلفة أو الطاقة حسابياً. بل تكتفي بإثبات نتائج الاستخراج للنماذج المحلية بدلاً من قياس تفوقها على تلك البدائل.

الخلاصة الأوسع واعدة: يمكن لنماذج الرؤية واللغة الخفيفة، عند مواءمتها بعناية، أن تدعم استخراج بيانات OCR إلى JSON تحت السيطرة الكاملة للمؤسسات في السجلات الأرشيفية المتخصصة. وتُظهر نتائج QLoRA على نماذج 4B–7B مكاسب جوهرية، خصوصاً في بطاقات المجوهرات المطبوعة، بينما تظل الكتابة اليدوية والاستمارات المتداخلة محتفظة بأخطاء ملموسة. وللمؤسسات التي تدرس بدائل للواجهات السحابية التجارية، تقدم هذه الدراسة نماذج مرشحة واستراتيجيات تكييف مناسبة — وسبباً واضحاً لتقييم دقة المحتوى، وإسناد الحقول، وصلاحية JSON معاً في وقت واحد.