لماذا تعجز قارئات المستندات الذكية عن التعامل مع ملفات PDF الطويلة

تخيل عقدًا مع مورد يبلغ طوله 40 صفحة. تقوم برفعه إلى أداة الذكاء الاصطناعي المفضلة لديك وتطلب منها معرفة ما تقوله بند الفسخ. يوجد البند في الصفحة 22. يجيب النموذج بسرعة ويبدو واثقًا من نفسه. لكنه أيضًا يخطئ، وإذا تعمقت في ما فعله فعليًا، ستجد أنه استخرج لغة من النص القياسي الموجود في الصفحة 3 بدلاً من ذلك.

هذا ليس حالة حدية افتراضية. وفقًا لورقة بحثية جديدة بعنوان SynthDocBench، إنه قريب من نمط فشل يمكن التنبؤ به. تمثل الثلث الأوسط من المستند الطويل الجزء الأصعب لخمس من النماذج الستة للغة-الرؤية التي اختبرها الباحثون عن كثب، ومعظم النماذج تتدهور أدائها بشكل مطرد كلما طلبت منها النظر في أعماق المستند. إذا كنت تبني منتجات تعتمد على هذه النماذج، أو تختار بين محركات التعرف الضوئي على الحروف (OCR) ومحركات الذكاء الاصطناعي للمستندات لسير عمل حقيقي، فإن هذا يستحق عشرين دقيقة من انتباهك.

المشكلة في التقييم بناءً على امتحان واحد فوضوي

تقوم معظم معايير تقييم نماذج الرؤية واللغة (VLM) الخاصة بالمستندات، مثل DocVQA وChartQA وMMLongBench-Doc، بعمل معقول في طرح سؤال "هل يمكن لهذا النموذج قراءة هذا المستند والإجابة على سؤال عنه؟". ما لا تقوم به بشكل جيد هو إخبارك بسبب فشل النموذج.

تختلف المستندات الحقيقية على عدة أبعاد في وقت واحد: طولها، وتعقيد تخطيطها (عمود نصي واحد مقابل جدول مالي كثيف مقابل نموذج يحتوي على مربعات اختيار)، ونوع المحتوى المضمن (نص عادي، جداول، رسوم بيانية، صور ممسوحة ضوئيًا)، وصعوبة السؤال. عندما يحصل النموذج على إجابة خاطئة في معيار تقييم موجود، فإن جميع هذه العوامل الأربعة متشابكة معًا. هل كان النموذج مرتبكًا لأن المستند كان طويلاً؟ أم لأنه كان يحتوي على تخطيط غير معتاد؟ أم لأن الإجابة احتاجت إلى حسابات جداول بدلاً من البحث والاستبدال في Word؟ لا يمكنك معرفة ذلك حقًا، لأن مستندات المعيار التقييمي تم جمعها من العالم الحقيقي ولم يتحكم أحد في أي من هذه العوامل.

هذه هي الفجوة التي يحاول SynthDocBench سدّها. بدلاً من جمع المستندات الحقيقية والتمني بأن يتوسط التباين، يولد المؤلفون المستندات من الصفر ويضبطون كل عامل بشكل مستقل، بالطريقة التي تصمم بها تجربة مضبوطة في المختبر بدلاً من مراقبة ما يظهر في البرية.

بناء المستندات كتجربة علمية، وليس كشطب عشوائي

إليك الآلية، بلغة واضحة. قام الباحثون ببناء خط أنابيب لنموذج لغوي كبير (LLM) يولد مستندات كاملة من البداية إلى النهاية: المحتوى، والهيكل، والتنسيق البصري معًا. يُخصص لكل مستند أحد الأنماط الستة للتخطيط (مثل: نمط التقرير، نمط النموذج، مزيج من الجداول والنصوص، وما إلى ذلك)، ثم يغير البحث طول المستند، وتعقيد التخطيط، ونوع المزج بين النصوص والجداول والرسوم البيانية والصور، ونوع السؤال المطروح، كل منها بشكل مستقل عن الآخر. هذا هو ما يعنيه "التصميم التوافقي" هنا: بدلاً من وجود مقبض واحد يخلط كل شيء معًا، تحصل على عدة مقابض يمكنك تدويرها واحدة تلو الأخرى مع تثبيت الباقي.

هناك لمسة ذكية. في أربعين بالمئة من الحالات، تتجاوز عملية التوليد عمدًا النمط "المتوقع" للمستند، على سبيل المثال وضع رسم بياني في مكان لا تضعه فيه عادةً تقاليد التخطيط. الهدف هو منع النماذج من التلاعب بالاختبار. إذا تعلم نموذج أن "الإجابات المتعلقة بالإيرادات تكون دائمًا بالقرب من أعلى الصفحة 1" لأن هذا هو كيفية تخطيط التقارير السنوية الحقيقية عادةً، يمكنه الحصول على درجات جيدة دون قراءة المستند فعليًا، فهو يطابق الأنماط على تقاليد المستندات بدلاً من القيام بالفهم. يكسر التعديل العشوائي بنسبة 40% هذا الاختصار، لأن النموذج لا يمكنه افتراض أن المستند مُنسق بالطريقة "العادية".

الميزة البارزة الأخرى هي الطول. مستندات SynthDocBench أطول بكثير، وأكثر تنوعًا هيكليًا، مما تتضمنه عادةً Benchmarks مثل DocVQA وChartQA أو MMLongBench-Doc. وهذا مهم لأن الكثير من حالات الفشل المثيرة للاهتمام في هذا البحث تظهر فقط عندما تصبح المستندات طويلة، وكانت Benchmarks الأقصر قد فاتتها تمامًا.

المستندات الأطول تجعل النماذج أسوأ بشكل ملحوظ

النتيجة الأولى هي الأقل مفاجأة لكنها لا تزال تستحق الذكر بوضوح: تنخفض الدقة كلما طالت المستندات. هذا ليس صادمًا بحد ذاته (كل شيء يصبح أكثر صعوبة مع زيادة سياق النص)، لكن معدل وحدة الانخفاض هما النقطة الجوهرية. نظرًا لأن SynthDocBench يتحكم في الطول بشكل مستقل عن التخطيط ونوع المحتوى، يمكن للباحثين عزو الانخفاض تحديدًا إلى الطول بدلاً من "المستندات الأطول تميل أيضًا إلى أن يكون لها تخطيطات أكثر فوضى"، وهو ما يمثل عامل التداخل الذي حملته كل معايير الاختبار السابقة.

بالنسبة لأي شخص يبني منتجًا يعالج مستندات متعددة الصفحات (عقود الإيجار، السجلات الطبية، البيانات المالية، الدلائل الفنية)، هذا تذكير بأن العرض التوضيحي الذي يعمل بشكل جيد على عينة من صفحتين يخبرك القليل جدًا عن كيفية أدائه في النسخة المكونة من 60 صفحة التي يرفعها عميل حقيقي.

نقطة العمى في منتصف المستند

هذا هو أكثر النتائج إثارة للاهتمام في الورقة البحثية. قام الباحثون بتقسيم كل مستند إلى ثلاثة أجزاء (بداية، وسط، نهاية) ونظروا في الأماكن التي ارتكب فيها النماذج أخطاءً. في خمسة من أصل ستة نماذج اختُبرت بهذه الطريقة، كان الثلث الأوسط هو الجزء الأصعب في المستند للإجابة عن الأسئلة المتعلقة به. ليس النهاية، حيث قد تتوقع أن تنفد طاقة النماذج. بل الوسط.

كما قاموا بقياس ما يسمونه "الاتجاه من البداية إلى النهاية"، وهو بشكل أساسي، هل تتراجع الدقة في أسئلة المستند المبكرة مقارنة بأسئلة المستند المتأخرة مع التقدم في النص. أظهر خمسة من أصل ستة نماذج اتجاهاً سلبياً، مما يعني أنها أدت أداءً أسوأ في المواد المتأخرة مقارنة بالمواد المبكرة، وكان الانخفاض الحاد ביותר 8.3 نقطة مئوية.

إذا بدا هذا النمط مألوفاً، فهو كذلك. فقد وثّق الباحثون الذين يدرسون نماذج اللغة النصية طويلة السياق شيئاً مشابهاً على مدار سنوات، وغالباً ما يُطلق عليه "الضياع في الوسط": النماذج جيدة في استخدام المعلومات من بداية ونهاية الإدخال الطويل وأقل كفاءة في استخدام المعلومات المدفونة في المركز. يُظهر SynthDocBench أن نفس الفشل يظهر أيضاً في فهم المستندات البصرية، وليس فقط في النص العادي. هذه إضافة ذات معنى، لأن الكثيرين افترضوا أن نماذج المستندات متعددة الوسائط ستتصرف بشكل مختلف لأنها تعالج التخطيط والصور، وليس مجرد تدفق رموز. لكنها لا تتصرف بشكل مختلف. نقطة الضعف تترافق مع البنية.

عملياً، هذا يعني أن نموذجاً يقرأ سياسة تأمين مكونة من 30 صفحة يكون أكثر عرضة بشكل غير متناسب لتفويت شيء ما في الصفحات من 12 إلى 20، مقارنة بشيء ما في الصفحة 2 أو الصفحة 28، حتى عندما لا يكون هناك شيء موضوعياً أصعب في قراءة تلك الصفحات الوسطى.

تتفكك الرسوم البيانية بالضبط عندما تحتاج إليها أكثر

يتعلق نمط الفشل الثالث بفهم الرسوم البيانية على وجه التحديد. إن قراءة رسم بياني شريطي أو خطي والإجابة عن سؤال متعلق به مهمة أصعب من قراءة النص، إذ يتعين على النموذج ربط العناصر البصرية (الأعمدة، المحاور، أساطير الرسم) بالمعنى الرقمي. وقد أظهرت SynthDocBench أن هذه المهارة تتدهور بشدة بمجرد تضمين الرسوم البيانية في وثائق طويلة، وهو تدهور أسوأ مما يمكن توقعه من الانخفاض العام المرتبط بالطول الموصوف أعلاه.

فكّر في الأماكن التي توجد فيها الرسوم البيانية فعلياً ضمن الوثائق التي تهم الناس: عروض الأرباح ربع السنوية، والأوراق العلمية، والتقارير الحكومية، ولوحات معلومات المبيعات المُصدَرة بصيغة PDF. هذه هي بالضبط الوثائق التي يحمل فيها الرسم البياني في الصفحة 15 الرقم الذي يحاول المستخدم استخراجه، وهي بالضبط البيئة التي تُظهر فيها SynthDocBench أن النموذج يكون أقل موثوقية.

لماذا يهم ذلك لأي شخص يبني أو يختار نظام التعرف الضوئي على الحروف (OCR)

إذا كنت تقوم بتقييم محركات التعرف الضوئي على الحروف (OCR) أو الذكاء الاصطناعي المستند إلى المستندات لأغراض تتجاوز مجرد عرض تجريبي بسيط، فإن ثلاث استنتاجات عملية تبرز مباشرة من هذه الورقة البحثية:

• اختبر باستخدام أطوال المستندات الحقيقية لديك، وليس العينات القصيرة. النموذج الذي يحقق نتائج جيدة على ملف PDF اختباري مكون من خمس صفحات ليس هو نفسه النموذج الذي ستتعامل معه بمجرد أن يبدأ المستخدمون في رفع عقود مكونة من 50 صفحة. اطلب من أي مورد (أو قم بتشغيل أي نموذج مفتوح المصدر) مقابل مستندات بنفس الطول الذي ستراه فعليًا في بيئة الإنتاج.
• لا تثق بالإجابات المتعلقة بأجزاء المستندات الطويلة دون التحقق منها عشوائيًا. إذا اعتمد سير العمل على استخراج شيء ما من داخل ملف طويل، فهذا هو بالضبط المجال الذي تشير إليه هذه الورقة البحثية كأقل موثوقية. فكر في تقسيم المستندات الطويلة إلى أجزاء واستعلام كل جزء على حدة، أو استخدم الاسترجاع لجلب القسم ذي الصلة قبل طلب قراءة النموذج له، بدلاً من إغراق نافذة السياق بأكملها بالمستند الواحد.
• المستندات الطويلة الغنية بالرسوم البيانية تحتاج إلى تدقيق إضافي. إذا كانت حالة الاستخدام الخاصة بك تتضمن تقارير تحتوي على رسوم بيانية وجداول مضمنة (مثل التقارير المالية، والأوراق البحثية، ومخرجات التحليلات)، فلا تفترض أن النموذج الذي يتعامل جيدًا مع الرسوم البيانية المعزولة سيتعامل بنفس الكفاءة مع الرسم البياني نفسه المدفون في الصفحة 20 من تقرير. تحقق من صحة الرسوم البيانية بشكل محدد ومنفصل عن استخراج النص العادي.

لا يُعد أي من هذا حجة لتجنب استخدام نماذج اللغة المرئية (VLMs) في العمل المستند إلى المستندات. بل إنه حجة لاختبار الذكاء الاصطناعي المستند إلى المستندات بالطريقة التي تختبرها بها SynthDocBench: من خلال تقسيمه إلى أجزاء خاضعة للرقابة، وليس الحكم عليه بناءً على انطباعات عامة من عدد قليل من الأمثلة. ومن الجدير بالذكر أن هذه التحديات تتفاقم بشكل ملحوظ عند معالجة النصوص العربية، حيث تعقد الخطوط المتصلة والاتجاه من اليمين إلى اليسار والأشكال السياقية للحروف مهمة التعرف البصري بشكل كبير.

ما الذي لا يمكن لهذا المعيار إخبارك به

تتمتع التحذيرات الصادقة بأهمية كبيرة هنا. فإن SynthDocBench يعتمد كليًا على البيانات الاصطناعية، والتي تم إنشاؤها عبر خط أنابيب لنموذج لغوي كبير (LLM) بدلاً من استخلاصها من عمليات مسح أو مستندات أو نماذج حقيقية من العالم الواقعي. تُعد المستندات الاصطناعية مفيدة بالتحديد لأنها تتيح لك التحكم في كل متغير، لكن هذا التحكم يأتي بتكلفة: فقد يحمل "فاتورة" أو "تقرير" مُولّد بواسطة LLM بصمة إحصائية دقيقة خاصة به تختلف عن الطريقة الفعلية التي يتم بها تنسيق وصياغة الفواتير والتقارير الحقيقية. إن ادعاء الورقة البحثية بأن النماذج الحالية قد تكون مُفرطة التخصيص (overfitting) للآثار الجانبية للمعايير (benchmark artifacts) له وجهان. فمن المعقول أن يكون جزء مما تقيسه SynthDocBench هو في حد ذاته نوع جديد من الآثار الجانبية، albeit أكثر تحكمًا ودقة.

كما يغطي التقييم سبعة نماذج لغوية بصرية (VLMs) رائدة، وهو عينة ذات معنى لكنها لا تزال تمثل لقطة سريعة للنماذج المتاحة في منتصف عام 2026. لقد تطورت سلوكيات النماذج في مهام السياق الطويل بسرعة كبيرة، ومن الجدير التحقق مما إذا كانت الإصدارات الأحدث قد استهدفت بشكل خاص نقطة الضعف المعروفة بـ "الضياع في المنتصف" (lost in the middle) قبل افتراض أنها تنطبق بشكل موحد في المستقبل.

ومع ذلك، فإن المساهمة الأساسية تظل صالحة بغض النظر عن تلك التحذيرات: من خلال التحكم في الطول، والتخطيط، والوسيط (modality)، ونوع السؤال بشكل مستقل، عزل الباحثون أنماط الفشل التي كانت المعايير الواقعية الأكثر تعقيدًا غير قادرة هيكليًا على كشفها. إن نقطة العمى في منتصف المستند على وجه الخصوص هي اكتشاف جديد ومفيد حقًا، وليس مجرد إعادة تعبئة لشيء كنا نعرفه بالفعل. إذا كنت تبني أي نظام يقرأ مستندات طويلة كجزء من عمله الأساسي، فمن الجدير تصميم خط أنابيب التقييم الخاص بك، واستراتيجية تقسيم النصوص (chunking strategy) لمنتجك، مع أخذ هذه النقطة العمى في الاعتبار.