توقف عن إرسال كل صفحة إلى النماذج البصرية: دروس مستفادة من باحثي Citigroup وEY وNVIDIA

عندما تبني الفرق الهندسية خطوط معالجة المستندات لتطبيقات التوليد المعزز بالاسترجاع (RAG)، سرعان ما يتحول النقاش إلى منافسة مباشرة بين النماذج: هل ينبغي استدعاء Gemini 3.1 Pro؟ أم توجيه الصفحات إلى Mistral OCR v3؟ أم استخدام نموذج مدمج مثل Granite-Docling؟

تأتي ورقة بحثية أعدها عباس رضا علي Abbas Raza Ali (من Citigroup)، ومحمد أجمل صديقي Muhammad Ajmal Siddiqui (من Ernst & Young)، ومنى زاهد Moona Zahid (من NVIDIA)، بعنوان Smart Content Ingestion for Generative AI Workloads، لتضفي جرعة واقعية صريحة من بيئات الإنتاج الفعلية على هذا النقاش. نُشرت الورقة كمسودة بحثية (preprint) في 5 أكتوبر 2026، وهي قيد المراجعة لمؤتمر MLSys 2027.

وبالاستناد إلى قياسات أُجريت على مجموعة بيانات داخلية تضم 180 مستنداً بإجمالي 10,507 صفحات، يُسلّط المؤلفون الضوء على رقمين أساسيين ينبغي أن يوجّها تصميمك لبنية الاستيعاب (ingestion architecture):

1. استحوذت المعالجة المسبقة المشتركة على قرابة 77% من إجمالي زمن الاستخراج الفعلي (wall-clock time) في أسرع إعداد. استهلك تحسين الصور وتحليل التخطيط نحو 2,062 ثانية، مقارنة بـ 611 ثانية فقط لزمن الاستدلال عبر Mistral OCR. وفي أبطأ إعداد، استغرق استدلال Granite-Docling قرابة 1,350 ثانية، مما جعل المعالجة المسبقة تمثل نحو 60% من إجمالي وقت الاستخراج.
2. سلكت نحو 92% من الصفحات مسار الاستخراج المباشر (native extraction). فمن بين 10,507 صفحات، تجاوزت 853 صفحة فقط عتبة مساحة الصورة التي حددها النظام لإجراء التعرف الضوئي (OCR) على مستوى الصفحة. أما الصفحات المتبقية البالغ عددها 9,654 صفحة، فسلكت المسار المباشر بتكلفة استدعاء نماذج تقارب الصفر، مع بقاء إمكانية تشغيل نماذج الرؤية لتوليد شروح توضيحية للأشكال المستخرجة.

إذا كنت ترسل كل مستند بالكامل إلى واجهة برمجة تطبيقات بصرية (Vision API)، فإن هذه البنية المعمارية تقترح بديلاً عملياً: استخراج المحتوى المتاح مباشرة أولاً، وتخصيص التعرف الضوئي على مستوى الصفحة للصفحات التي تطغى عليها الصور. إن استيعاب المستندات ليس مجرد ممارسة لهندسة الأوامر (prompt engineering)؛ بل تتعامل معه الورقة كخط أنابيب برمجي يتألف من أربع مراحل، حيث يمكن لأخطاء التحليل في المراحل الأولى أن تحرم عمليات الاسترجاع اللاحقة من المعلومات الضرورية.

The perception layer of agentic systems

في تعلم الآلة التقليدي، كان إعداد البيانات محدوداً ومقيداً بمخططات ثابتة (schemas)، حيث ارتبطت المهام، وتمثيلات البيانات، والتسميات (labels)، وبنى النماذج ارتباطاً وثيقاً.

غير الذكاء الاصطناعي التوليدي تلك العلاقة؛ فالنماذج التأسيسية أصبحت تدعم مهام لاحقة متعددة من خلال تعليمات وسياقات باللغة الطبيعية. ومع اتساع شمولية النماذج، فرض جانب البيانات تحدياً من نوع خاص: فالمعرفة المؤسسية تكمن في ملفات PDF، والعروض التقديمية، وجداول البيانات، والمستندات الممسوحة ضوئياً، والنماذج، والجداول، والمخططات البيانية.

تجمع هذه الملفات معلومات نصية وبصرية وهندسية وهيكلية داخل مستند واحد. فإذا قام مُحلل الاستيعاب بتسطيح مستند ذي عمودين إلى أسطر متداخلة، أو أضاع العلاقات الداخلية داخل جدول مالي، فستتلقى المكونات اللاحقة تمثيلاً مشوهاً؛ إذ لا يمكن لنظام الاسترجاع المتجهي (vector retriever) استعادة معلومات غائبة عن فهرسه بشكل موثوق، ولا يستطيع نموذج إعادة الترتيب (re-ranker) استرداد محاذاة الأعمدة التي أسقطتها عملية الاستخراج.

يرى المؤلفون أن استخراج المحتوى المقاس بدقة يمثل طبقة الإدراك (perception layer) للأنظمة الوكيلة في المؤسسات، وحجتهم في ذلك أن الاستدلال في المراحل اللاحقة يعتمد بالكامل على صحة تمثيل المصدر عند هذا الحد الفاصل.

تطرح الورقة بنية معمارية مخصصة لبيئات الإنتاج مقسمة إلى أربع مراحل متتالية:

• المرحلة 1: استخراج المحتوى متعدد الوسائط (Multimodal Content Extraction)، وتجمع بين التوجيه الانتقائي للتعرف الضوئي والاستخراج المباشر القائم على القواعد الإرشادية.
• المرحلة 2: تنقيح وتقييم الاستخراج (Curation and Extraction Evaluation)، باستخدام عينات متعددة التصنيفات تعطي الأولوية للأنماط النادرة لتدقيق أدوات التحليل مقابل الحقيقة الأرضية (ground truth).
• المرحلة 3: التقطيع الهيكلي بين الأصل والفرع (Structure-Aware Parent-Child Chunking)، لفصل وحدات الاسترجاع عن سياقات القراءة.
• المرحلة 4: تقييم الاسترجاع في وضع القراءة فقط (Read-Only Retrieval Evaluation)، عبر توليد أسئلة اصطناعية مبنية على النصوص لاختبار قابلية الاسترجاع.

وتحكم هذا التصميم ثلاثة مبادئ هندسية: تقديم البنية الهيكلية على الدلالات اللغوية (structure before semantics)، وعدم تعديل ما تقيسه إطلاقاً (never mutate what you measure)، وتحديد ميزانية واضحة للتصنيفات (budget your labels).

Selective routing: Let PyMuPDF carry the heavy traffic

تتلخص الرؤية الجوهرية لرفع الكفاءة في المرحلة 1 في فكرة بسيطة: استخراج المحتوى المتاح مباشرة دون اللجوء إلى OCR، واستخدام قاعدة إرشادية تعتمد على مساحة الصورة لتوجيه الصفحات التي تهيمن عليها الصور إلى النماذج البصرية.

لكل صفحة PDF واردة $p$، يحسب النظام نسبة تغطية مساحة الصورة:

$$r(p) = \frac{A_{\text{img}}(p)}{A(p)}$$

فإذا تجاوزت المساحة الإجمالية للصور المضمنة $A_{\text{img}}(p)$ نسبة 80% ($\tau_{\text{cov}} = 0.8$) من إجمالي مساحة الصفحة $A(p)$، تُوجَّه الصفحة إلى مسار التعرف الضوئي (OCR). وخلاف ذلك، تظل في مسار الاستخراج المباشر المدعوم بمكتبة PyMuPDF.

على مجموعة بيانات Orion الخاصة بالمؤلفين والمكونة من 180 مستنداً، سلكت 853 صفحة من أصل 10,507 صفحات (8.1%) مسار OCR، بينما خضعت النسبة المتبقية البالغة 91.9% للاستخراج المباشر. يُعد هذا التقسيم نتيجة فعلية ملحوظة على مجموعة Orion، وليس تقديراً عاماً لمستندات المؤسسات ككل.

وبشكل منفصل، يطبق محرك التنقيح اختباراً ثنائي الإشارة عند تصنيف الصفحات الممسوحة ضوئياً:

$$s(p) = 1_{|T(p)| < \kappa ;\wedge; r(p) > \tau_{\text{cov}}}$$

مع تحديد $\kappa = 40$، يجب أن تحتوي الصفحة على أقل من 40 حرفاً قابلاً للاستخراج بالإضافة إلى تغطية عالية للصور حتى تُصنَّف كصفحة ممسوحة ضوئياً. يمنع هذا تصنيف صفحة تحتوي على صورة فوتوغرافية كبيرة وطبقة نصية جوهرية كصفحة ممسوحة ضوئياً بالخطأ أثناء التنقيح، مع الإشارة إلى أن هذا الاختبار لا يغير قاعدة التوجيه المعتمدة على المساحة فقط في مرحلة الاستخراج.

بالنسبة للصفحات التي تهيمن عليها الصور، توضح الورقة سلسلة تحسينات اختيارية: إزالة الحواف، وتقدير الضوضاء عبر تباين لافلاس (Laplacian variance) للاختيار بين مرشحات غاوس (Gaussian) أو الثنائية (bilateral) أو المتوسطات غير المحلية (non-local-means)، ومعادلة المدرج التكراري التكيفية محدودة التباين (CLAHE)، والترميز غير الحاد (unsharp masking)، والترقية التكعيبية للدقة (cubic upscaling). بعد ذلك، تُرسل الصفحات المنقطة (rasterized) إلى الواجهة الخلفية لـ OCR. كما تتضمن بنية الاستدلال التحتية آليات لإعادة المحاولة والتراجع التدريجي (back-off) عند ظهور أخطاء 429 أو 5xx، وتجديد رموز OAuth2 عند مواجهة الخطأ 401.

Deterministic layout reconstruction without deep learning

بالنسبة لصفحات النصوص الأصلية المباشرة، تتجنب مرحلة إعادة البناء الهيكلي استخدام النماذج المدربة، وتعتمد بدلاً من ذلك على قواعد إرشادية حتمية (deterministic heuristics):

• معايرة حجم الخط: يحسب المستخرج حجم الخط الأكثر تكراراً (المنوال) $f^$ على مستوى المستند، ويعتبره نص المتن القياسي. وتصبح أحجام الخطوط المميزة التي تحقق الشرط $f \ge 1.12 f^$ مرشحة لتكون عناوين؛ حيث تُرتَّب تنازلياً في طبقات هرمية وصولاً إلى عمق محدد مسبقاً لإصدار عناوين بتنسيق Markdown.
• حجب الترويسات والتذييلات: يفحص النظام الكتل النصية ضمن هوامش الصفحة، ويوحد صيغة الأرقام بحيث تشترك نصوص مثل "Page 4" و"Page 9" في المفتاح ذاته، ثم يحذف محتوى الهوامش المتطابق الذي يتكرر في أكثر من 50% من الصفحات.
• كشف الجداول على مستويين: تُستخرج الجداول المسطرة باستخدام خيار lines_strict في PyMuPDF. وعند تعيين استراتيجية الجداول على auto، يبحث كاشف محاذاة الكلمات أيضاً عن الجداول غير المؤطرة عبر تجميع الكلمات في صفوف وتجميع الأعمدة بالاعتماد على هامش تسامح لمحاذاة المحور الأفقي x. وتوجد آلية حماية ترفض النصوص النثرية المتجاورة التي قد تشبه الجداول شكلياً.
• التوفيق على مستوى دقة الأسطر (Line-granularity reconciliation): بدلاً من استبعاد كتلة نصية كاملة تتداخل مع جدول تم اكتشافه، يختبر خط المعالجة كل سطر على حدة؛ ولا يُحجب السطر إلا إذا وقع أكثر من 50% من مساحته داخل مستطيل الجدول، مما يحافظ على الجمل المجاورة التي تشترك فقط في الكتلة النصية مع جزء من الجدول.
• إلغاء تكرار الصور النقطية (Raster de-duplication): تُحذف الصور النقطية المضمنة المكررة الأكبر من $32 \times 32$ بكسل باستخدام تجزئات MD5، وتُمثَّل بعناصر نائبة للأشكال مثل ## Figure-{page}.{n}. وتُفعّل العناصر النائبة المتبقية نماذج التوليد البصري للشروح، ومن بين النماذج المعروضة في البنية Gemma-3 وLlama-4-Scout.

تكون مخرجات المرحلة 1 عبارة عن نصوص Markdown موسومة تحافظ على علامات صريحة للصفحات ### Page: N، وللجداول، وللأشكال. وتُعد إعادة البناء الهيكلي المباشر والشرح البصري جزءين متمايزين في تلك العملية.

The scarcity trap: Auditing extraction when 90% of data is text

قبل تمرير نصوص Markdown المستخرجة إلى نموذج التضمين (embedding model)، عليك التأكد مما إذا كان المستخرج قد أدى عمله بنجاح؛ وهذا ما ينقلنا إلى المرحلة 2: تنقيح البيانات وتقييم الاستخراج.

يواجه تقييم استخراج المستندات عبر مستودعات المؤسسات مشكلة عينات معقدة؛ فإذا كانت غالبية الصفحات نصوصاً مجردة، فقد يؤدي أخذ عينات عشوائية إلى تمثيل ضعيف جداً للصفحات الممسوحة ضوئياً والمخططات والرسوم البيانية (infographics)، مما يعيق تقدير جودة الاستخراج بدقة. لذا تتطلب الوسائط النادرة تمثيلاً متعمداً في مجموعة التقييم.

قام المؤلفون بصياغة هذه المشكلة كمسألة تغطية (covering problem) مع تصنيفات متعددة لكل صفحة. ويشمل تصنيفهم الفئات التالية: ممسوح ضوئياً (Scanned)، نص (Text)، جدول (Table)، رسم تخطيطي (Diagram)، رسم بياني/إنفوجرافيك (Graph/Infographic)، وصورة فوتوغرافية/توقيع (Photo/Signature).

بناءً على الحصص المستهدفة $t_m = \lceil \phi_m N \rceil$ لكل وسيط عبر ميزانية إجمالية قدرها $N$ صفحة، تُطبق الخوارزمية 1 (Algorithm 1) أسلوباً جشعاً قائماً على القواعد الإرشادية يعطي الأولوية للأنماط الأكثر ندرة (scarcity-first greedy heuristic):

1. ترتيب الوسائط تصاعدياً حسب حصتها المستهدفة. يتبع هذا الترتيب الحصص المحددة مسبقاً، وليس بالضرورة تكرارها الملحوظ في مجموعة البيانات.
2. بالنسبة للوسيط النشط، ترتيب الصفحات المرشحة وفقاً لدرجة الفائدة (helpfulness score): وهي عدد الحصص الأخرى التي لا تزال غير مستوفاة والتي تحققها الصفحة أيضاً.
3. اختيار الصفحات طالما أن هناك حصة غير مستوفاة لهذا الوسيط مع بقاء صفحات مرشحة، وتحديث حالات العجز عبر جميع التصنيفات المطابقة.
4. استكمال الميزانية بصفحات غير مختارة أو استبعاد الاختيارات ذات الفائدة المنخفضة للوصول إلى ميزانية الصفحات المحددة، ثم تقديم تقرير يقارن التغطية المستهدفة بالتغطية المحققة.

تعد هذه الطريقة أسلوباً إرشادياً لا يضمن استيفاء كل حصة بالكامل. ويمكن تصدير الصفحات المختارة كملفات PDF أحادية الصفحة معزولة أو كمستندات مصدرية كاملة عندما يكون السياق مهماً. ويقوم مصنف عمل مكوّن من ست صفحات بتسجيل الإعدادات، والاختيارات، والإحصاءات، والتوزيع المحقق، لتُجرى بعد ذلك عملية الرقمنة للحقيقة الأرضية والتحقق البشري من العينة.

Scoring text and table fidelity

تقوم منصة التقييم بتوحيد النصوص عبر صيغة Unicode NFKC، ومطابقة حالة الأحرف، وتوحيد علامات الترقيم والمحارف المركبة (ligatures)، وإزالة وسوم Markdown وHTML، ودمج المسافات البيضاء. وتحسب المنصة معدل خطأ الحروف (CER) ومعدل خطأ الكلمات (WER) عبر مسافة ليفنشتاين (Levenshtein distance)، إلى جانب مقاييس الدقة (precision)، والاسترجاع (recall)، وF1، وF1 لحقيبة الكلمات (bag-of-words)، وBLEU-4 الممهد (smoothed)، ونسبة الطول $(|\hat{c}| / |c|)$.

تشير هذه النسبة إلى احتمالية التوليد الزائد أو فقدان المحتوى، لكنها لا تحدد بذاتها ما إذا كان النص الإضافي ناتجاً عن تكرار أم عن هلوسة (hallucination).

بالنسبة للجداول، يضيف نظام التقييم مقارنة هيكلية باستخدام مقياس التشابه القائم على مسافة تعديل الشجرة (TEDS). تُحلل جداول الأنابيب (pipe tables) وجداول HTML إلى شبكات مستطيلة وتُمثَّل كأشجار (table -> row -> cell). وتتخذ صيغة التشابه المسجلة الشكل التالي:

$$\text{TEDS}(T_a, T_b) = 1 - \frac{\text{EditDist}(T_a, T_b)}{\max(|T_a|, |T_b|)}$$

يقيس هذا المقياس تنظيم الجدول، كما يقيس الفروق بين نصوص الخلايا في الوضع الحساس للمحتوى الموضح في الورقة.

أخيراً، يتم ترتيب الواجهات الخلفية باستخدام درجة مركبة ($Q_m \in [0, 100]$):

$$Q_m = 100 \cdot \frac{\sum_j w_j \mu_{j,m}}{\sum_j w_j} \cdot \text{cov}_m$$

تتجه هذه المقاييس نحو الدقة وتُدمج باستخدام أوزان قابلة للتعديل. يمثل المتغير $\text{cov}_m$ نسبة الملفات المتوقعة التي أنتج النموذج مخرجات لها؛ حيث تؤدي الملفات المفقودة إلى خفض الدرجة تناسبياً، مما يعاقب صراحةً أي محرك يتخطى المستندات الصعبة.

والنتيجة هي درجة تقييم قابلة للتخصيص، وليست نسبة مئوية مستقلة للمحتوى المستخرج بشكل صحيح.

Parent-child chunking: Small cards inside large folders

تتناول المرحلة 3 عملية تقطيع النصوص (chunking)، وتصف الورقة نمطين متنافسين من الإخفاق:

• المقاطع الكبيرة (Large chunks): قد تضعف إسهام الفقرة ذات الصلة في التضمين؛ فوفقاً لتقريب التجميع بالمتوسط (mean-pooling) الموضح في الورقة، يقل إسهام الجملة الواحدة ذات الصلة كلما زاد عدد الجمل في المقطع.
• المقاطع الصغيرة (Small chunks): قد تؤدي إلى تفتيت الإجابة عبر أجزاء متفرقة تكون فرادى ضعيفة في مطابقة الاسترجاع.

تعالج البنية المعمارية هذه المفاضلة بفصل وحدة الاسترجاع عن وحدة السياق.

الوحدات المسترجعة هي الفروع (children): وهي بطاقات فهرسة مركزة تستهدف 320 رمزاً (tokens)، مع حد أقصى للنثر العادي يبلغ 512 رمزاً. أما وحدات السياق فهي الأصول (parents): وهي مجلدات هيكلية بحد أقصى مهيأ يبلغ 3,500 رمز. وليست هذه الحدود مطلقة دون استثناءات؛ فالجمل الفردية الطويلة جداً والجداول أو الأشكال غير القابلة للتجزئة (atomic) تظل محفوظة بالكامل، كما يمكن للجدول أو الشكل كبير الحجم أن يتجاوز الحد الأقصى للأصل.

تُضمَّن الفروع باستخدام نموذج GTE، وتُطبَّع بمعيار L2، وتُفهرس في مكتبة FAISS باستخدام فهرس الجداء الداخلي الدقيق (IndexFlatIP). وتُخزَّن الأصول في خريطة مفتاح-قيمة تربط بين parent_id ونص الأصل.

وعند الاستعلام، يسترجع البحث المتجهي بطاقات الفروع. وتوسيع الفرع للوصول إلى أصله المخزن يتطلب عملية بحث واحدة بتعقيد زمني $O(1)$. ويصف هذا التعقيد عملية جلب السياق فقط، وليس البحث المتجهي أو الاستعلام بأكمله.

Document Markdown
       │
       ▼
[Parent Section Folder: configured maximum 3,500 tokens]
       │                                      (Key-Value Store)
       │
       ├──► Child Card 1: target ~320 tokens (FAISS Index)
       │      Optional prefix: "Doc > Section > Subsection (p.4)"
       │
       ├──► Child Card 2: target ~320 tokens (FAISS Index)
       │      Optional prefix: "Doc > Section > Subsection (p.4)"
       │
       └──► Child Card 3: whole atomic table (FAISS Index)

The four packing rules

يتبع تجميع الجمل داخل الدالة pack_sentences() أربع قواعد:

• القاعدة 1 (ميزانية الرموز): استهداف ما يقارب 320 رمزاً باستخدام مُجزئ GPT-2، مع حد أقصى يبلغ 512 رمزاً للنصوص النثرية العادية.
• القاعدة 2 (الحفاظ على الجمل): عدم القطع في منتصف الجملة أبداً؛ حيث يتم التقسيم عند علامات الترقيم مع الحفاظ على علامات الاقتباس والأقواس اللاحقة. وإذا تجاوزت جملة واحدة الحد الأقصى، تُصدر كمقطع منفصل بدلاً من اقتطاعها.
• القاعدة 3 (منع الفتات - No crumbs): إذا انخفضت المجموعة المجمعة عن الحد الأدنى للرموز، تُدمج مع الجمل غير المتداخلة للمقطع السابق طالما أن الحجم الإجمالي لا يتجاوز الحد الأقصى.
• القاعدة 4 (الجداول والأشكال كوحدات غير مجزأة): عندما يصادف المُجمّع جدولاً أو شكلاً، يفرغ النصوص النثرية المعلقة ويُصدر الوحدة الهيكلية بالكامل كفرع مستقل، حتى وإن تجاوزت تلك الوحدة ميزانية الرموز العادية.

عند إغلاق مقطع لأن الجملة التالية ستتجاوز الحد الأقصى، ينقل النظام ما يصل إلى 48 رمزاً من الجمل الكاملة الأخيرة إلى المقطع التالي.

ولإضافة سياق موضعي دون الحاجة إلى إعادة صياغة بواسطة نموذج لغوي كبير (LLM)، تسبق مسارات التنقل الاختيارية (breadcrumbs) نص تضمين كل فرع بعنوانه الهيكلي: Document > Title > Section > Subsection (p.N). ويُحفظ النص الأصلي الخام دون بادئة بشكل منفصل لأغراض العرض.

Auditing retrieval: 25,050 questions with a read-only evaluator

تختتم المرحلة 4 الحلقة عبر RetrievalEvaluator. وانطلاقاً من مبدأ عدم تعديل ما تقيسه إطلاقاً، تفتح منصة التقييم الفهرس باستخدام faiss.IO_FLAG_READ_ONLY، وتُعيد استخدام نفس بصمة تضمين GTE وقواعد وسوم الصفحات المستخدمة أثناء الفهرسة بدقة.

يولّد المُقيّم أسئلة اصطناعية مبنية على النصوص باستخدام Mistral-Medium للصفحات التي تحتوي على حد أدنى محدد من الرموز. وتطلب التوجيهات أسئلة محددة على مستوى الحقائق وأسئلة عامة تجمع المحتوى عبر الصفحة، وتشترط مخرجات بتنسيق JSON خام، وتمنع استخدام أي معرفة خارجية. تضع هذه التعليمات قيوداً على التوليد، لكنها لا تثبت بشكل مستقل صحة كل سؤال يتم توليده.

يتم تضمين كل سؤال باستخدام GTE والبحث عنه داخل مستنده المصدري باستخدام IDSelectorBatch في FAISS، مع خيار احتياطي للمطابقة الشاملة عند عدم توفر دعم المحددات. وتُزال التكرارات من الفروع المسترجعة وفقاً لـ parent_id، مع الاحتفاظ بالفرع ذي أعلى درجة لكل أصل. كما يجلب البحث عدداً فائضاً من المرشحين لضمان إرجاع أصول مميزة.

تُسجَّل النتيجة كإصابة ناجحة (hit) إذا تجاوز الفرع المرشح عتبة تشابه جيب التمام $s(q, c) \ge \theta$ ووقعت صفحته المصدرية ضمن نطاق صفحة واحدة ($\delta = 1$) من مصدر السؤال:

$$\text{hit}(q, c) = 1_{s(q, c) \ge \theta ;\wedge; |\pi(c) - \pi(q)| \le \delta}$$

وعلى مجموعة بيانات Orion، قام نظام الفحص بتوليد وتقييم 25,050 سؤالاً عبر 180 مستنداً:

• hit@1: 68.58%
• hit@3: 82.30%
• hit@5: 87.66%
• hit@10: 92.77%
• متوسط الرتبة العكسية (MRR): 0.7745
• الرتبة الوسيطة (Median Rank): 1.0 (متوسط الرتبة: 1.81)
• الأسئلة التي لم تُسترجع عند جميع الرتب التي تم تقييمها: 1,810 (7.2%)
• متوسط زمن الاستجابة لكل استعلام: 0.81 ثانية، ويُعزى أغلبه إلى استدعاءات التضمين عن بُعد.

حقق أكثر من ثلثي الأسئلة معيار النجاح لدى المُقيّم عند أول أصل مُسترجع، وعند استرجاع عشرة أصول مميزة، وصلت تلك النسبة إلى 92.77%.

تُمثل هذه النتائج مؤشرات تقريبية للاسترجاع (retrieval-proxy results)؛ فالمعيار يتحقق من التشابه والقرب من الصفحة، وليس من قسم مستهدف محدد ومصنف بشكل مستقل أو من صحة الإجابة المولدة. ونظراً لأن البحث كان مقصوراً على المستند المصدري، فإن هذه الأرقام لا تقيس أيضاً مدى القدرة على العثور على المستند الصحيح عبر مجموعة البيانات بأكملها.

The extraction benchmark: Larger back-ends vs. compact models

يعرض المؤلفون درجات الاستخراج لأربع واجهات خلفية مخصصة للإنتاج. وتستند قياساتهم إلى أدوات التقييم الخاصة بالنظام على مجموعات بيانات داخلية، وليست لوحة صدارة عامة ومستقلة.

Model	Composite Score ($Q_m$)	Character Error Rate (CER)	Word Error Rate (WER)	Table Similarity (TEDS)	Inference Time on Orion	Total Wall-Clock Time on Orion
Gemini 3.1 Pro	97.37	0.13%	0.13%	0.9952	Not separately reported	Not separately reported
Mistral OCR v3	95.98	1.39%	1.55%	0.9737	~611 s	2,672.67 s
Granite-Docling (258M)	92.92	2.60%	2.90%	0.9599	~1,350 s	3,411.86 s
SmolDocling (256M)	90.70	4.43%	4.82%	0.9274	Not separately reported	Not separately reported

Note: Extraction wall-clock totals include approximately 2,062 seconds of shared preprocessing, described as image enhancement and layout parsing. The paper places the other two back-ends between the reported timing extremes without giving their individual times.

تصدر Gemini 3.1 Pro ترتيب الدقة المسجل، محققاً معدل خطأ حروف (CER) بلغ 0.13% ودرجة TEDS بلغت 0.9952.

وجاء Mistral OCR v3 في المركز الثاني بدرجة مركبة بلغت 95.98؛ ورغم أن معدل خطأ الحروف لديه (1.39%) كان أعلى بقرابة رتبة مقدارية من Gemini، إلا أنه حقق أسرع زمن استخراج مسجل؛ حيث استغرق جزء الاستدلال الخاص بالنموذج نحو 611 ثانية، مقارنة بنحو 1,350 ثانية لنموذج Granite-Docling.

أما النماذج المدمجة، Granite-Docling وSmolDocling، فقد تأخرت عن Gemini بنحو 4.5 و6.7 نقطة مركبة على التوالي؛ حيث سجلت معدلات CER بلغت 2.60% و4.43%، ودرجات TEDS بلغت 0.9599 و0.9274. وتُمثل هذه الأرقام نتائج قياسية مجمعة، وليست قياسات منفصلة لنصوص المتن البسيطة أو لمستويات صعوبة محددة في الجداول.

تستشهد الورقة أيضاً بأعمال سابقة في كشف الجداول عبر شبكات CNN واستخراج الخلايا عبر بنية Encoder-Dual-Decoder والتي سجلت دقة كلمات بنسبة 85% على الجداول الصورية. يوفر ذلك سياقاً تاريخياً، إلا أن النتائج المقدمة لا تؤسس لمقارنة على مجموعات بيانات متطابقة تتيح حساب تحسن منضبط وموثق مقارنة بذلك النظام السابق.

Why it matters: The real trade-offs for production document pipelines

إذا كنت قائداً هندسياً أو مديراً للمنتج تبني منظومة استيعاب المستندات للبحث المؤسسي أو مسارات العمل الوكيلة، فإن هذه الورقة تقدم عدة دروس تشغيلية:

1. The cheapest OCR call is the one you never make

أبقى التوجيه الانتقائي 91.9% من صفحات Orion بعيداً عن مسار OCR على مستوى الصفحة، وهي نتيجة ملموسة تستحق الاختبار على مستنداتك الخاصة.

لا يعني هذا خفضاً مقاساً بنسبة 91.9% في التكلفة الإجمالية؛ فالاستخراج المباشر لا تزال له تكاليف معالجة، كما أن توليد الشروح للأشكال قد يستدعي النماذج البصرية. ولا تقدم الورقة أسعاراً لكل صفحة أو مقارنة فواتير قبل التطبيق وبعده؛ بل الدرس المستفاد هنا أكثر دقة: النصوص المتاحة مباشرة لا تحتاج بالضرورة إلى معالجة OCR على مستوى الصفحة. وتكتسب هذه النقطة أهمية مضاعفة مع النصوص العربية، إذ إن طبيعتها المتصلة واتجاهها من اليمين لليسار وتغير أشكال حروفها حسب موضعها مع التشكيل والمحارف المركبة (ligatures) تزيد من تعقيد التعرف الضوئي (OCR) مقارنة بالاستخراج المباشر للنصوص الرقمية.

2. Shared preprocessing deserves a place in your latency budget

يُظهر الشكل 4 توزيع زمن الاستخراج بوضوح: فقد استُهلك نحو 2,062 ثانية في تحسين الصور وتحليل التخطيط المشتركين، مقارنة بـ 611 ثانية فقط لاستدلال Mistral OCR.

وهذا يضع المعالجة المسبقة عند نحو 77% من إجمالي زمن الاستخراج الفعلي في أسرع إعداد، ونحو 60% في أبطأ إعداد. ويحدد المؤلفون هذه المرحلة كهدف التحسين التالي.

لا تحدد هذه القياسات نسبة استهلاك المعالج (CPU)، أو التنفيذ التسلسلي، أو مقدار التسريع الذي قد ينتج عن المعالجة المتعددة أو تغيير مرشحات الصور؛ لكنها توضح بجلاء لماذا يترك اختيار أسرع واجهة خلفية لـ OCR جزءاً كبيراً من وقت الاستخراج دون أي تحسين.

3. Character error rate is only part of extraction quality

لا تقدم درجة النص وحدها تقييماً شاملاً لمدى دقة الجداول؛ إذ تقيّم الورقة الأمرين معاً، دامجةً مقاييس الحروف والكلمات مع بنية الجدول والمقاييس المرتبطة بالخلايا.

وعند المقارنة بين أدوات الاستخراج، احرص على الحفاظ على هذا التمايز؛ إذ يوفر TEDS دليلاً هيكلياً إلى جانب CER وWER، وفي حين تجمع الدرجة المركبة بين هذه الإشارات، يجب ألا تخفيها أو تطمس تفاصيلها.

4. Separate your retrieval cards from your context windows

تقدم بنية "الأصل والفرع" الموضحة في الورقة طريقة عملية لمطابقة الفقرات القصيرة مع إرجاع سياق أوسع نطاقاً؛ حيث تحافظ الوسوم الهيكلية على سلامة الجداول والأشكال، وتضيف مسارات التنقل الاختيارية الموضع داخل المستند إلى النص الجاري تضمينه.

تُثبت تجربة Orion إمكانية تقييم هذا التصميم على نطاق واسع؛ غير أنها لا تتضمن مقارنة استرجاع منضبطة تثبت تفوق تقطيع "الأصل والفرع" على التقطيع الثابت أو الدلالي أو البدائل الأخرى على مجموعة البيانات نفسها.

Where the system hits its limits

يصف المؤلفون النظام بأنه جاهز لبيئات الإنتاج، غير أن الأدلة تفرض عدة حدود يجب مراعاتها عند قراءة النتائج:

• الاعتماد على الأسئلة الاصطناعية: تستخدم قياسات الاسترجاع أسئلة مولدة عبر Mistral-Medium. وتشير الورقة صراحة إلى أن هذا المؤشر البديل يعتمد على جودة النموذج المولد، ولا تقدم نتائج تحقق مقابل مجموعة من استعلامات المستخدمين الحقيقية.
• إصابات محصورة بالمستند ومعتمدة على الصفحات: يتم البحث داخل المستند المصدري للسؤال فقط، ويعتمد النجاح على مقياس التشابه والقرب من الصفحة؛ ولا تثبت هذه النتائج دقة اختيار المستندات على مستوى المجموعة الكاملة أو صحة الإجابات المولدة.
• تقييم داخلي ومقارنات محدودة: الدرجات المسجلة هي قياسات ذاتية على مجموعات بيانات داخلية. ولا تقدم الورقة دراسة لإلغاء المكونات (ablation study) لآلية التقطيع أو مقارنة استرجاع منضبطة مع الاستراتيجيات البديلة التي ناقشتها.
• قواعد توجيه إرشادية قابلة للتعديل: تؤدي عتبة مساحة الصورة البالغة 80% إلى نسبة التوجيه المسجلة على Orion؛ ولم تثبت الورقة دقة هذا التوجيه عبر مجموعات مستندات أخرى، كما أن قاعدة تصنيف الصفحات الممسوحة ضوئياً الأكثر صرامة تخص مرحلة التنقيح وليس توجيه الاستخراج.
• المراقبة تظل مقترحاً جزئياً: يتطلب حساب CER وWER المرجعيين وجود حقيقة أرضية (ground truth). وتناقش الورقة إشارات غير مرجعية واستراتيجيات للمعايرة، لكنها تصنف منهجية المراقبة كفرضية أو توجه مستقبلي وليست ككود معايرة تم إطلاقه فعلياً؛ ولا يمكن لمثل هذه الإشارات تقديم معدل خطأ حقيقي بمفردها.

The takeaway

يستحق استيعاب المستندات اهتماماً أكبر من مجرد اعتباره برنامجاً نصياً مساعداً يُكتب لمرة واحدة ويُنسى؛ فهو، في إطار رؤية المؤلفين، يمثل طبقة الإدراك لنظام الذكاء الاصطناعي التوليدي.

ومن خلال الجمع بين التوجيه الانتقائي، وإعادة البناء الهيكلي الحتمي، والتقطيع الواعي بالبنية بين الأصل والفرع، والمُقيّمات في وضع القراءة فقط، تقدم الورقة مساراً عملياً لجعل قرارات الاستيعاب واضحة وقابلة للقياس. ويبقى أقوى إسهاماتها هو الربط المحكم بين هذه المكونات والأدلة التي تولدها عن أدائها.

قبل أن تقضي أسبوعاً آخر في ضبط الأوامر النصية (prompts) أو اختبار نماذج إعادة الترتيب (re-ranking)، ألقِ نظرة فاحصة على طبقة استيعاب المستندات لديك؛ فإذا أضاع المُحلل المعلومات الموجودة على الصفحة، ستبدأ عمليات الاسترجاع اللاحقة بمشكلة قد لا تجد سبيلاً لإصلاحها.