أرسلنا صفحة بيضاء فارغة إلى 184 محركاً للتعرف الضوئي على الحروف.. وقرأها بعضها على أي حال
لم تكن صورة الاختبار لتحتمل قدراً أكبر من البساطة؛ إذ كانت مجرد مستطيل رقمي بعرض 800 بكسل وارتفاع 1000 بكسل، وكل بكسل فيه يحمل قيمة نقية هي RGB 255, 255, 255. لم يكن هناك غبار، ولا أثر خافت لقلم رصاص، ولا شوائب مسح ضوئي عارضة، ولا علامة مائية مخفية. كانت مساحة مطلقة من الفراغ الرقمي.
وعندما أرسلنا هذه الصورة إلى نموذج Gemini 3.1 Flash-Lite من Google، لم يتردد النموذج إطلاقاً، ولم يُرجع رمز خطأ أو نصاً فارغاً، بل أعاد بدلاً من ذلك ثلاث كلمات: "REDUCE / REUSE / RECYCLE".
أعدنا التجربة مرة أخرى، فقرأ النموذج هذه المرة: "THE END OF THE CHAPTER". وفي محاولة أخرى، نسَخ نصاً بعنوان "THE WONDER OF IT ALL BY DR. BENJAMIN E. MAYS"، مزوداً بمقدمة مُختلَقة بالكامل منسوبة إلى Dr. Martin Luther King Jr. وسواء عبر نقطة نهاية واجهة برمجة التطبيقات الأصلية لـ Google أو نقطة النهاية المتوافقة مع OpenAI، حدّق المحرك في الفراغ الرقمي ورأى مكتبة كاملة.
بدأ هذا الاكتشاف مصادفةً أثناء اختبار إصلاح لمشكلة الإسقاط الصامت للنصوص (silent dropouts). كان نموذج Gemini 3.1 Flash-Lite يعيد أحياناً نصاً فارغاً عند معالجة مستندات مقروءة تماماً مع إبلاغه للطرف المستدعي بنجاح العملية، وهي مشكلة حلّتها OpenOCR عبر جميع المحركات في وقت سابق من هذا الأسبوع (اقرأ الإعلان المنفصل). وأثناء التحقق من ذلك الإصلاح باستخدام صورة بيضاء فارغة كعينة ضابطة، توقع فريقنا ألا يُرجع النموذج أي نص، لكنه بدأ بدلاً من ذلك في كتابة مقالات كاملة.
دفعنا ذلك إلى إجراء اختبار أوسع؛ فإذا كان أحد المحركات متعددة الوسائط الشائعة يهلوس بمستندات كاملة من العدم، فما الذي ستفعله بقية المحركات في السوق؟ ولمعرفة ذلك، أطلقنا منصة التقييم HallucinationBench. جمعنا 184 محركاً للتعرف الضوئي على الحروف متاحة على OpenOCR بسعر سنت واحد أو أقل للصفحة الواحدة، شملت برمجيات OCR الكلاسيكية، وخطوط معالجة المستندات السحابية، ونماذج الرؤية واللغة الحديثة. تلقى كل محرك الصورة البيضاء الفارغة نفسها ثلاث مرات متتالية، بمجموع 552 استدعاءً بلغت تكلفتها الإجمالية نحو 75 سنتاً عبر حساب الاختبار الخاص بنا.
كانت النتائج مذهلة؛ فمن بين 183 محركاً أكملت تشغيلها، اختلق 24 محركاً (حوالي 13 بالمئة) نصوصاً لمرة واحدة على الأقل، في حين هلوس 11 محركاً في كل استدعاء مكتمل دون استثناء.
لم تكن هذه المحركات نماذج بحثية أولية مغمورة، بل شملت المحركات التي اختلقت النصوص نماذج إنتاجية فعلية من Google وOpenAI وMistral وعائلة Qwen من Alibaba وNVIDIA. وفي المقابل، أعادت جميع محركات OCR الكلاسيكية التي اختبرناها صمتاً مطبقاً، بما في ذلك AWS Textract وAzure Document Intelligence وGoogle Document AI وIBM Docling، فضلاً عن البرمجيات مفتوحة المصدر الراسخة مثل Tesseract وOCRmyPDF؛ إذ نظرت إلى الصفحة البيضاء الفارغة ولم ترَ فيها شيئاً.
كما اجتازت نماذج الاستدلال الرائدة الاختبار بجدارة؛ إذ نظرت عائلة Claude 4.5 من Anthropic (بإصداراتها Haiku وSonnet وOpus)، ونماذج GPT-4.1 وGPT-4o القياسية من OpenAI، ونماذج Nova Lite وNova Pro من Amazon، إلى الصورة وأعادت إما نتيجة فارغة أو أوضحت بأدب أن الصفحة خالية تماماً من النصوص. وجاءت الهلوسات حصرياً تقريباً من فئة النماذج التي تختارها الشركات بشكل متزايد لمعالجة المستندات بسرعة فائقة وتكلفة منخفضة: النماذج اللغوية متعددة الوسائط الصغيرة والسريعة.
ولم تكن المخرجات المختلقة سلاسل عشوائية من الحروف أو رموز محارف تالفة، بل كانت مستندات متماسكة، ومنسقة، ومصاغة نحوياً بإحكام، وتبدو تماماً كأوراق ومستندات رسمية حقيقية.
أنتج نموذج Mistral Large بعضاً من أكثر المخرجات لفتاً للأنظار؛ ففي تشغيله الأول، قدّم سيرة ذاتية مهنية كاملة لشخص يدعى "Dr. John Doe" يقيم في 1234 Elm Street بمدينة Anytown في الولايات المتحدة، تضمنت حصوله على بكالوريوس العلوم في علم الأحياء بمعدل تراكمي 3.8 GPA مع مرتبة الشرف العليا (Summa Cum Laude). وفي تشغيل آخر، صوّر Dr. John Doe كطبيب ممارس، مُولّداً سجل استقبال مريض لامرأة تدعى Jane Smith، مشتملاً على تاريخ الميلاد ورقم هوية المريض والتشخيص السريري بارتفاع ضغط الدم والسكري من النوع الثاني.
وفي المحاولة الثالثة، غاص Mistral Large في التاريخ ليصيغ رسالة رسمية موجهة إلى Dr. J. Allen Hynek في Center for UFO Studies بمدينة Evanston بولاية Illinois، وبدأت الرسالة بعبارة: "Dear Dr. Hynek, I am writing to you in regards to a sighting of a U.F.O. that I had on the night of June 15, 1976". وفي مرحلة لاحقة من الاختبار، أنتج الفصل الافتتاحي لإحدى قصص Sherlock Holmes برواية Dr. Watson.
وكان لنموذج GPT-4.1 Mini من OpenAI هواجسه الخاصة المتميزة؛ ففي إحدى المرات، أنشأ فحصاً صحياً بيومترياً كاملاً باللغة الإسبانية لمريض يدعى Pablo Gonzalo Huerta Estrada، مسجلاً وزنه بـ 74.5 كيلوغراماً، وطوله بـ 1.66 متراً، ومؤشر كتلة جسمه عند 27.03. وفي نقطة فحص أخرى، نسَخ دليلاً لمختبر جامعي لصبغ أنسجة القشرة المخية للجرذان، مفصلاً الكواشف الكيميائية مثل Sudan black B وNissl substance وMethylene blue وToluidine blue. وفي محاولة ثالثة، أخرج استمارة موافقة كاملة على إعطاء الأدوية لمدرسة ابتدائية وهمية.
ونسجت نماذج أخرى روايات لا تقل حيوية؛ إذ أورد نموذج Qwen 3.6 Flash من Alibaba استشهادات من سجلات القضايا القانونية البريطانية في ستينيات القرن التاسع عشر (1860s)، مقتبساً نزاعات فيكتورية مثل Brewster v. Moxon, 7 Jur. N.S. 589 وBrickell v. Smithson. وطبع نموذج Mistral Small 2506 عبارة "MARINE CORPS" عشر مرات داخل كتلة كود markdown كأنها هتاف عسكري. وصاغ نموذج Inkling Small من Thinking Machines ورقة عمل في هندسة الطيران بعنوان "JETCUSSION: Energy Conservation through APPROPRIATE Maintenance". ورأى نموذج Ling 3.0 Flash VL من InclusionAI علبة حساء Campbell's Healthy Request. بينما نظر نموذج Nemotron 3.5 Content Safety من NVIDIA إلى الفراغ الأبيض الخالص وأصدر شهادة مطمئنة: "User Safety: safe".
ولمعرفة كيفية تعامل المحركات المختلفة مع الصمت، إليكم مقارنة بين المحركات الأحد عشر التي هلست باستمرار ومجموعة مختارة من المحركات التي لم تختلق أي نص على الإطلاق. وجميع هذه المخرجات متاحة للعامة: انقر على أي محرك لقراءة ما أعاده بالضبط في المحاولات الثلاث.
| Engine | Hallucinated | Clean | Tries | Observed Behavior |
|---|---|---|---|---|
| google-gemini-3.1-flash-lite | 3 | 0 | 3 | Commercial ads, math quizzes, "REDUCE / REUSE / RECYCLE" |
| google-gemini-3.1-flash-lite-preview | 3 | 0 | 3 | Decorative formatting and title pages |
| mistral-mistral-large-2512 | 3 | 0 | 3 | Professional résumés, Spanish library requests |
| mistral-mistral-large-latest | 3 | 0 | 3 | Patient records, 1976 UFO letters, Sherlock Holmes fiction |
| openai-gpt-4.1-mini | 3 | 0 | 3 | Patient biometric charts, school medication consent forms |
| openai-gpt-4.1-mini-2025-04-14 | 3 | 0 | 3 | Rat brain histology stain inventories, hex-encoded text |
| openrouter-google-gemini-3.1-flash-lite | 3 | 0 | 3 | 988 crisis hotline notices |
| openrouter-inclusionai-ling-3.0-flash-vl | 3 | 0 | 3 | Campbell's Healthy Request soup labels |
| openrouter-mistralai-mistral-small-3.1-24b-instruct | 2 | 0 | 2 | Numbered markdown code blocks |
| openrouter-nvidia-nemotron-3.5-content-safety | 3 | 0 | 3 | "User Safety: safe" certifications |
| openrouter-thinkingmachines-inkling-small | 3 | 0 | 3 | Aeronautical maintenance white papers, chemical catalog entries |
| aws-textract | 0 | 3 | 3 | Pure silence (empty response) |
| azure-doc-intel | 0 | 3 | 3 | Pure silence (empty response) |
| google-doc-ai | 0 | 3 | 3 | Pure silence (empty response) |
| ibm-docling-hosted | 0 | 3 | 3 | Pure silence (empty response) |
| local-tesseract | 0 | 3 | 3 | Pure silence (empty response) |
| openocr-ocrmypdf | 0 | 3 | 3 | Pure silence (empty response) |
| anthropic-claude-haiku-4.5 | 0 | 3 | 3 | Explicitly reported image as blank |
| anthropic-claude-sonnet-4.5 | 0 | 3 | 3 | Explicitly reported image as blank |
| openai-gpt-4o-2024-08-06 | 0 | 3 | 3 | Explicitly reported image as blank |
| openrouter-amazon-nova-lite-v1 | 0 | 3 | 3 | Explicitly reported image as blank |
لماذا يحدث هذا؟ تكمن الإجابة في الاختلاف الجذري بين البنى المعمارية متعددة الوسائط الحديثة والماسحات التقليدية للمستندات؛ إذ يعتمد التعرف الضوئي التقليدي على الحروف على خوارزميات الرؤية الحاسوبية المصممة لاكتشاف حدود التباين والحواف وأشكال المحارف الرسومية (glyphs). فإذا لم تكن هناك أي آثار حبر على الورقة، فلن تكتشف مستخرجات الميزات أي شيء، ويتوقف مسار المعالجة تماماً.
أما نماذج الرؤية واللغة، فتعمل وفق مبدأ مختلف كلياً؛ فهي تعالج الصورة عبر تقسيمها إلى شبكة من الرقع (patches)، وإسقاط تلك الرقع في تضمينات رقمية مستمرة (embeddings)، ثم تمريرها إلى مفكك ترميز محوّل ذاتي الانحدار (autoregressive transformer decoder). وقد جرى تدريب الجزء اللغوي من النموذج على مليارات الرموز لتوقع الكلمة المحتملة التالية في المستند.
عندما تحتوي الصورة على نص مطبوع واضح، فإن الرموز المرئية توجّه النموذج اللغوي. ولكن عندما تكون الصورة فراغاً أبيض خالياً، لا تقدم التضمينات المرئية أي توجيه على الإطلاق. وبدلاً من التوقف وإصدار رمز نهاية التسلسل فوراً، يجد مفكك الترميز نفسه في حالة كامنة غامضة تتولى فيها احتمالاته اللغوية المسبقة زمام القيادة. وإذا مالت الاحتمالية الرياضية ولو قليلاً نحو ترويسة مستند أو عنوان ما، يُخرج النموذج كلمة واحدة. وبمجرد ظهور تلك الكلمة الأولى، يقوم المحوّل بما يجيده تماماً: التنبؤ بالرمز المنطقي التالي، ناسجاً مستنداً متكاملاً ومعقولاً حتى يصل إلى نقطة توقف.
إنها ظاهرة الباريدوليا الحاسوبية (Computational pareidolia)؛ فكما ينظر الدماغ البشري إلى السحب فيرى فيها وجوهاً، ينظر نموذج صغير متعدد الوسائط إلى 800,000 بكسل أبيض متطابق فيرى فيها سيرة ذاتية لطبيب.
في سياق منصات الاختبار والمقارنة، قد يكون مشهد هلوسة الذكاء الاصطناعي برسالة عن أطباق طائرة من عام 1976 أمراً مسلياً، لكنه في بيئات معالجة المستندات الإنتاجية الفعلية يُعد أمراً بالغ الخطورة.
فالصفحات الفارغة شائعة جداً في المعاملات الورقية التجارية؛ إذ تصوّر الماسحات الضوئية المزدوجة عالية السرعة بانتظام الجوانب الخلفية غير المطبوعة من الفواتير والعقود والإيصالات والملفات الطبية، كما تحتوي حزم ملفات PDF متعددة الصفحات كثيراً على أوراق فواصل فارغة، وأغلفة خلفية غير مطبوعة، وحقول توقيع خالية.
عندما يعالج المحرك صفحة فارغة ويُرجع صمتاً، تعرف الأنظمة التابعة كيفية التصرف؛ فيتم تخطي الصفحة أو تمييزها للمراجعة. ولكن عندما يملأ نموذج الرؤية صفحة فارغة بمخطط طبي مصطنع، أو سابقة قانونية وهمية، أو قائمة بنفقات الشركات، تعجز البرمجيات التابعة عن اكتشاف هذا التضليل بسهولة، حيث يصل النص منسقاً بعناية، وبترقيم دقيق، وخالياً من الأخطاء الإملائية، فيتجاوز قواعد التحقق ويتسلل إلى قواعد البيانات كبيانات معتمدة. وتتفاقم هذه المخاطر في مستندات اللغة العربية، التي تمثل بطبيعتها تحدياً معقداً للتعرف الضوئي نظراً لكتابتها المتصلة من اليمين إلى اليسار وتغير أشكال حروفها والتراكيب الخطية وحركات التشكيل، مما يجعل تمييز الهلوسة عن أخطاء القراءة المعتادة أمراً أشد صعوبة.
تجدر الإشارة إلى حدود نطاق تجربتنا؛ إذ ركزت HallucinationBench حصرياً على المحركات الإنتاجية المخصصة للأحجام الضخمة والتي تكلف سنتاً واحداً أو أقل لكل صفحة. ولم نختبر هنا النماذج الرائدة المتميزة التي تتجاوز أسعارها هذا الحد بكثير، بما في ذلك OpenAI o1 وفئة Gemini Pro الكاملة، ولا يزال سلوكها مع الصفحات الفارغة غير مختبر في مجموعة البيانات هذه.
أصبحت منصة HallucinationBench الآن جزءاً دائماً من تصنيفات OpenOCR؛ حيث يحصل كل محرك تم اختباره على درجة للصفحات الفارغة من 100، ويفقد أي نموذج يختلق نصوصاً ما يصل إلى 15 نقطة من درجة جودته الإجمالية، كما تعرض صفحة كل نموذج ما أعاده بالضبط في المحاولات الثلاث. اطلع على نتائج الصفحات الفارغة لجميع المحركات في تصنيفات OpenOCR، أو انتقل مباشرة إلى الجانب الممتع: شاهد بالضبط ما هلوس به كل نموذج.
إذا كنت تعالج مئات الآلاف من الصفحات الممسوحة ضوئياً شهرياً، فإن السرعة والتكلفة المنخفضة أمران بالغا الأهمية. ولكن قبل إرسال مستنداتك إلى محرك يَعِد بكليهما، يجدر بك التحقق مما إذا كان قادراً على النظر إلى ورقة بيضاء فارغة والاعتراف بعدم وجود أي شيء فيها. أما إذا أصرّ على أن يتلو عليك حكماً قضائياً من العصر الفيكتوري بدلاً من ذلك، فأنت لم تشترِ محركاً للتعرف الضوئي على الحروف، بل وظّفت كاتباً للقصص الخيالية.
شارك في التأليف Ben Hain. حظي هذا المقال بإشراف أكبر قليلاً من Ben Hain مقارنة بمقالات OpenOCR المعتادة.
Appendix: every engine that hallucinated
هذه هي المحركات التي اختلقت نصوصاً على صفحة فارغة لمرة واحدة على الأقل. انقر على أي منها لمشاهدة الصفحة الفارغة إلى جانب ما "قرأه" المحرك بالضبط في كل محاولة.
| Engine | Tries with invented text |
|---|---|
| Gemini 3.1 Flash Lite | 3 of 3 |
| Gemini 3.1 Flash Lite Preview | 3 of 3 |
| Google: Gemini 3.1 Flash Lite | 3 of 3 |
| NVIDIA: Nemotron 3.5 Content Safety | 3 of 3 |
| Thinking Machines: Inkling Small | 3 of 3 |
| gpt-4.1-mini | 3 of 3 |
| gpt-4.1-mini-2025-04-14 | 3 of 3 |
| inclusionAI: Ling 3.0 Flash VL | 3 of 3 |
| mistral-large-2512 | 3 of 3 |
| mistral-large-2512 | 3 of 3 |
| Mistral: Mistral Small 3.1 24B | 2 of 2 |
| ByteDance: UI-TARS 7B | 2 of 3 |
| Google: Gemini 3.1 Flash Image Preview (Gemini 3.1 Flash Image Preview) | 2 of 3 |
| Meta: Llama 4 Maverick | 2 of 3 |
| OpenAI: GPT-4.1 Mini | 2 of 3 |
| Qwen: Qwen3.6 Flash | 2 of 3 |
| Google: Gemini 2.5 Flash | 1 of 3 |
| Google: Gemini 3.1 Flash Lite Preview | 1 of 3 |
| MoonshotAI Kimi Latest | 1 of 3 |
| MoonshotAI: Kimi K2.6 | 1 of 3 |
| Qwen: Qwen3.6 27B | 1 of 3 |
| SpaceXAI: Grok 4.6 | 1 of 3 |
| Xiaomi: MiMo-V2.6-Flash | 1 of 3 |
| mistral-small-2506 | 1 of 3 |
أعادت جميع المحركات الأخرى نتيجة فارغة أو أفادت بأن الصفحة خالية. ويمكن الاطلاع على نتائجها في تصنيفات OpenOCR.