三个AI模型走进来,从零开始设计了自己的OCR网络
参考论文: LLM-Driven AutoML for Cross-Lingual Handwritten OCR: Closed-Loop Neural Architecture Search with GPT-5, GPT-4o, and Claude Sonnet 4 — Mobina Kashaniyan, Amirhossein Ghassemi, Nasser Mozayani
想象一下研究团队构建手写识别器的传统流程:有人阅读了二十篇论文,挑选了一个卷积骨干网络,与实验室同事争论是否要附加注意力层,整夜运行超参数搜索,然后重复这个循环数周。现在想象跳过所有这些步骤:你给 GPT-5 一堆阿拉伯语、波斯语和英语的手写样本以及一个训练脚本,它自行设计网络,进行训练,查看分数,然后重新设计,如此反复,整个过程中没有任何人类干预架构设计。
伊朗科学技术大学研究人员的一篇新论文实际上就是这么做的。这不仅仅是一个思想实验,而是在三个模型(GPT-5、GPT-4o 和 Claude Sonnet 4)上进行的 270 次独立运行。每个模型都充当自己独立的“架构师”,提出一个神经网络,观察其训练过程,阅读结果,并为下一次尝试调整方向。没有人类选择层数,没有人类调整学习率,也没有人类为阿拉伯语的连字或波斯语的额外变音符号编写特定于语言的预处理代码。
他们产生的最佳模型达到了 98.1% 的准确率。所有 270 次运行的平均准确率保持在 93% 以上。生成的网络推理时间为 41 到 44 毫秒,速度快到足以用于实际产品,而不仅仅是基准测试表。这究竟是一种真正的新能力,还是仅仅是一种花哨的方式来实现 AutoML 工具已经能做的事情,值得深入探讨,因为答案将改变你从中得出的结论。

为什么阿拉伯语、波斯语和英语的手写体不遵循相同的规则
手写识别本身就已经比印刷体识别更具挑战性,而跨语言手写识别更是将难度成倍放大。英语草书因书写者而异,变化极大,但至少字母是独立的、大致垂直的形状,且具有固定的形态。阿拉伯语和波斯语则打破了一个在英语手写体上训练的模型所依赖的大多数假设。
这两种文字都是从右向左书写的,而且大多数字母会根据其在单词中的位置(开头、中间或结尾)改变形状,因为它们像单一的流畅笔画一样与相邻字母相连,而不是离散的块状结构。字母上方或下方的小点往往是区分不同字符的唯一特征,因此轻微的污渍或匆忙的笔触就可能把一个“b”变成“t”。波斯语在阿拉伯语基础字母表之上增加了额外的字母和变音符号惯例,这意味着针对阿拉伯语调整的模型并不能直接迁移使用。
传统上,处理这三种差异巨大的文字意味着需要三条独立的流水线:不同的预处理、不同的分割逻辑,有时甚至需要完全不同的模型家族。这需要维护大量的基础设施,这也正是为什么“一个模型、三种文字、无需手动调优”是本文提出的有趣主张,而不仅仅是其准确率数字本身。
如何让 AI 真正设计自己的神经网络
研究人员描述的这种设置是一个闭环,意味着每一步的输出都会直接作为下一步的输入,中间没有人工干预。其流程如下:
- 向大语言模型(LLM)提供任务描述(识别目标语言的手写文本),并要求其以代码形式提出一个神经网络架构。
- 该架构在手写数据集上进行训练。
- 将训练结果(准确率、损失值,可能还有延迟)反馈给同一个大语言模型。
- 大语言模型阅读这些结果,并提出修订后的架构,试图修复出现的问题或进一步提高准确率。
- 重复上述过程。
这是一种被称为神经架构搜索(NAS)的已知技术,通常通过算法机械地尝试数千种网络的小幅变体,并保留得分最高的方案。这里的不同之处在于,负责提出方案的“算法”是一个通用语言模型,它用更接近自然语言的方式推理下一步该尝试什么,而不是使用专门构建的搜索程序。可以将其与遗传算法随机变异架构,以及同事查看你最近三次实验后说“当你添加那个额外的池化层时准确率下降了,我们试试加宽卷积吧”进行对比。前者是大规模盲目试错,后者则更接近推理,或者至少是推理式的文本生成。
在三个不同模型上运行 270 次,这使得该论文不仅仅是一个轶事。它证明了这种循环能够相当一致地工作,而不是仅仅偶然成功一次就写一篇关于幸运运行的论文。
摘要中没有明确说明,但这很重要:这 270 次运行在三个模型和三种语言之间是如何分配的,实际发现的架构是什么样的,数据集有多大,以及 GPT-5 的提案与 Claude Sonnet 4 在同一任务上的直接比较情况。这些细节将告诉你一个模型是否明显比其他模型更擅长担任“架构师”,而目前这些比较尚未公开。
数据表现:93% 的平均准确率、98.1% 的最佳准确率,以及 44 毫秒的直觉验证
抛开过程不谈,看看最终产出的结果。在 270 项独立实验中,平均测试准确率超过 93%,这是一个坚实的底线,而非精心挑选的上限。这表明闭环系统能够可靠地收敛到可用的结果,而不是偶尔碰巧取得优异成绩。
98.1% 的最佳准确率是那个会被广泛引用的数字,对于跨语言手写文本而言,这一成绩确实非常强劲。在这一领域,印刷体 OCR 系统(已经成熟且高度准确)甚至不尝试竞争,因为手写体完全是另一类问题。作为参考,人类抄写员在识别不熟悉脚本中的潦草手写体时也会犯错。在没有人类干预架构的情况下,将全自动流程提升到这一水平,是一项真正的成果。
延迟数据可能是整个摘要中最具实际意义的细节。一个准确率达 98% 但每张图像需要两秒处理的模型,只是一个研究趣闻。而运行时间在 41 到 44 毫秒之间的模型,速度足以部署在 API 后端,在用户等待响应时处理扫描表格。这就是“令人印象深刻的演示”与“真正可交付的产品”之间的区别。
缺失的部分,也是一个真正的空白,是按语言和按模型的细分数据。超过 93% 的平均值可能意味着所有三种语言都紧密聚集在该数值附近,也可能意味着英语拉高了平均值,而阿拉伯语或波斯语则落后。如果没有这种细分,你就无法判断“跨语言”的主张是否均衡成立,还是由某一种脚本承担了主要工作。

为什么这对构建或选择 OCR 的人很重要
如果您正在为产品评估 OCR 引擎,这里的重点发现并不是“AI 在手写识别上能达到 98% 的准确率”,而是为新的书写系统或领域构建专用识别器的启动成本可能正在降低。如今,如果您需要一种尚未有良好工具支持的语言的手写识别器,您面对的将是一个研究项目:收集数据、聘请了解该书写系统的专家、花费数月时间迭代架构。这种闭环方式指向了一个未来:通用模型先进行初始架构搜索,再由人类接手进行微调,使得首次尝试从数月缩短至数天。
话虽如此,在因“AI 设计自己的 OCR 模型”这一产品功能而兴奋之前,有几件事值得保持清醒:
- 这是架构搜索,而非已发布的产品。 该论文证明了大语言模型可以提出并优化网络设计。但它并未说明这些模型如何处理现实世界中充满噪声的扫描件、咖啡渍、低分辨率手机照片,或是实际用户而非精心策划的基准测试中出现的各种手写质量差异。
- 闭环 AutoML 在没有大语言模型的情况下已存在多年。 神经架构搜索并非新事物。新颖之处在于用语言模型替换搜索算法。这种替换是否能产生比现有 NAS 方法明显更好的架构,还是仅仅产生人类更容易阅读和理解的架构,摘要并未给出定论。
- 三种语言并不等同于生产系统所需的“跨语言”能力。 真实的文档流水线会处理数十种书写系统、混合语言页面,以及叠加在印刷文本或印章上的手写内容。阿拉伯语、波斯语和英语是一个有意义且确实具有挑战性的测试集,但它们并不能代表通用 OCR 产品需要处理的全部范围。鉴于汉字符号系统拥有数千个字符且布局密集,仅覆盖拉丁字母系语言的研究成果在直接迁移至中文 OCR 时面临显著的泛化挑战。
对于像我们这样致力于将 OCR 引擎进行头对头比较的平台而言,实际的启示是关注这一领域,而非期望其明天就能投入生产。如果闭环、由大语言模型驱动的架构搜索能够超越这三种语言和干净的基准数据实现泛化,它可能会缩短新引擎在缺乏服务支持的书写系统上达到竞争级准确率所需的时间。这种发展最终会作为新选项出现在比较表中,而不是仅仅停留在研究摘要里。
论文尚未告诉我们的内容
如果善意地解读,这是一项真正巧妙的演示,表明通用大语言模型(LLM)可以替代手工构建的神经架构搜索(NAS)算法,并在没有人类架构师参与的情况下取得令人尊重的结果。如果持怀疑态度地解读,则摘要在细节方面较为简略,这些细节对于任何人验证或复现其主张至关重要。
我们不知道数据集的大小或来源,这对于手写识别至关重要,因为准确率数字会根据基准测试使用的是干净、单一书写者的样本,还是类似于真实产品所面对的杂乱多书写者数据集而剧烈波动。我们不知道 270 次实验是如何在三个模型和三种语言之间分配的,因此无法判断 GPT-5 作为架构设计师是否优于 Claude Sonnet 4,或者是否有一种语言拉低了平均水平而其他语言则支撑了整体表现。文中没有与现有 NAS 方法或手工设计的手写识别器进行比较,因此“这比之前的方法更好”并非摘要实际声称的内容,尽管这是人们自然的解读。此外,文中也没有讨论计算成本:运行 270 次完整的训练循环,每次循环前都调用一次 LLM,并非免费之举;要知道这种方法是否足够高效以具备商业意义,完全取决于那些我们目前看不到的数字。
这些缺失并不能抹杀其有趣的部分。使用通用 LLM 作为迭代式架构设计师,而不是为每个新任务构建专用的搜索算法,这是未来 NAS 工作方式的一个真正转变。只是值得记住的是,较高的平均准确率和较快的推理速度只是评估的起点,而非终点。真正能让生产团队采纳这种方法的那篇论文,应当包含数据集细节、按语言细分的数据,以及与现有 NAS 方法的正面交锋对比。在那种版本出现之前,这只是一个有前景的概念验证,而非定论。