古籍数字化 1990年代至今

古籍数字化与 OCR

从《四库全书》电子版到识典古籍,扫描、识别、标点、校勘、检索,图像识别人工智能让千年典籍在屏幕上重获新生,也为语文研究提供了全新的工具

1 古籍数字化的意义与难题

中国传世古籍的数量极为庞大,仅《中国古籍总目》著录的历代典籍就有二十余万种。这些典籍过去只能以纸本、影印本的形式保存在图书馆里,查阅需要专程前往,借阅受限,且纸张不断老化。数字化让古籍从'藏于密室'变为'可检索、可复制、可传播',是文化传承方式的一次根本转变。

但古籍的数字化远比普通文档困难。首先,古籍多为竖排右起,版面复杂,有双行小字、夹注、眉批、印章、界栏;其次,古籍用字包含大量异体字、通假字、避讳字与俗字,同一个字在不同版本中写法不同;再次,古籍大多没有标点,需要'句读'才能通读;最后,古籍的用纸、墨色、印刷质量参差不齐,扫描图像往往有污渍、透印、残缺。这些特点,使古籍数字化成为一项兼需文献学素养与工程能力的综合性工作。

2 从影印到全文检索

古籍数字化最初的形式是'影印':把书页扫描成图像,做成光盘或数据库。读者看到的是原书的照片,可以保留版式与书法的原貌,但无法检索文字。上世纪九十年代,《四库全书》电子版问世,它以图像方式收录了三千余种典籍,是当时规模最大的中文古籍数字工程之一。

真正的飞跃来自'全文数字化':不仅要有图像,还要把文字识别出来,形成可以搜索、复制、统计的文本。此后陆续出现了中国基本古籍库、中华经典古籍库、汉典、国学大师等资源平台,收录了从经史子集到方志、家谱、佛道藏的大量文献。研究者可以在几秒钟内检索一个词在数万种古籍中的全部出现位置,这在纸本时代是不可想象的。

全文检索改变了传统学术的工作方式。'一词之演变'、'一典之出处'、'一人之生平'这类问题,过去需要长年翻阅与卡片积累,如今可以在检索结果中快速定位,再回到原书核验。技术并没有取代读书,而是把研究者从机械的翻检中解放出来,让他们有更多精力用于判断与思考。

3 OCR 与版面分析

OCR(光学字符识别)是古籍数字化的核心技术。它的基本流程是:先对扫描图像做去噪、纠偏、二值化等预处理,再通过'版面分析'判断哪里是正文、哪里是注释、哪里是边框与印章,最后把每一个字切出来,与字库比对识别。现代 OCR 已普遍采用深度学习模型,识别准确率在规整印刷体上可以达到很高水平。

古籍 OCR 的难点集中在三个方面。一是'竖排与双行':古籍的阅读顺序与现代横排相反,小字夹注常以双行并排,需要专门的版面模型处理。二是'异体字与生僻字':古籍中同一个字可能有多种写法,还有大量字库中不存在的俗字,识别系统需要支持超大字集,甚至要能'造字'。三是'图像质量':虫蛀、水渍、透印、装订阴影都会干扰识别,需要模型具备较强的抗噪能力。

因此,古籍 OCR 的结果通常需要'校对'环节:由人工比对图像与识别文本,改正错误。近年来的做法是把 OCR 与语言模型结合——模型在识别时不仅看字形,还参考上下文判断'这个位置最可能是哪个字',从而显著降低错误率。

4 人工智能与古籍整理新范式

有了准确的文本,人工智能可以进一步参与古籍整理。'自动标点'是最受关注的应用之一:模型在大量已标点的古籍上学习,为新文本添加逗号、句号、书名号等,减轻整理者的基础工作量。'自动校勘'则尝试比对不同版本,指出异文与可能的讹误;'自动注译'可以生成白话译文与词语注释,为初学者提供参考。

更进一步的是'古籍知识图谱':把人物、地点、职官、事件、典籍之间的关系抽取出来,构建成结构化的网络。读者点击一个人名,就能看到他的生平、著作、交往与相关事件;检索一个地名,就能看到与之相关的诗文与历史记载。这种'可探索'的阅读方式,正在让古籍从静态文本变为可交互的知识空间。

需要清醒的是,人工智能可以加速整理,却不能替代判断。异体字的认定、通假的成立、版本的优劣、文意的训释,都需要深厚的文献学功底。技术提供的是效率与线索,最终的学术责任仍在人。古籍数字化的理想状态,是'机器做粗活,人做精活'——让学者把时间花在真正需要智慧的地方。

相关推荐

喜欢「古籍数字化与OCR」的人,大多也喜欢 文化苦旅·三峡(节选)