2022年，OpenAI公司推出新一代对话式人工智能模型ChatGPT，引发全球科技界广泛关注。该模型凭借大规模训练数据、先进的机器学习架构及多场景适应能力，在通用对话和专业领域均展现出显著的技术突破。此后，全球科技企业加速布局大语言模型领域，陆续发布包括GPT-4（OpenAI）、Gemini（Google）、Claude（Anthropic）、Kimi（月之暗面）、通义千问（阿里云）、文心一言（百度）、豆包（字节跳动）、百川（百川智能）等系列产品，持续优化算法并拓展至多个垂直应用场景。

根据第三方机构评测，截至2024年12月，中美大语言模型技术仍存在技术代差。随着杭州深度求索公司发布DeepSeek-R1模型，这一格局出现显著变化。该模型在知识理解、逻辑推理等核心指标上达到国际先进水平，引发业界深度讨论，其技术突破亦受到国际科技界重点关注。值得注意的是，该模型的发布恰逢中国传统春节前夕，迅速成为社会热议话题。2025年1月29日（农历正月初一），阿里巴巴集团发布通义千问Qwen2.5-Max版本，官方技术白皮书显示其多项基准测试指标超过GPT-4，标志着我国在大模型技术研发领域取得新突破。行业分析指出，此次升级将进一步推动人工智能技术在商业、科研等领域的应用深化。

大语言模型为人文研究带来了新的研究范式和方法论思考。作为人文学者，我们特别关注这些模型在文献分析、史料整理、文本挖掘等具体领域的应用潜力，以及它们对传统人文研究方法的补充与延展。2024年8月12日，浙江大学数字人文研究中心开发的云四库智能问答系统（https://www.aiyskqa.cn）正式上线，标志着通用大语言模型正式进入了大规模文史数据训练和服务的垂直领域。本文将从二次平台的开发、文史问答的实践、存在的问题及今后的展望等方面来探讨通用大模型在文史领域中的应用这一命题。

对文史研究者而言，当前通用大语言模型存在两个关键局限：首先，专业知识库不足。由于训练数据中专业学术文献的覆盖率有限，模型在回应专业性问题时往往表现出明显的知识盲区，要么无法给出答案，要么产生错误认知。其次，溯源验证缺失。模型输出的内容往往缺乏明确的文献引证体系，无法追溯到具体的学术来源。这种“黑箱式”的知识输出使研究者难以判断信息的可靠性与学术价值，大大限制了其在严谨学术研究中的实际应用。

针对这些局限，构建专业化的二次开发平台成为必然选择。这一平台将以通用大语言模型为基础架构，通过专业数据的深度训练和知识增强，打造适配文史研究场景的智能辅助系统。

二次平台的搭建，主要包括以下内容。

（一）模型选型

在模型的选择上，尽管平台建设之际（2024年4月）OpenAI已开源GPT-3模型，我们仍选择采用国产大语言模型作为平台的基础架构。这一决策不仅体现了对国产自主创新的支持，更着眼于本土化场景适配、数据安全及后续协同优化的便利性。在具体模型选择过程中，我们经历三次迭代：

起初，我们重点评估了两个国产大规模语言模型：杭州深度求索的DeepSeek-67B和阿里巴巴的Qwen-72B。经过综合性能评估，Qwen-72B在通用理解能力、知识广度、推理深度等方面表现更为出色。基于这一评估结果，我们最终选择部署Qwen系列模型。

2024年11月，随着产品迭代，Qwen从2.0版本成功升级至当前的2.5版本，持续提升平台的智能服务能力。

近期，国内大模型以DeepSeek为代表，取得了史诗级的突破。我们第一时间接入Qwen-Max、Qwen-Plus、Qwen-qwq、Qwen3-235B、DeepSeek-V3、DeepSeek-R1等大模型，为用户提供更准确、更丰富的模型选择。 

（二）问答策略设计

考虑到基础模型预训练数据的来源多样性及潜在的质量风险，我们采用严格的知识优先级策略：系统将优先调用平台收录的专业文献库进行问答。这些经过严格筛选、具备明确文献引证的学术资源，能够确保回答的可溯源性和学术规范性，从而为研究者提供可靠的知识支持。

基于对学术问答场景的深入分析，平台构建了多层次的智能问答体系，采用“专业知识优先、基础模型补充”的分级响应策略。

1.智能意图理解

·通过意图判定模块精准识别用户查询意图

·运用问题改写技术，将复杂学术问题转化为结构化查询

·支持多轮对话中的上下文理解与知识延续

2.高级RAG检索增强

·构建多粒度的文本块索引体系

·采用语义向量化检索与关键词检索相结合的混合策略

·通过动态上下文扩展，确保检索结果的完整性

·基于文献权重的证据筛选机制

3.分级知识调用策略

·第一优先级：平台专业文献库

*经过严格筛选的学术著作

*具备明确文献引证的研究论文

*专家审核确认的标准答案

·第二优先级：经过验证的学科知识库

*权威教材与工具书

*学科专业词典

*经典案例库

·第三优先级：基础模型知识

*仅在特定场景下补充使用

*需经过严格的事实性核验

4.多模型协同生成

·系统支持Qwen-Max、Qwen-Plus、Qwen-qwq、Qwen3-235B、DeepSeek-V3、DeepSeek-R1等通用大语言模型，实现并行推理架构。支持用户根据具体场景灵活选择适配的模型组合。

·系统通过多模型协同机制提升对话质量。大模型处理流程包括意图理解、问题重构、上下文分析、知识推理和答案生成等。充分结合大模型和专业文史知识，确保输出内容的学术规范性与专业水准。

·系统不仅能够发挥各模型的独特优势，还可随着模型迭代持续优化系统性能，为用户提供更精准、全面的智能对话服务。

 图1 平台架构及技术路线

 图2 问答页面

 图3 参考资料页面

（三）智能资料库系统

平台构建了专业的文献资源管理系统，支持专家学者持续贡献优质学术资源。通过建立分类精准、层次清晰的文献管理体系，结合差异化的元数据标准，实现了各类学术资源的规范化管理。系统采用动态更新机制，确保新增文献能够及时与大模型进行知识融合，不断扩充知识库的深度与广度。这种持续迭代的知识更新模式，有效提升了平台的交互体验和知识服务能力，为学术研究提供与时俱进的智能支持。

资料主要有古籍、研究著作、论文、报刊文章等类型，根据不同的类型，设置不同的编辑窗口。譬如，对于古籍，除了书名、作者、版本信息外，在分类上，主要根据经史子集四分法进行分类，到二级类目止。而今人的著作，则根据中图法分类，到一级类目止。论文或报刊文章，有的出自纸质报刊，有的出自公众号，则分别提供可以选择的录入框。文件支持各种文本格式，包括但不限于pdf、epub、csv、xlsx、txt等。资料管理界面图示如下。

 图4 后端资料编辑页面

（四）问答管理

平台设计了完善的问答质量保障体系，引入人机协同的答案优化机制。专业用户可通过直观的编辑界面，对AI生成的答案进行审核、纠错和优化，经修订的答案将被系统记录并作为标准回复模板。这种基于专家干预的答案迭代模式，不仅确保了知识传递的准确性，也实现了回答质量的持续提升。通过建立动态的知识反馈闭环，平台在保持AI效率的同时，有效提升了问答系统的专业性和可靠性。

（五）专家资源共享机制

平台设立了严格的专家资源贡献体系，目前向具有副教授及以上职称的学者开放资料上传权限。专家可将个人学术著作、研究论文等优质学术资源贡献至平台知识库。为鼓励专家持续参与知识共建，平台对资料贡献者提供每日100次的扩展访问额度，以此促进优质学术资源的持续积累与知识生态的良性发展。

尽管通用大语言模型理论上具备处理各类问题的能力，但作为文史领域的垂直大模型，云四库的专业优势主要体现在以下方面。

（一）语言翻译

大模型不仅能将古诗文译成白话文，而且可以译成英文。总体来说，翻译的效果还比较理想，当然，也有错误。这里举白话文翻译为例：

原文：

《古戍》刘基

古戍连山火，新城殷地笳。

九州犹虎豹，四海未桑麻。

天迥云垂草，江空雪覆沙。

野梅烧不尽，时见两三花。

译文：

古老的边城烽火连天，新筑的城池中号角声震响大地。

九州大地依然充满战乱，四海之内尚未恢复农桑。

天空辽阔，云彩低垂在草地上，江面空旷，雪花覆盖着沙滩。

野梅在战火中烧不尽，偶尔还能见到两三朵盛开的花朵。

云四库这首诗的翻译大致准确。

（二）查询文献出处

云四库整合了丰富的文史典籍资料，结合大模型的语义理解能力，能够精准定位文献出处。系统可识别古籍文献中的片段，追溯其原典出处、版本信息及相关文献记载，为学术研究提供可靠的文献依据。

 图5 文献出处问答页面

（三）标点古文

问：请标点以下古文：“人家上冢最宜携幼以往盖使之识先世体魄之所在不至久而迷失也古人有云上冢亦携庞老家亦此意也汉高之诛丁公是以帝王之略济其权谋之心也温公谓戮一人而千万人惧其虑甚深不知项庄之受封已屈于大功矣罚必先亲赏不遗远之道果何在乎”^[1]

云四库：当然，以下是标点后的古文：

“人家上冢，最宜携幼以往，盖使之识先世体魄之所在，不至久而迷失也。古人有云：‘上冢亦携庞老家’，亦此意也。汉高之诛丁公，是以帝王之略济其权谋之心也。温公谓戮一人而千万人惧，其虑甚深，不知项庄之受封，已屈于大功矣。罚必先亲，赏不遗远之道，果何在乎？”

（四）诗文赏析

应该说，模型对刘基《古戍》一诗的赏析是非常到位的，既有内容的分析，也有艺术特点的赏析，最后有总结。这对于读者理解原诗起到了辅助作用。（参见图6）

（五）实体提取

模型能根据用户的需求，提取古文中的人名、地名、职官等实体词语。 图6 诗文赏析问答页面

问：请提取姓名、地名及职官名。“府君讳机，字子枢，姓雷氏。其先出万春之后，传至五代时有讳鸾者，由光州固始迁建宁之建安。曾大父时，宋太学内舍生。大父龙济，乡贡进士，当宋之亡，帅义师抗元兵，遂殁于难。父德润，入元为福州路儒学教授，积学庾之余，买田三百余亩，以给贫士昏丧老疾者，号义士庄，人为建祠学宫。改将仕郎、福州路长乐县主簿。未上，卒。后以子贵，赠朝散大夫、秘书少监。母游夫人，赠建安郡君。夫人善书而有文，无子，默祷于神，梦黑熊行天，遂有娠。及生府君，颖悟异恒儿，九岁能诗赋，十岁九经皆成诵，十二著《明经解题》，十七试论郡庠选为第一，二十受大官荐为邵武县学教谕，二十五登延祐戊午进士第，授福州路古田县丞。自诏行科目，闽人擢第者从府君始。”

云四库：根据所给的文本，提取的姓名、地名及职官名如下：

姓名：雷机（府君）、雷鸾、雷时、雷龙济、雷德润、游夫人

地名：万春、光州固始、建宁之建安、福州、长乐县、邵武县、古田县

职官名：太学内舍生、乡贡进士、福州路儒学教授、将仕郎、福州路长乐县主簿、朝散大夫、秘书少监、邵武县学教谕、福州路古田县丞

（六）撰写提要

云四库不仅能撰写文章的提要，而且能撰写著作的提要。限于篇幅，这里仅举篇目提要为例。如云四库为宋濂《记李歌》写的提要：

《记李歌》是明代文人宋濂的一篇传记文学作品，收录于《宋学士全集》中。文章通过细腻的笔触，生动地描绘了李歌的生平和高尚品质，展现了她不屈不挠的坚贞性格和高尚的道德情操。

李歌，霸州人，其母一枝梅是一名歌妓。十四岁时，李歌坚决拒绝母亲教她歌舞，认为人皆有配偶，不应沦为歌妓。母亲解释家境贫寒，李歌与母亲约定，只要允许她不化妆、不吃荤肉，她便暂时屈从。从此，李歌身穿素衣，容貌如玉雪，显得更加美丽动人。

李歌对邀请她的人非常挑剔，必须确保筵中没有恶少才会前往。她到宴会上后，只唱道家的《游仙辞》，并保持严肃的态度，不与人亲近。如果有不尊重她的人，她会立即拂袖而去。益津县令企图以金钱引诱她，李歌持刀入户，严词拒绝，并斥责县令败坏风化，最终使县令惊慌逃走。

监州听说李歌贤良，将她聘为儿子的妻室。李歌当时仍是处子。数年后，天下大乱，李歌夫妇逃难时被贼人抓住。贼人欲杀其夫而娶她为妻，李歌坚决不从，斥责贼人：“你若要杀我夫，先杀我，我宁死不从贼。”贼人愤怒，最终将夫妇二人一同杀害。

文章通过李歌的故事，展现了她高尚的品德和不屈的精神。即使身处娼门，李歌依然保持了尊严和节操，最终以生命捍卫了自己的原则。宋濂通过这一传记，表达了对社会底层人物的同情和赞扬，体现了他“文品即人品”的文学理念。

（七）知识问答

系统能回答各类文史哲及社科类的问题。如《诗经》的学术史问题。

问：说说《诗经》学的四大公案，尽量简洁。

云四库：《诗经》学的四大公案是指在《诗经》研究中长期争论不休的四个主要问题。^[2]这些公案包括孔子删诗问题、《毛诗序》的作者和尊废问题、《商颂》的时代问题、《国风》作者与民歌的问题。以下是对这四大公案的简洁说明：

1.孔子删诗问题

内容：关于孔子是否对《诗经》进行了删选和整理。

争议：《史记·孔子世家》记载孔子从三千余篇诗中删选了305篇，但后世学者对此说法存在争议，认为《诗经》的编订可能是一个集体努力的结果，而非孔子一人所为。

2.《毛诗序》的作者和尊废问题

内容：关于《毛诗序》的作者及其权威性。

争议：《毛诗序》是为《诗经》各篇所作的题解，但其作者和时代存在争议。有人认为作者是毛亨，有人认为是毛苌。此外，关于《毛诗序》的权威性和可信度，也有不同的看法，有人觉得应该尊崇，有人认为应该废除。

3.《商颂》的时代问题

内容：关于《商颂》的创作时代。

争议：《商颂》是《诗经》中的一组颂诗，但其创作时代存在争议。有人认为《商颂》是商代的作品，有人认为是周代的作品，还有人认为是春秋时期的作品。

4.《国风》作者与民歌的问题

内容：关于《国风》的作者及其是否为民间歌谣。

争议：《国风》是《诗经》中的一组民歌，但其作者和创作背景存在争议。有人认为《国风》是贵族阶层的作品，有人认为是民间百姓或普通劳动者的作品。

简洁总结

孔子删诗问题：孔子是否删选了《诗经》。

《毛诗序》的作者和尊废问题：《毛诗序》的作者及其权威性。

《商颂》的时代问题：《商颂》的创作时代。

《国风》作者与民歌的问题：《国风》的作者及其是否为民间歌谣。

这些公案在《诗经》研究中长期争论不休，反映了《诗经》研究的复杂性和多样性。

参考资料

参考1夏传才撰《诗经学四大公案的现代进展》

参考2夏传才撰《现代诗经学的发展与展望》

参考3陆学明撰《文学文本、历史文本及其他——“五四”以来〈诗经〉与诗学研究的几点质疑》

又如科举问题：

 图7 科举问答页面

按：图7所示的科举问题，所有通用大语言模型如ChatGPT、DeepSeek、Kimi、文心一言、通义千问都回答错了。

（八）查找目录

 图8 目录查找问答页面

由于云四库系统学习过大量的古籍目录、丛书目录及数字化目录，故利用它可以非常快捷地查到古籍的版本信息。

（九）创作古诗文

 图9 格律诗创作问答页面

此首《冬阳》，艺术上谈不上有什么创新之处，但格律是符合七律的要求的。

除了上述的功能外，云四库还能为用户撰写文献综述和论文。如果再引入DeepSeek，还可以做思维导图、社会关系图等，限于篇幅，这里不再赘述了。

（一）防不胜防的幻觉

幻觉是通用大模型普遍存在的问题。在文史问答中，也常会遇到。譬如，我们让模型写出含有“绿菊”的诗词。云四库列出了李商隐、杨万里、苏轼、范成大、陆游、黄庭坚、辛弃疾、唐寅、纳兰性德、郭沫若等人的咏“绿菊”的诗，结果标题和正文均一样。诗的标题和正文如下：

《绿菊》

绿菊初开似故人，相逢一笑共清尊。

秋风不改当年色，依旧黄花伴白。

然后继续问这首诗的出处时，模型会这样回答：“您提到的这首诗‘绿菊初开似故人，相逢一笑共清尊。秋风不改当年色，依旧黄花伴白’并不是出自某位著名诗人的作品，而是现代人创作的一首诗。这首诗虽然没有明确的出处，但其意境和表达方式借鉴了古代诗词中常见的意象和情感。”

又譬如，我让模型回答“元诗四大家”，模型列出了虞集、杨载、范梈、揭傒斯四人。但杨载，却注明号眉庵，范梈号文正。显然，模型将“吴中四杰”之一杨基的号，戴到了杨载的头上。而将范仲淹的号，冠到了范梈的头上。

（二）文献出处，不能精准定位

文献定位的精准度与数据结构密切相关。对于结构化的文献数据库，大模型能够实现精确的出处定位；而面对非结构化的文本文件（如docx、txt格式），定位准确性则显著降低。这种差异凸显了数据预处理和结构化建设在文献检索系统中的重要性。

问：请写出苏轼《书汴河斗门》的出处。

云四库：苏轼的《书汴河斗门》出自《全宋文》卷一九七二和《苏轼集》。

这里，《全宋文》是结构化的数据，而《苏轼集》是文本数据。系统无法判断文本的《苏轼集》中《书汴河斗门》的卷数。又如，

问：请写出这段文字的出处：俗传凶人之终，必有恶鬼，以其力能相制也。扬州唐氏妻某，素悍妒，妾婢死其手者无数。亡何暴病，口喃喃詈骂，如平日撒泼状。邻有徐元，膂力绝人，先一日昏晕，鼾呼叫骂如与人角斗者，逾日始苏。或问故，曰：“吾为群鬼所借用耳。鬼奉阎罗命拘唐妻，而唐妻力强，群鬼不能制，故来假吾力缚之。吾与斗三日，昨被吾拉倒其足，缚交群鬼，吾才归耳。”往视唐妻，果气绝，而左足有青伤。

云四库：这段文字出自清代袁枚的《子不语》（又名《新齐谐》）。具体信息如下：

书名：《子不语》（《新齐谐》）

作者：袁枚

卷数：卷二十一

篇名：鬼借力制凶人

袁枚的《子不语》是一部记录各种奇闻异事的志怪小说集，这段文字描述了扬州唐氏妻的恶行及其最终被恶鬼所制的故事。

这样的回答只能说对了一半，即文字确实出自《子不语》，但卷数错了。《子不语》总共有24卷，这段文字出自卷2。

（三）“不知则造之”

如果系统中没有数据，则模型就会一本正经地胡说八道。如：

问：“君、父之仇，不共戴天，其义一也。不幸而君杀其父，为臣子者，仇之否乎，亦视其当与不当而已。杀之当，如舜殛鲧，则干蛊可也。”^[3]请说出这段话的出处。

云四库：这段话出自《白虎通义》。《白虎通义》是东汉时期的一部儒家经典注释书，由班固等人编纂。该书对儒家经典中的许多概念和制度进行了详细的解释和阐述。您提到的这段话具体讨论了君、父之仇的复仇问题，强调了复仇的正当性需要根据具体情况来判断。以下是该段话的原文：

“子得为父报仇者，臣子之于君父，其义一也。忠臣孝子所以不能已，以恩义不可夺也。故曰：‘父之仇不与共天下，兄弟之仇不与共国，朋友之仇不与同朝，族人之仇不共邻。’故《春秋传》曰：‘子不复仇，非子。’子夏曰：‘居兄弟之仇如之何？仕不与同国，衔君命遇之不斗。’父母以义见杀，子不复仇者，为往来不止也。《春秋》曰：‘父不受诛，子不复仇可也。’”

系统给出的答案，强调了为父报仇的正当性与必要性，将其类比于臣子对君主的忠诚，指出恩义是复仇的根源动力。同时，详细阐述了复仇的原则和界限，包括针对不同关系（如父子、兄弟、朋友、族人）的复仇应有的不同态度和做法，并提及在特定情况下（如父母依法被处死），子女可不复仇，体现出对复仇行为理性与道义的权衡，反映了儒家在处理复仇问题时的理性态度。

但这个回答是错的。表面看，所问的问题与系统给出的原文有相似性，但并不是所问问题正确的答案。正确的答案是清代刘绍攽《九畹古文》卷3《伍胥鞭平王尸论》。

（四）对古文的智能问答和分析方面，现在任何一款大模型均不理想

当前大语言模型在古文智能分析方面仍存在明显局限。虽然模型在现代汉语知识问答中表现出色，但对文言文的语义理解和知识挖掘能力尚显不足。以明代乐府诗研究为例，模型无法对原典进行系统化语义分析和内容检索，多依赖现代研究成果进行答复。这一技术瓶颈的突破，需要跨学科协作，融合计算语言学与古籍文献研究，建立适配文言文特点的语义理解框架，提升模型对古籍文献的解析能力。

从上述分析可见，大模型在古籍整理、数据分析、文献查找、知识学习、文化传播等方面可以发挥巨大的作用。面对人工智能的迅猛发展，任何一个学者都不可能无动于衷，视而不见。人类文明的进步源于工具的创新与运用，从石器时代到工业革命，再到当今的数字智能时代，工具始终是推动人类发展的关键要素。在这个时代，AI与大语言模型已成为学者必须掌握的新型研究工具。

如何将大模型与文史数据深度融合，这是科技工作者和文史工作者都要面对与思考，并协同完成的一项浩大工程。云四库智能问答系统就是在这样的背景下应运而生。

目前，云四库平台建设已初具规模。下一阶段将着重提升系统性能和功能完善，包括持续引入DeepSeek、Qwen等最先进的通用大模型，紧跟全球大模型技术的发展；构建校对标注系统、完善全文检索功能、优化用户认证体系等。在内容建设方面，平台已完成6万余种数据（含古籍、学术著作、论文）的上传与训练。未来重点工作包括：打通云四库数据地图（https://acamap.cn）、智慧古籍平台（https://csab.zju.edu.cn）和云四库智能问答系统的数据壁垒，实现三平台数据共享；加速古籍数字化进程，持续充实系统文献库；推进文史研究论著的数字化转换，开展数据测试与训练；建立健全学者个人数据上传机制，鼓励更广泛的学术参与。

文史垂直模型建设的意义，主要有以下几点：

1.提升工作效率，实现智能辅助

·在古籍标点方面，模型可完成90%的基础工作，显著降低人工成本。

·在文献提要撰写方面，模型能完成主体内容构建，学者仅需进行优化完善。

·通过人机协同，有效解放文史工作者的研究精力。

2.盘活学术资源，促进知识流通

·将分散于著作、期刊、论文集的研究成果数字化整合。

·运用大模型技术实现跨领域、多维度的知识关联。

·打破学术成果获取壁垒，提供精准高效的研究资源检索。

·使专业性、前沿性研究更易被发现和利用。

3.推动知识普及，促进文化传承

·构建智能化文史知识问答体系。

·降低传统文化学习门槛。

·实现人文知识的高效、精准传播。

·提升公众对传统文化的认知与理解。

4.赋能相关产业，创新发展模式

·支持文旅产业：助力地方文化挖掘和特色文旅内容生成。

·服务出版行业：推进古籍数字化转型。

·助力文创产业：为历史题材影视创作提供智能支持。

·构建“文化+科技”融合发展新范式。

总之，文史垂直大模型的建设不仅是技术问题，更是文化传承与发展的战略需求。它通过技术手段架起古今对话的桥梁，弥合古今鸿沟，推动人文研究范式变革。同时，在全球化背景下强化民族文化身份，为数字时代的人文精神延续提供新途径。未来我们将深入跨学科协同，促进AI技术专家与文史学者的深度合作，构建兼具学术严谨性与社会价值的智能系统。我们相信，随着系统功能的不断改善和内容的不断丰富，垂直大模型必将在科学研究、政府决策及文化传承方面，发挥出越来越重要的作用。

编辑 | 韩玉凤

汉语音义文献采取随文注音释义的方式为经典文本提供语言学阐释，是汉语音义研究的核心文献。^[1]这类文献数量丰富、内部关系复杂、层级分明，其不仅包含传统的训诂形式，更蕴藏着汉字的形音义互动关系。相较于字书、韵书，音义文献特有的随文音义形态使其音义匹配关系呈现历时与共时的双重性质。汉语音义关系研究首先需提取音义信息，再进行关系的匹配判定，传统处理手段的效率和精度不够，而数字人文技术的发展为破解这一难题提供了思路。

当前学界在音义文献数字化处理领域已有了相关进展，如姜永超、黄仁瑄^[2]以李善注《文选》为例，提出注疏类典籍的音义信息XML标注体系，试图通过该技术实现音义信息的提取，并认为文本特征标注是“建立音义抽取预训练模型的基础，也是实现批量提取所需音义研究材料、可视化呈现音义关系的有效途径”^[3]；王晓光等^[4]利用本体等语义技术实现了古籍注疏的语义化表示和关系建模。然而上述探索，其技术实现仍需过多的人工介入，且领域适应性弱。

音义信息提取是汉语音义文献数字化处理的基础环节，直接关系到后续音义数据库的构建及音义关系推理等下游任务的质量。而音义信息提取的关键在于实现音义文本结构化知识单元的转换，此一过程中，自动分词技术^[5]发挥着重要作用。

汉语音义文献的自动分词作为古汉语领域分词的下位概念，既需要遵循古汉语一般词汇切分的逻辑和规范，又面临着音义文本特有的复杂语言现象。例如外典音义^[6]的特殊训释术语识别率较低；内典音义中大量的异体俗字、音译词、特殊佛教用语、梵语词等，其或凝固程度不高，或为未登录词等都是自动分词的难点。基于规则或统计的传统分词方法在面向特征复杂的古汉语领域语料时局限性明显；^[7]而深度学习文本特征编码的方法，虽在古汉语通用语料^[8]的处理中展现出巨大的潜力，但当面向汉语音义领域的文本时，性能受制于训练语料的规模和质量。此背景下，基于预训练语言模型的领域微调（Fine-tuning）技术则取得了良好的效果。该技术通过大规模通用语料的预训练学习，然后再采用领域特征文本进行参数微调，实现了知识迁移。

由此，从汉语音义文献的文本特征出发，以内容和形式均具代表性的唐五代佛典音义^[9]为实验语料，建立佛典音义语料库，微调训练SikuBERT模型，实现面向佛典音义文献，并对其他类型的音义文献也具有拓展性和泛化性的分词模型，以期为后续自动化、智能化音义信息提取和匹配工作提供帮助。

汉语音义类文献通过对古代典籍进行注音和释义，帮助读者理解经典的语言和内涵，是传统小学研究的重要组成部分，也是汉语语音史、词汇史、文字演变研究的重要材料。以音义文献的内容分类，主要包括儒典音义、佛典音义、道藏音义等。儒典和道藏音义本土性较强；佛典音义则为汉译佛经注音释义的专门文献，是踵事前代典籍注疏和辞书编纂成果的集成之作，除了采用其他音义文献共有的音义体例外，还有其鲜明的个性特征。

（一）佛典音义的语料特征

词汇层面。佛典音义文献的词汇系统表现出多重复杂性。如词汇构成多样，佛典音义不仅对普通词语进行注音释义，还涉及大量佛教专名、外来词、梵汉对音词等词汇形式。汉译佛经的词汇形式，虽据汉语的表达方式改造，但仍具有跨语言转换色彩，例如汉字对音转写产生了大批音译词，由于版本流传、早期译经方法等原因，造成了音译词的混乱等状况。从形音义关系来说，梵音也有多义，用以记音的汉字更有形音义方面的限制，导致音义错综复杂。除此之外，因译经而产生的词汇复音化，其词形结构与语义凝固度存在差异。这类词汇尚未完成词汇化进程，又兼具临时组合与定型词语的双重属性，如何识别并判定，是佛经音义文献自动分词的难点之一。

注音层面。注音是佛典音义的重要方面。为字目词目注音，一般以反切法为主，间出直音，或二者兼用；无反切时，则用直音法，有的还注出声调；另外，还存在注出破读的情况，即同一个字读音不同而词义有别。除了为字（词）目注音，佛典音义中引用书证和释文中的难字字音有时也予以标注。以注音用字信息为例，对所据佛典音义语料的注音用字信息统计（图1），得到字符数共5,506,205个，字种共19,728个。

图1 唐五代佛典音义用字数量、频率前20名分布图

据统计，佛典音义的注音用字种类繁多，排在前二位的为“反、切”，其中“切”字为30万以上，“反”字达20万以上，第三位为“音”，7万次以上。整体看，除去注音标识，如反、切、音等，用字数量达万级以上的仅40多个，可见大宗注音信息形式和内容具有复杂性，还需要建立注音用字共现数据库。

释义层面。释义是佛典音义中的主要环节。佛典音义中的释义一般述而不作，根据编纂者所认定的标准，音义时引经据典，在博征详析中蕴涵着刻意辨正和取舍的意识。比如一词多义或多音多义现象，通过注音和释义达到辨析音义匹配关系的目的；一些不明释义来源之处，编者或自作案语，或引用典籍，力求言而有征。而佛典音义的案语内容所涉及更广，往往兼及形音义各方面。也正因佛典音义大量引据典籍成说，在内容上又具有了古代汉语通行语料的特点。

（二）语料的分布

语言模型本质上是数据驱动的算法，数据对语言模型性能起着决定性作用。数据规模、内容的丰富程度等因素都对语言模型的泛化性产生重要影响，为满足模型的泛化性要求，语料的择取要具代表性。基于此，选择兼有音义文献基本特征和区别性特征的唐五代佛典音义为实验语料。语料总数量近20万条，约500万字，具体分布情况见表1。

表1 唐五代佛典音义语料分布情况统计表[10]

从语料的统计情况来看，语料涵盖了唐至辽代的音义典籍，总计162卷。语料库中《可洪音义》体量最大，编纂时间相对较晚，体现了其总汇前代音义的特色；《慧琳音义》居次，该书集前代音义之大成，并且广泛征引经史子集的相关内容，从而具有通用语料的基本特征；《慧苑音义》《希麟音义》规模相对较小，前者针对《华严经》注音释义，后者在续补《慧琳音义》之外，还补录晚唐至辽代的新译佛经，体现音义文献的延续性与专题性。

实验语料均使用未经标点的中文数字化文本，内容包括音注、词义训释、字形校勘等多元信息，既保留了汉译佛教术语的语音、词汇特征，又反映了不同时期译者对梵汉语言对音的差异化处理；其时间、版本与内容的历时与共时分布，能够有效支撑语言模型对音义文献复杂句式结构和语言表达的泛化学习。

因需求和领域不同，对“词汇”的衡量指标各有不同。如果采用不同的词汇标准，分词结果就可能有所差异。而且信息处理中的“词汇”概念，与词汇学定义的词汇既有区别又有联系，为实现二者的有效沟通，需要给出佛典音义的词汇切分规范，^[11]据此完成词汇的判别和切分。

佛典音义与古汉语其他类型的典籍有着明显的区别性特征，其以翻译、训释佛教典籍为主要内容，音义是达成该目的的手段，在于“辨音释义”。^[12]佛典音义不仅收录了大量佛教音译词，还关注到了汉语词汇形音义的关联性，音义时兼及音变、析异读、辨异文、破通假、明故训等目标。^[13]但佛典音义中大量的音义内容并不符合严格的词汇标准，以注音为例，双字反切如果识别为单字符则不利于完整提取注音信息，而直音音注时又需独立切分成单字符的形式；再如特殊训诂术语的使用，往往暗示着音义关系，需要区别对待，这些难题的存在给音义文献的词汇识别造成了困难。

鉴于此，以唐五代佛典音义为例，在总结其词汇形式特征的基础上，提出佛典音义词汇的切分规范。^[14]规范总体以词汇学定义为衡量指标，逸出该定义的字符串形式，以信息处理的任务需求为标准。

（一）总体性原则

汉文佛典中的词汇处在凝固阶段，单音词和复音词同时大量使用，而且还存在丰富的特殊佛教音译词等情况，为避免佛典音义自动分词陷入词和非词的争论，以分词单位^[15]为基本单元。佛典音义词汇切分的总体性原则可分为基础类和辅助类两个方面。首先佛典音义的释文部分有着较强的半结构化特征，一般包括注音、释义等不同核心内容，词汇认同以词类为基础，符合词汇学定义的即可归入基础类；而对于注音信息、特殊音译词、训诂术语以及专有名词等则需根据辅助类准则切分。

1.基础类

佛典音义基础类词汇认同，首先要符合“词是语言中能独立运用的最小的符号”^[16]的定义，根据定义就能够筛选出部分可切分的词串。其次，针对佛典音义中单音节词和复音词共存的情况，化振红采用了词频作为主要辅助认定指标。^[17]但单纯的词频指标，还需要关注字间的共现度。另外，对同一类型的词汇（字符串），其中有一条或多条已被认同，其他同类字串，作类比切分。逸出上述条例之外的情况，需要依语境认同判定。人工分词标注时，判定的依据是具体的词汇意义以及在具体语境中的用法，并从严认定。

2.辅助类

辅助类规范指在基础类词汇认同之外，还可通过辅助性手段帮助词汇判定的情况。如构建唐五代佛典音义的词表^[18]、词频表、汉字共现词表。词频表是据分词结果频率统计表；汉字共现词表为佛典音义中所用汉字间搭配使用的频率表。其他前期辅助性词库，如佛典音义、汉语音义文献术语数据库的建立，可提高专有名词类的切分效率。

（二）佛典音义释语切分范例

佛典音义主要是为了读经服务，编纂者注重语言应用的规范性。一般而言，佛典音义的半结构化特征较为明显，每一条由字目和释文两大部分组成。字目可划分为一字例、二字例、多字（三字及三字以上）例。释文主要包括注音、释义和辨字等三个部分，^[19]以下从这三个方面对切分范例进行说明：

1.注音信息的切分

注音信息是音义研究的重要方面之一。佛典音义存在大量的注音信息，并且具有一定的结构化标志，如反切注音法就具有天然的分隔界限，唐五代佛典音义的注音信息切分必然要充分掌握注音的形式特征。

（1）一字例^[20]

一字例中注音方式多样，如反切法、直音法、声调法、描述法等。不同的注音方式，切分方式不同。具体注音手段有：单反切、单反切＋其他注音方式等。

1) 唵 乌感反 抬 声 呼

该例注音方式为反切＋描述法，此类的切分一般把反切视为分词单位，独立切分；描述法所描述的注音内容，根据其描述的意思具体切分。

2) 茹 而庶反 魏武帝 后 名 又 如 汝 二音

3) 异 音 怡 巳也 又 余志反

上二例，直音和反切同时存在，单反切切分同上；直音则要切分，例2的格式为“又××二（数量）音”，又音的标志“又”单独切分，“二（数量）音”为一个分词单位，独立切分。

4) 阇 是遮反 亦是 北天边 方音 旨 若 取 中天 梵音 可 者 为 慈砢反 正 也 砢 音 勒可反

本例中需要注意“某音×”或“某音××反（切）”的特殊形式，该类中，被注字单独切分，注音内容为分词单位。

5) 般 音 钵 本 梵音 云 钵啰 二合 啰 取 罗 字 上声 兼 转舌

本例中注音采用四声和描述法。此类切分时，四声与描述法的术语标志单独切分。

（2）二字例

唐五代佛典音义的字目多为二字例，为两字注音，一般有“××反，下××反”“上××反”“下××反”，可洪音义往往还在反语外标其所属韵部，其基本格式是“××反＋×字韵”。希麟音义大多为“上（音）××反”“下（音）××反”形式。

6) 颐颔 上 以伊反 下 含感反

7) 淳湩 上音 纯 下 竹用 都洞 二反

8) 浑浊 后昆 后衮 二反

9) 眅多 匹奸 匹谏 普板 三反

本例释语中以“上（音）”“下（音）”注明字目的音读信息，该类应将术语单独切分，后接单反切，如例6则单反切为一个独立切分单位；若为多反，则多反切中，两个音节为一个独立切分单位，多反的标志单独切分，如上例7、8、9。

10)拯含 拯 音 无 叠韵 取 䒱 字 上声

佛典音义中用四声注音，如例 10需要将四声术语单独切分（“上声”）；声调的直音字以及直音注音，切分到最小单位，“䒱 字 上声”。

11)覆载 上 敷务反 见 韵英 秦音 也 诸 字书 音 为 敷救反 吴楚 之 音 也

如果音义径引他书为指明某地某音，则所引他书按专有名词切分，某地之音如“秦音”“吴楚”为分词单位。

（3）多字例

多字例的数量较少，其音义的注音形式往往与二字例类同，所涉及的切分形式也都可以仿照二字例的类型切分。如例12，“上”“中”“下”这些指明为字目某字注音的关键信息需要单独切分。另外，还应注意“此云”“亦云”等术语，详见辨字信息的切分。

12)须陀洹 上 相朱反 中 徒何反 下 胡官反 此云 入流 亦云 预流

2.释义信息的切分

佛典音义为疏通佛经之旨而作，因此释义信息的切分需要关注以下情况：

唐五代佛典音义中常用“非此义”“非经义”等形式标明所释某字，并非为经文原意，如下例14，术语“非”“此（经）义”为独立切分单位。

13)牦牛 亡交反……经文 作 貓 猫 二形 今 人 家 所 畜 以 捕 鼠 者 是也 猫 非 经义

14)蛊毒 公户反 说文 蛊 腹中 虫 也 谓 行 虫毒 也 经文 从 䖝 作 蛄 音 古胡 反 蝼蛄 蟪蛄 也 蛄 非 此义

类似注音信息的切分，释义信息中，也存在引证他书和方言俗语的例子，所引他书、方言俗语之术语可一律按专有名词处理，单独切分。如下例“说文”“尔雅”“声类”“玉篇”“俗云”“俗谓”“俗音”等。

15)池沼 之绕反 说文 沼 池 也 梵言 贺逻驮 总 言 池水 也

16)虹霓 上 户公反 尔雅 云 䗖蝀 虹 也 郭 注 云 俗云 美人虹 下 五兮反

17)虹 胡公反 江东 俗音 绛 尔雅音义 云 双 出 鲜 盛 者 为 雄 雄 曰 虹 暗者 为 雌 雌 曰 霓

另外，佛典音义中还存在编纂者所加的案语、辨正形音义的术语，案语内容按照规范切分即可，术语单独切分。关于佛典音义中大量复杂的佛教音译词、外来语应重点关注，如例 15“池沼”条“梵言 贺逻驮”，此类的切分应视为分词单位，单独切分。

佛典音义的释义文本常以判断句的形式来分析阐释字词和篇章文义，优先依据句式特征进行切分。非固定格式的一般释义内容，同通行文本词汇的切分。“属”“别”，解释事物类属关系，术语单独切分。

3.辨字信息的切分

佛典音义中训释字的形音义关系时，多用“一、或、又曰”分列义项，当“曰”之前非人名、书名等专有名词，则作为一个分词单位，佛典音义中凡属这种格式的用法，都遵上述规范。汉语音义文献在辨形时多沿《说文解字》所创形制，如“从某”标明部首情况，“从某”应予以切分；“或体”“俗体”“今文”“或作”“俗作”“正作”“宜作”诸名，不予切分。佛典音义中用“古文”“籀文”等术语标明字际关系，这些术语视为一个分词单位。佛典音义还经常先引前书字训，然后再对其进行评析，如用“非（是）”“误”等字来标识，该类需认定为分词单位，不予切分。

如上从唐五代佛典音义的注音、释义、辨字等三个方面，对结构化的术语、词汇标识等做出了列举式的切分规范。然而，佛典音义的内容庞杂、形式多样、语用繁复等情况大量存在，所述规范还需进一步细化、总结和归纳。

传统的分词方案对古汉语文本的处理效果并不够出色，学界已在探索大语言模型在古汉语领域的应用，即通过领域文本的针对性训练，建模和表征语言的内在特征，使模型充分学习训练语料的内在特征，仅需少量标注数据的微调，在下游任务中就能达到良好的实验效果。南京农业大学王东波团队^[21]提出的《四库全书》预训练模型（SikuBERT、SikuRoBERTa）在古籍领域的下游任务上居于领先水平。该模型使用了5亿字左右的《四库全书》语料，在通用古汉语语料上已经具有了良好的泛化性，如对《左传》的自动分词、自动句读、相似度计算等下游任务均获得了优异的成绩。虽然SikuBERT所用语料涵盖经史子集的丰富文献内容，与唐五代佛典音义文献有一定的交叉，但数量仍然较少，直接应用其对音义领域文本分词，达不到在通用古汉语语料上的效果。基于此，将SikuBERT作为基座模型，利用佛典音义语料微调训练，以实现高效精准的汉语音义文献自动分词。唐五代佛典音义微调模型的构建通过以下路径实现：（1）佛典音义微调语料的标注及修正；（2）基座模型微调训练；（3）模型横向对比，分词任务开放性评测。

（一）语料及微调标注

1.语料处理

实验以唐五代佛典音义文献为语料，词目近20万条，达500万字左右，在数量和覆盖面上满足了领域模型训练所需。除此之外，通过将《广韵》《集韵》等字书、韵书数据库中的注音规则作为特征嵌入模型输入层，增强对反切用字的识别能力。该库收录如《广韵》《集韵》及“说文系字书”等十余部古汉语字书、韵书。语料库实现了注音和释义字段的标注，注音字段如注音词条、注音对象、注音方式等；释义字段包括基本释义、补充释义、引书等。字书、韵书类语料在注音、释义、辨字等方面具有半结构化形式特征，可提升模型对佛典音义内容切分的泛化能力。形式上，音义语料的释文存在表述方式不同、长短不一等情况，经过规整，这些都可以成为模型文本推理的依据。在训练时，还将音义数据上下文信息加入，有助于模型充分学习到该类语料的形式特征和内容间的关联。

2.语料标注流程

模型训练的性能取决于参数优化与语料标注。实验构建了少量^[22]有标注的分词数据集，标注质量决定了微调结果。佛典音义分词语料经两轮修正标注后，^[23]交于模型训练学习。

 图2 语料标注流程示意图

第一轮标注按9∶1的比例，标注20,000条数据，重点标注出易错的反切注音、非通用释义、辨字术语，^[24]以及佛典音译中的特殊词汇，如佛教术语、音译词等；将标注后的数据交给模型训练。第二阶段修正标注微调后词汇切分仍然出错的部分。佛典音义中存在单音词、复音词及佛教术语混合现象，这些字串的凝固程度不同，依照分词规范，并结合词频与词长辅助标注。词频信息反映了词汇的使用频率，如较低频率的词汇往往可能会存在错误切分，而词长反映出结构稳定性，代表了词汇的凝固程度。修正标注的步骤有两个方面：

首先，统计切分词汇的词频信息。切分结果中词量为36万以上，低频词占总词量90%左右，错误率较高，因此低频词的处理是关键。词频大于10的词汇数量为6万个左右，词频10以下为修正的重点。通过注音标记定位注音内容，如识别出反切上下字非连用、错误切分的情况。其次，统计切分词汇的词长数据。据此发现词频大于10的切分词汇，词长处在[1,10]区间，在此区间内，词长大于或等于3的仅700多例，而高频词集中在词长为[1,3]区间，错误率较高的形式主要为二字词和三字词。其中，三字词多为反切注音的整体切分错误，通过反切的标记，剔除反切词汇即可。对于二字词则构建基于词典的查询匹配程序，将出现在词典中的二字词作为切分单位，这种方式对词表的规模要求较高。实验所用词典基于《汉语大词典》叠加其他古汉语词典构造，词汇容量超68万，词汇的数量满足需求。据以上流程得到修正后的分词语料词频结果为24万左右，处于合理水平，可作为最终模型训练的实验语料。

（二）模型微调训练

1.SikuBERT预训练模型

SikuBERT模型基于BERT^[25]中文预训练模型的架构训练，包含12层Transformer编码器，每层768个隐藏单元和12个自注意力头，总计1.1亿个参数。实验训练集为文渊阁《四库全书》繁体语料，共3,406种典籍，训练语料覆盖了古汉语通用领域的特征。训练语料中史部典籍的篇幅较长、平均字数最多，存在大量人名、地名等专有名词，这增强了模型的命名实体识别水平；集部文本用词凝练，提升了模型对古汉语句式结构的捕捉能力；但由于经部文献少，儒典音义通常以注疏的形式附于经典原文之后，具有上下文强依赖性、结构松散性、语料稀疏性等特征，导致模型对音义类文献的形式特征学习不够充分。

另外，SikuBERT在训练时采用掩码语言模型（Masked Language Model,MLM），移除了BERT模型下一句预测（Next Sentence Prediction，NSP）训练策略；语料则剔除原书注释部分，仅纳入正文，致其对佛典音义中的注音反切、音译词等特殊形式适应性不足。直接应用未微调的SikuBERT处理唐五代佛典音义时达不到在通用语料上的分词水准。

2.模型效果评测指标

效果评测采用准确率（Precision，P）、召回率（Recall，R）、调和平均值（F1）三个指标来衡量模型的优劣。P表示正确分词数量在总分词数量中的比值，准确率越高，意味着分词效果越好；R表示正确分词数量与人工标注分词数量的比值，召回率越高，分词性能越好；而F1值则兼顾准确率和召回率，客观地反映了模型的分词能力，是模型性能评测的关键性指标。

直接应用SikuBERT对《左传》语料及唐五代佛典音义进行分词实验。结果SikuRoBERTa预训练模型在《左传》语料上分词效果最优，F1值达到88%左右，在唐五代佛典音义文本上F1值仅达53%。数据如下表2所示：

 表2 S ikuBERT和SikuRoBERTa模型分词指标（%）

分词实验结果显示：（1）该预训练模型的命名实体识别能力表现佳，如对书名、人名、朝代名等专有名词的识别切分效果较好，如“说文”“尔雅”“蜈蚣”等，部分佛教术语识别率较高，但存在切分不彻底的问题；（2）针对反切注音、佛典音译词、梵语词、特殊术语等切分效果不好，如“反切”切分准确率极低，又如“或作”“谓之”等训诂术语切分也极差。因此，为适应佛典音义领域的文本特征，必须进行领域微调训练。

3.模型微调训练

根据训练数据的数据量，将本次训练集和验证集按照9∶1的比例进行划分。基于Pytorch框架，在NVIDIA RTX A5000上进行微调训练，参数设置为：learning rate=0.001，epochs=3，batch_size=32。训练中，batch_size参数越大，训练损失减少得越慢，训练所需的时间越少，而达到最小收敛所需的epoch就越多，综合考量下将其设为32。对于epochs的选择，主要根据佛典音义的数据量决定，并非训练越多epoch，效果就越好，相反，更多的epoch可能会导致模型过拟合。鉴于微调训练的语料不断叠加，采取多轮、少epoch的方式训练，先期采用3—5个小epochs进行实验。另外，佛典音义语料库中的句子长度并不均衡，在不耗费更多计算资源的前提下，设置其最大长度为256。

微调分两个轮次，每次迭代3个epochs，实验结果表明，第一轮微调后的模型针对音义文本自动分词的F1值达到84%以上，较微调前的模型分词能力显著提升了近30%。微调实验的性能数据如表3。

 表3 微调后性能表现（%）

在第一轮微调的基础上，扩大修正分词标注的范围，再次微调训练。第二轮的微调实验比第一轮微调实验在验证集上效果提升了8%左右，已经达到较高水准。总体上，实验通过调整训练轮次，验证了模型泛化能力有所提升，可以保证模型充分学习到音义语料的语言特征。经过微调的SikuRoBERTa模型在针对汉语音义文献时分词F1值达95%以上，最终得到面向唐五代佛典音义文献的预训练模型——YinYiBERTa^[26]。

（三）YinYiBERTa模型性能测试

1.模型对比

为了评测YinYiBERTa模型性能表现，采用统一的实验语料微调训练GuwenBERT^[27]、BERT-base-Chinese、Chinese-RoBERTa-wwm-ext^[28]等基线模型，并在唐五代佛典音义测试集上与其进行分词对照实验。其中，BERT-base-Chinese基于中文语料训练，具有通用性；RoBERTa通过全词动态掩码和训练数据的处理，优化了原始的BERT架构；GuwenBERT基于RoBERTa的框架改进，预训练语料为大量古籍，是面向古汉语领域的模型。分词实验结果如下。

 表4 模型对比实验结果（%）

如表4数据所示，各模型的评估指标呈现显著差异。基于SikuRoBERTa预训练模型微调得到的YinYiBERT、YinYiBERTa性能全面领先，尤其是YinYiBERTa各项指标均达到了95%以上；相较之下，GuwenBERT、BERT-base-Chinese、Chinese-RoBERTa-wwm-ext的F1值仅处于73%—78%区间，反映通用模型对佛典音义文本的适配性不足。实验数据说明了两个方面的问题：（1）预训练语料的领域差异性决定了模型的语言表征能力。BERT-base-Chinese模型的训练依赖通用语料，虽经音义类文本的领域知识学习，分词F1值达到73%左右，但较低的召回率显示效果并不够令人满意，特别是对梵汉对音词、反切注音以及专名识别等情况切分时错误率极高；GuwenBERT使用了古文语料训练，因而具有一定切分效果，但对佛典音义领域混合的语言结构识别准确率较低。（2）唐五代佛典音义的分词涉及梵汉对音词、反切术语、未登录词等高难度文本特征，YinYiBERT前期使用了佛典音义标注语料，标注一致性高，一定程度上提升了模型性能，最终达到高于基线模型的性能。

 图3 模型对比实验结果折线图

图3将不同模型的指标数据以折线图的形式呈现，清晰地观察到YinYiBERTa模型的评估曲线处于稳定的高值状态，对唐五代佛典音义的分词能力远高于基线水准，此成绩得益于底层SikuBERT模型和训练微调语料的强针对性。基线模型的指标分布则出现了明显波动。同时，YinYiBERTa优异的性能验证了领域微调策略的有效性，增强了模型对佛典音义复杂语言结构的解析和识别能力。表5展示了佛典音义真实的分词情况：

 表5 佛典音义分词结果^[29]

从真实的分词结果可以看到，源于《四库全书》的预训练模型，针对命名实体识别的准确度非常理想，如“世本”“周礼”“磬乐录”“凫氏”等；标注微调后的模型，取得了良好的效果，注音情况绝大部分都可以切分准确，音译词、外来词也做到了较为准确地切分，如“××反”“怚毗揵拏”“曼荼罗”等，对于特殊辨字术语也切分得较为准确，如“此云”“正作”等。以佛典中特殊的音译词来说，模型准确切分的原因，一方面在于语料微调标注的准确性；另一方面在于其他注音释义类型的大部分准确切分降低了这类音译词的错误率。经由样本数据的切分抽检，微调后的模型对佛典音义的形式和内容均能准确识别和切分，说明少量语料标注在微调过程中作用是重要的。

2.分词任务开放测试

为进一步验证微调模型对其他类型汉语音义语料的泛化性，利用YinYiBERTa对《后汉书音注》^[30]部分语料进行分词实验。实验语料是训练集中未包含的数据，共1,550条音义，3.2万字，自动分词后具有2.3万个词串，模型F1值为95.34%，分词结果符合齐普夫定律。

按词频统计，计不重复词串6,340个，注音标记“音”词频1,811，句末标记“也”词频1,381，“曰”字词频755，“之”字词频462，其他词频均低于200。采用注音标记“音”字起领的情况，一般后接反切。表6展示了词频前十、后十的词串分布：

 表6 《后汉书音注》分词词频前后十位统计

词频前十位的单字词为注音或注疏等汉语常用词，词频后十位几乎不具区别性，一般不会对文本音义内容有较大影响。“说文”词频116，在所有出现书目名称的词频中居首，说明音注对该书的看重，其他书名、经师名、音注术语等出现的词频范围如下表：

 表7 《后汉书音注》分词专名类词频统计

分词结果中“前书音义”“前书”同时出现，通过回归原文分析，认为并非分词错误，而是《后汉书音义》与《汉书》及其音义的对举，如“前书曰：将作少府秦官……”“窨音一禁反见前书音义”。经统计，《后汉书音注》广泛使用反切注音法进行注音，共1,214个反切，不重复反切900个，词频最高为“纪力反”10次，仅使用一次的反切707个，反切词频为1。在《后汉书音注》中一般前有“音”字样提示注音，除了绝大部分用反切，还有少量用直音法注音，这一现象符合音义书音注的惯常体例。^[31]

以上从统计的角度观察了词汇的切分情况，YinYiBERTa对开放测试的语料切分已能够达到较为实用的水平。表8为语料切分情况的完整展示。

 表8 《后汉书音注》卷29《申屠刚鲍永郅恽列传》分词举例

《后汉书音注》与唐五代佛典音义既有区别和联系，音义形式又存在交叉，即佛典音义中的注音释义方式在《后汉书音注》中也存在，而且SikuBERT预训练时所用语料中史部数量较多，促进了微调效果的提升。经过利用唐五代佛典音义语料微调训练，模型已经对汉语音义文献的切分具备了良好的泛化性。基于此模型的词汇切分，能够将音义信息单元高效精准地提取，完成相关数字人文研究。如准确音义实体的识别切分“去音丘吕反”“繇音遥”等可以帮助后续建立注音字与注音内容间的链接关系，对应的人名、地名切分可以辅助进行音义来源探索。以表8中例3的分词结果为例可抽取并建立音义关系图谱。

 图4 《李贤音注》音义抽取及音义关系构建示意图

基于唐五代佛典音义语料，实现了面向汉语音义文献领域的自动分词模型——YinYiBERTa，经佛典音义文本和开放类音义文本的切分实验，模型取得了95%左右的F1值，具备了出色的自动分词性能。然而模型表现一定程度上依赖于训练数据的质量。本文的价值在于：（1）提出佛典音义的领域分词标注规范具有规范性，可拓展适配其他古籍领域的数字化处理（如道藏音义、经典注疏等），为大模型提供了领域知识基座；（2）验证了在计算资源受限的情况下，采取领域特征微调的方法，即使是相对较小的预训练模型，也可以展现出良好的推理能力。

随着通用大语言模型的快速迭代和广泛应用，古籍数字化领域迎来了新的发展机遇，本文的探索凸显了领域知识对模型表现的重要性。接下来，大语言模型下的古籍数字化研究需要秉持“数据导向”和“领域适配”的思路继续深入发展。

未来，为突破单任务模型的局限性，我们将致力于构建一个融合多任务的领域深度学习框架，并积极探索大语言模型辅助的领域古籍数字化任务研究。此外，我们还将进一步实现领域古籍的知识图谱构建，从而助力汉语史、汉语音义关系的智能化知识挖掘。这些探索无疑是数字人文视域下古汉语创新发展的具体实践。

编辑|程宁

西夏文献作为珍贵的历史文化遗产，对于西夏历史和文明的重建、对于宋辽金元历史文化的研究、对于包括敦煌文化在内的“丝绸之路”古代社会经济文化的研究等都有重要的作用。^[1]据统计，现存西夏文献总计约500万—600万字，其中宗教佛经占比高达80%。^[2]西夏文在创制过程中受到汉字影响，呈现典型的方块字特征，其字形结构与汉字多有相似之处，除不具备“全包围结构”外，其余结构形式均可在汉字中找到对应。然而，西夏文字结构繁复，字形相似度高，辨识难度较大。

西夏文献研究经历了纸质化、电子化和数字化发展阶段，内容研究也从释字逐步扩展至西夏词汇、词类和结构研究等。^[3]百余年来，学界在西夏文研究方面取得了丰硕的研究成果。然而，在数智时代，西夏文的全文检索、信息处理和知识挖掘等方面的研究相对滞后，仍以传统的人工阅读、识别和摘录为主。图像光学字符识别（Optical Character Recognition,OCR）是西夏文献数字化的基础，也是后续研究的前提，而机器翻译则能够显著降低西夏文献解读的难度，提升解读效率。因此，OCR和机器翻译是西夏文信息处理的两项关键任务。

人工智能依赖于算法、算力和数据三大核心要素。在古文字处理领域中，高质量训练数据的稀缺是制约技术落地的核心难点。对于西夏文而言，公开的高质量训练数据尤为匮乏。在西夏文OCR方面，仅Tangut Database数据集可开放获取。该数据集仅包含668个字符的16,320张字图，只及Unicode标准收录西夏字符的1/10。^[4]此外，该数据集字符数量分布极不均衡，单字符的字图最多的有528张，最少的仅有2张，超过200个字符的字图少于5张，严重影响了模型训练效果及其应用推广。在西夏文解读和翻译方面，西夏文-汉语对译数据仅以单个文献为单位少量公开，缺乏系统性，且多以纸本形式出版，录入和再利用成本高昂。因此，如何在有限的数据资源条件下提升模型性能，已成为西夏文信息处理领域亟待解决的关键问题。

本文探究了低数据资源条件下西夏文OCR和机器翻译的实现方案，旨在为西夏文献的解读与研究提供支持。针对西夏文OCR训练数据不足的问题，本文通过字体生成技术扩充了训练集，在仅使用500张真实标注图片的前提下达到83.1%的识别准确率。针对西夏文机器翻译任务，本文提出一种结合大语言模型和专家知识的方法，分别实现了西夏文的对译和意译。实验结果表明，仅需数百个西夏文-汉语对译和意译对齐数据组，即可训练得到具有一定实用价值的翻译。

本文相关工作主要涉及西夏文信息处理、字体生成技术、西夏文字识别方法和基于大语言模型的机器翻译技术四个方面。

（一）西夏文信息处理

进入20世纪90年代，西夏研究在文献整理、机构建立、专题研究、学术交流和成果数量等多个方面都有了很大的进展。^[5]不少学者开始关注电脑处理西夏文问题，在西夏文字库的建立以及排版系统的开发方面取得了一些成果。1999年，宁夏大学计算中心主任马希荣教授研制出“夏汉字处理及电子字典”，其中就有西夏文字符集。2005年，时任宁夏社会科学院研究员的景永时和贾常业研制出“基于北大方正典码之上的西夏文字录入系统”，该系统设计的西夏文字符集借用了汉字楷体笔画。^[6]西夏文处理系统的研制大大改善了西夏文计算机处理的状况，并逐渐在西夏学与计算机学科间产生了一个交叉研究方向——西夏文信息处理。研究者们也开展了一系列相关科研工作，如在线夏汉电子字典^[7]、西夏音韵数据库^[8]和西夏语料库^[9]的建设。近年来，人工智能技术蓬勃发展，西夏文字识别也引起国内外众多学者关注，不断涌现出了新的方法。随着西夏学研究的深入，“四行对译”成为使西夏文献研究与历史语言学、文献语言学研究接轨的重要方法，这也提出了西夏文机器翻译技术的需求。^[10]

（二）字体生成技术

本文尝试通过字体生成技术缓解西夏文OCR缺乏标注数据的问题。字体生成作为图像生成的重要分支，其目标是通过一个模型和一批参考字，生成与参考字风格相似的一批字图。早期的字体生成模型借鉴了通用图像生成模型的编码器－解码器架构，例如开源项目zi2zi和FUNIT。^[11]后续的研究将字体生成任务中笔画、部件等独有的特征融入编码器，以更好地捕捉字体的细节和结构。^[12]近期也有研究使用扩散模型将字体生成建模为加噪声和去噪声的过程，例如FontDiffuser。^[13]这种方法生成的字形优美，但容易出现部件的笔画细节错误，本文没有采用。

（三）西夏文字识别方法

文字识别算法旨在将字符图像转换为对应的文本。单字符识别任务本质上是一个图像分类问题。按照识别技术划分，西夏文字的识别主要经历了传统识别方法和深度学习识别方法两个发展阶段。^[14]传统识别方法包括基于结构的方法^[15]、基于统计的方法^[16]和基于支持向量机的方法^[17]。深度学习识别方法包括基于CNN的方法^[18]和基于RNN的方法。^[19]深度学习方法使西夏文字识别取得了长足进展，但尚存在依赖大量标注数据、识别精度不高等问题。

ViT（Vision Transformer）^[20]模型在计算机视觉领域的重要性逐渐增加。其通过将输入图像划分为固定大小的图像块（patches），并将其转换为一维向量序列，继而输入Transformer结构进行监督式图像分类训练。研究表明，经过大规模数据预训练的ViT模型在迁移学习场景中表现出显著的数据效率优势，即在目标任务中所需的训练样本数量大幅降低。在文字识别领域，基于Transformer架构的模型如TrOCR^[21]和EVA-02^[22]已成为主流解决方案。其中，适合于字识别模型的EVA-02模型采用了改进的TrV（Transformer Vision）架构，在保持模型参数规模相当的情况下，通过优化计算架构显著降低了计算成本，并在多个基准测试中实现了最优性能。

（四）机器翻译技术

机器翻译是自然语言处理的核心任务之一，旨在将源语言自动转换为目标语言。截至本文撰写之时（2025年2月），尚未检索到公开发表的关于西夏文机器翻译的研究成果。对于古代语言等低资源语言，机器翻译系统需要应对独特的挑战，比如不完整的词典、碎片化的文本以及母语使用者的缺乏。早期依赖规则和统计的方法难以应用于资源匮乏的语言。近年来，由于神经网络模型和迁移学习技术的发展，低资源语言的机器翻译逐渐受到了重视。序列到序列模型^[23]和Transformer架构^[24]彻底改变了这一领域，实现了具备上下文感知能力的更强大的翻译。^[25]随着GPT^[26]等生成式大语言模型的发展，最近的工作展示了大语言模型在这一领域的潜力。^[27]基于微调大语言模型以处理低资源语言的范式已经应用于拉丁语^[28]和古希腊语^[29]，并且达到了最先进的性能。在低资源机器翻译中的一个关键创新是使用辅助资源，如词典、平行文本和多语言嵌入，^[30]以增强模型性能。在有限的平行数据场景中，反向翻译、数据增强和迁移学习等技术^[31]已被证明有效。此外，包括思维链（Chain-of-Thought,CoT）^[32]和少样本学习（Few-Shot）^[33]在内的提示策略，已成为指导大语言模型处理低资源任务的强有力的工具。

本节通过字体生成技术构建训练数据集，实现了西夏文字全字符集的识别。

（一）基于字体生成技术的数据集构建

2016年6月，Unicode 9.0开始收录西夏文字符，包括6,125个西夏文字，755个构字部首，共计6,880个字符。本研究的目标是识别所有这些西夏文字及部首。OCR模型的训练通常需要大规模的标注图像数据。然而，通过人工构建传统的OCR训练数据集耗时耗力，且难以解决样本不平衡问题。鉴于西夏文与汉字的渊源关系，本研究采用字体生成算法，模拟汉字字体风格生成西夏文字图像，构建训练数据集。由于西夏文没有大量字体可用于输出评价生成效果的客观指标，只能依靠专家主观判断来评价生成质量。经大量实验发现，基于生成对抗网络的字体生成模型中MX-Font模型^[34]在西夏文字图像生成方面风格拟真度高，整体表现最为优异。而基于扩散网络的FontDiffuser模型则容易出现笔画生成出错的情况，见图1。

图1 扩散模型生成的部件出错的西夏文字图

（左侧为银川体，中间为风格变换目标字体，右侧为生成效果）

本文选用西夏银川体^[35]（Tangut Yinchuan）为西夏文图像参考字体。由于MX-Font模型未公开，需自行训练。本研究参照西夏银川体风格，选取风格相似的方正萤雪体作为参考字体，收集了432个汉字字体作为风格变换目标字体，并选择432个字体共有的4,339个字符作为训练集。同时，本文收集了这4,339个字符的部件信息，供特征分类器使用。字体生成实验基于Ubuntu 20.04.6 LTS操作系统，软件环境为CUDA 11.8，PyTorch 2.1.1（torchvision 0.16.1），Python3.10.13。硬件配置包括8块NVIDIA RTX 4090图形处理器。训练阶段，使用Adam优化器，批大小设置为24，最大迭代次数设置为800,000，生成器和辅助分类器的学习率分别设置为0.0002和0.0002。

利用最终训练得到的模型生成了101种风格的西夏文全字符集图像，生成效果见图2，最顶端的6个“典”字图像为6种不同汉字字体的参考字图，最左侧的3个图像为3个西夏银川体字图，它们的右侧为依据不同字体的汉字风格生成的西夏文字图像。

图2 西夏文字体生成效果，包括版刻风格以及部分手写体，最左栏为银川体

为增强生成数据的多样性以提高模型的泛化能力，本文对生成的西夏文字图像进行了数据增强，具体方法如下：（1）在0.6—1.4范围内随机调整字图的长宽比；（2）在-15°—15°范围内随机调整字图的角度；（3）50%的概率对字图的四边执行随机裁剪，范围是0%—20%；50%的概率对字图的四边执行随机扩充，范围是0%—40%；（4）再次在0.6—1.4范围内随机调整字图的长宽比；（5）50%的概率使用TIA算法[36]扭曲图像；（6）对笔画颜色执行随机加深或淡化；（7）30%的概率给字图增加多尺度噪声及纸纤维噪声；（8）30%的概率对字图执行中值滤波。对所有生成的西夏文字图像执行10次数据增强操作，共获得1,010套增强数据集。将原始未增强数据与增强数据合并，得到完整的西夏文OCR数据集，每个西夏文字符均包含1,111个不同的图像样本。

（二）实验数据

本文采用分层随机抽样法对构建的生成字体数据集进行划分，按照90%、5%、5%的比例分别构建训练集、验证集和测试集。具体而言，每个西夏文字符在训练集、验证集和测试集中分别有1,000个、56个和55个图片样本。

为了评估模型在真实西夏文献中的识别性能，本研究从普林斯顿大学图书馆馆藏西夏文献《妙法莲华经》第四卷中随机选取了部分页面作为真实测试集的来源。通过字符图像提取和人工验证相结合的方法，最终构建了包含219类西夏文字符，共计1,000个图像样本的真实测试集，用于模型性能的客观评估。

为进一步验证方法在扩充真实数据后的表现，本研究从真实测试集来源额外收集了500个图像样本进行标注，并对这些样本执行了10次数据增强操作，构建了补充训练集。在模型训练过程中，首先将生成的伪字体数据集输入神经网络进行训练，随后再引入补充训练集以进一步优化模型表现。

（三）模型选择

预训练模型可以降低小样本任务的训练难度并且显著提升任务性能。本研究以EVA-02预训练模型（参数规模为86M）为基础，进一步使用生成的西夏文字体数据集进行有监督微调训练。这种训练范式不仅充分利用了预训练模型在视觉特征提取方面的优势，同时也针对西夏文字的特点进行了模型优化。

（四）实验设置和评价指标

本实验基于Ubuntu 20.04.6 LTS操作系统，软件环境为CUDA 11.8，PyTorch 2.0.0（torchvision 0.15.1），Python 3.8.18。硬件配置包括8块NVIDIA RTX 4090图形处理器。考虑到西夏文献页面的物理特征、文字结构特点以及字符在图像中的空间分布特性，本文将西夏文字图片等比缩放到96×96像素，将patch设置为8×8像素，也就是将输入的字符图像划分为144个等大小的图像token进行特征提取。为了提升模型的泛化能力，本研究采用标签平滑交叉熵损失函数（Label Smoothing Loss），对标签分布进行适度平滑化处理，抑制模型过拟合。本实验采用Top-1准确率作为西夏文OCR任务的评价指标。Top-1准确率为模型预测的类别与真实类别完全一致的样本数占测试集中总样本数的比例，计算公式如下：

（五）结果与分析

模型经20个epoch微调训练后达到收敛，训练损失函数曲线如图3所示。

图3 西夏文识别模型训练损失函数曲线

为全面评估本文方法在西夏文OCR任务中的性能，本研究分别测试了两种训练集设置的效果：仅使用生成的伪造字体、结合生成的伪造字体与少量真实标注图片。具体结果详见表1。

表1 西夏文OCR结果^[37][38]

ab

实验结果表明，本文提出的方法在未使用任何真实标注图片的情况下，便达到了74%的识别准确率，并覆盖了Unicode9.0西夏文完整字符集。进一步引入500张真实标注图片后，识别准确率显著提升，超越了基于结构的识别方法（训练数据包含3,000张真实标注图片）的表现。然而，受限于标注数据规模，该方法的识别准确率仍低于使用100,000张图片训练的CNN方法。这一结果表明，本文方法对真实标注图片的依赖较低，具有良好的适应能力，可推广应用于其他低资源文字的识别任务。

本节致力于构建西夏文至汉语的机器翻译系统，重点探讨西夏文的对译与意译两种翻译模式。在西夏文献研究中，“四行对译”是一种传统且重要的解读范式，其具体形式如表2所示。 

表2 西夏文“四行对译”示例^[39]

“四行对译”范式中第1行为西夏文原文，第2行为西夏文的拟音转写，第3行与第4行分别为汉语对译译文与汉语意译译文。对译过程主要体现为词语层面的一一对应转换，而意译则需要在准确把握原文语义的基础上，依据汉语的句法规则与表达习惯进行语序重组和语义重构。值得注意的是，当遇到汉语中缺乏对应字的西夏文字时，研究者通常采用“△”符号进行标记。在意译环节，这些标记符号需要根据上下文语境与语义关联进行合理转换与表达。相较于对译，意译过程涉及更为复杂的语言认知与转换机制，实现难度更高。

图4 《简明夏汉字典》中“”条目

（一）实验数据

1.西夏文字—汉语翻译数据

本文方法以西夏文字的汉语翻译作为参考，采用的汉语翻译数据源自李范文编撰的《简明夏汉字典》。^[40]本文从《简明夏汉字典》中为6,703个西夏文字头抽取了8,245个义项，平均每个西夏文字1.23个义项。其中，748个西夏文字有2个义项，206个西夏文字有3个义项，多于3个义项的西夏文字有98个。

基于词典释义，本文构造得到两类西夏文字—汉语翻译数据：（1）完整释义（表示为Dict），包含字词解释、序号和词性等信息；（2）简化释义（表示为Dict_Single），仅保留简单字词解释，并转换为简体汉字。以字典中西夏文字“”为例（参见图4），其完整释义为“1.種、苗、裔[名詞]；2.胤；3.明；4.習”，简化释义为“种、苗、裔、胤、明、习”。

2.西夏文—汉语句对齐数据

本研究使用的西夏文—汉语句对齐数据集源自《三代相照文集》和《华严经》第77卷。其中，《三代相照文集》的句对齐数据有569组，^[41]包含对译和意译两种类型，示例如表3所示。

表3 《三代相照文集》数据示例

《华严经》第77卷的句对齐数据有525组，^[42]包含日语译文和汉语译文，两者均为意译。为获得标准对译文本，我们运用ChatGPT-4o模型将日语译文转换为符合对译要求的汉语译文。表4展示了《华严经》第77卷数据示例。

表4 《华严经》第77卷数据示例

实验采用《三代相照文集》作为主要数据来源，随机选取其中95%的数据构成训练集，剩余5%的数据构成测试集。由于《华严经》第77卷的525组数据未严格遵循四行对译格式，仅用于评估模型的迁移学习能力。

（二）模型设计

本研究提出了一种专家知识增强生成的西夏文翻译方法。该方法通过在大语言模型的提示词中整合西夏文字—汉语翻译数据，实现西夏文的精确对译和意译。

1.基础大语言模型的选择与微调

本研究选择本课题组在Qwen1.5-14B-Chat模型上进一步训练得到的古汉语大语言模型（表示为Qwen_Classical）作为基础模型。首先，使用Qwen1.5-14B-Chat模型在包含古文全集、文白对照语料以及文史哲典籍等文本的36GB数据上进行继续预训练，以增强其对古汉语的理解能力。随后，利用76个古汉语任务的39万条数据对其进行微调，以提升模型在特定任务上的性能。^[43]最终，为了实现西夏文到汉语的翻译，使用对译和意译数据进行最终的微调训练。作为对比，本文也使用相同的对译和意译数据对Qwen1.5-14B-Chat模型（表示为Qwen）进行了微调训练。

2.对译模型提示词设计

在基于大语言模型的西夏文对译任务中，我们设计了一种基于字符级提示的策略。具体而言，输入提示中包含了每个西夏文字及其对应的汉语释义，其具体格式见图5。

图5 西夏文对译提示词

以“”的对译为例，使用西夏文字的汉语简化释义时，其完整提示词如图6所示。

图6 “”对译提示词

图6所示的提示词中方括号内的文字是每个西夏文对应的汉语简化释义。对于这个例子，输出的西夏文对译结果应为：“罪非皆不为”。此外，提示词中除可使用西夏文的汉语简化释义外，亦可采用其汉语完整释义。

3.基于思维链的意译模型提示词设计

在基于大语言模型的西夏文意译任务中，有两种不同的提示策略：直接意译策略（表示为Prompt）和思维链意译策略（表示为Prompt_CoT）。前者指示模型直接生成目标语言（汉语）的意译结果，后者则将翻译过程分解为两个阶段：首先，模型进行逐字对译；其次，模型基于初步的对译结果进行语义重构，生成最终的汉语意译文本。采用思维链策略的提示词^[44]格式如图7所示：根据候选词先构造西夏文的对译，在对译的基础上再生成西夏文的意译：

图7 西夏文意译提示词（思维链策略）

以“”为例，输出的西夏文对译应为“此复退难自何见，△想△则人悲痛”，意译应为“此复难退自何见？我等每思则悲哭”。

（三）实验设置和评价指标

本实验基于CentOS Linux release 7.9.2009操作系统，软件环境为CUDA 11.8，Pytorch 2.0.1，Python 3.10.13和transformers 4.37.2。硬件配置包括2块NVIDIA A800 80G图形处理器。在对译和意译任务的微调训练中，均采用以下超参数设置：最大训练轮次为5，批大小为8，梯度累积步数为1；优化器选用AdamW，权重衰减设置为0.1，学习率为0.0003，采用cosine学习率调度策略，预热比例为0.01；训练精度采用bf16；每设备训练批大小为8，每设备验证批大小为1；模型最大长度设置为512。

实验中，我们控制了三个变量：字典释义类型、基础大语言模型类型和提示策略类型。为评估西夏文对译和意译的性能，本研究采用BLEU-4^[45]作为评价指标，值越大说明翻译效果越好。

（四）结果与分析

1.机器翻译性能评估

表5展示了不同变量下西夏文自动对译模型在测试集上的性能评估结果。结果显示，Dict_Single+Qwen_Classical模型在测试集中获得了72.33的BLEU-4得分，取得了最佳性能。使用不同类型的西夏文—汉语翻译数据进行微调，Qwen_Classical模型的性能均优于原始Qwen模型。同时，使用汉语简化释义而不是完整释义，也可以提升模型的翻译性能。这可能是因为简化的提示词有助于模型捕捉并理解核心信息。

表5 西夏文自动对译测试结果

表6展示了基于古汉语大模型的西夏文自动意译模型在测试集上的性能评估结果。结果表明，Dict_Single+Prompt_CoT模型在测试集上均取得了最佳性能，其BLEU-4得分为64.2。使用思维链提示策略而不是直接输出意译可以显著提升模型性能。这可能是因为思维链策略模拟了人类翻译的认知过程，即先理解原文语义（对译），再进行表达转换（意译），从而为模型提供了更清晰的推理路径，有效减少信息丢失和歧义，进而提升意译结果的连贯性和准确性。

表6 西夏文自动意译测试结果

测试结果表明，本文实现的西夏文机器翻译模型在自动对译和自动意译两个方面均达到了实用水平。

2.训练集规模对模型性能的影响

为探究训练集规模对模型翻译性能的影响，本研究在不同规模训练集上进行了对比实验。我们从测试数据中随机抽取28组作为固定测试集，从训练数据中随机抽取100至500组作为训练集。对译采用Dict_Single+Qwen_Classical配置，意译采用Dict_Single+Qwen_Classical+Prompt_CoT配置。实验结果显示，随着训练集规模的增加，模型在对译和意译任务上的性能均呈现稳步提升趋势，详情见表7。值得注意的是，即使在仅有100组训练集的情况下，模型也展现出了显著的少样本学习能力，验证了大语言模型在低资源翻译任务中的特殊优势。