[发明专利]一种基于深度学习的古文预训练系统及其训练方法

说明书

本发明提供了一种基于深度学习的古文训练系统及其训练方法，属于古文训练的技术领域，包括预处理模块以及预训练模块；预处理模块，用于获取预训练的古文数据，并对古文数据进行预处理；预训练模块，用于根据预处理后的古文数据以及BERT‑base模型，利用完形填空任务训练得到古文预训练模型。本发明通过构建无标注的古文语料数据集，用于古文领域模型预训练，提出了一个古文领域的预训练模型AnchiBERT，该模型是基于BERT架构，在大量古文单语料数据集上训练而成，能够有效提升古文领域任务效果，包括古文理解任务和古文生成任务。本发明解决了现有技术中监督任务过度依赖于古文平行语料数据，且平行数据没那么容易获得的问题。

技术领域

本发明属于古文训练的技术领域，尤其涉及一种基于深度学习的古文训练系统及方法。

背景技术

古文是中国古代的一种书面语言组成的文章，主要包括以先秦时期的口语为基础而形成的书面语言，包含策、诗、词、曲、八股、骈文、对联等多种文体，古文使用了上千年，所以现存的古文语料数量大。之前对于古文领域的任务研究包括古文翻译成现代文、古诗生成、对联生成等。这些古文任务大多都使用平行的有标注语料应用于各种机器学习模型，包括神经网络模型，而模型训练的效果会极大地受到平行有标注数据规模的限制。

近年来，很多研究都提出了使用预训练模型应用到自然语言处理上以提升效果，这些预训练模型在计算性能满足的情况下用某个较大的数据集训练出一个较好的神经网络模型，然后根据不同的任务，改造预训练模型，用新任务的数据集在预训练模型上进行微调。因此为了提升古文领域的任务效果，本申请提出了一个古文领域的预训练模型，在大型古文单语料上进行预训练，然后应用到下游的古文任务以提升效果。

发明内容

针对现有技术中的上述不足，本发明提供的一种基于深度学习的古文训练系统及其训练方法解决了现有技术中监督任务过度依赖于古文平行语料数据，且平行数据没那么容易获得的问题。

为了达到以上目的，本发明采用的技术方案为：

本方案提供一种基于深度学习的古文预训练系统，包括预处理模块以及预训练模块；

所述预处理模块，用于获取预训练的古文数据，并对所述古文数据进行预处理；

所述预训练模块，用于根据所述预处理后的古文数据以及BERT-base模型，利用完形填空任务训练得到古文预训练模型，完成对基于深度学习的古文预训练系统的训练。

基于上述系统，本发明还公开了一种基于深度学习的古文预训练系统的训练方法，包括以下步骤：

S1、获取预训练的古文数据，并对所述古文数据进行预处理；

S2、利用BERT-base模型对古文预训练模型的参数进行初始化处理，并将BERT-base模型中的中文词汇表作为古文预训练模型的词汇表；

S3、根据预处理后的古文数据以及所述词汇表，利用完形填空任务训练得到古文预训练模型，完成对基于深度学习的古文预训练系统的训练。

进一步地，所述步骤S1包括以下步骤：

S101、获取预训练的古文数据；

S102、删除所述古文数据中的特殊符号，并将繁体中文转换成简体中文；

S103、删除古文数据中的标题，完成对所述古文数据的预处理。

再进一步地，所述步骤S2中古文预训练模型的结构包括依次连接的输入层、12个结构相同的Transformer层以及输出层；每个所述Transformer层均包括依次连接的多头注意力层、第一残差和正则化层、前馈网络层以及第二残差和正则化层，其中，