[发明专利]一种基于深度学习的古文预训练系统及其训练方法

权利要求书

1.一种基于深度学习的古文预训练系统，其特征在于，包括预处理模块以及预训练模块；

所述预处理模块，用于获取预训练的古文数据，并对所述古文数据进行预处理；

所述预训练模块，用于根据所述预处理后的古文数据以及BERT-base模型，利用完形填空任务训练得到古文预训练模型，完成对基于深度学习的古文预训练系统的训练。

2.一种如权利要求1所述的基于深度学习的古文预训练系统的训练方法，其特征在于，包括以下步骤：

S1、获取预训练的古文数据，并对所述古文数据进行预处理；

S2、利用BERT-base模型对古文预训练模型的参数进行初始化处理，并将BERT-base模型中的中文词汇表作为古文预训练模型的词汇表；

S3、根据预处理后的古文数据以及所述词汇表，利用完形填空任务训练得到古文预训练模型，完成对基于深度学习的古文预训练系统的训练。

3.根据权利要求1所述的基于深度学习的古文预训练系统的训练方法，其特征在于，所述步骤S1包括以下步骤：

S101、获取预训练的古文数据；

S102、删除所述古文数据中的特殊符号，并将繁体中文转换成简体中文；

S103、删除古文数据中的标题，完成对所述古文数据的预处理。

4.根据权利要求1所述的基于深度学习的古文预训练系统的训练方法，其特征在于，所述步骤S2中古文预训练模型的结构包括依次连接的输入层、12个结构相同的Transformer层以及输出层；每个所述Transformer层均包括依次连接的多头注意力层、第一残差和正则化层、前馈网络层以及第二残差和正则化层，其中，

第一个Transformer层的多头注意力层与输入层连接，第十二个Transformer层的第二残差和正则化层与输出层连接，两个相邻Transformer层之间通过第二残差和正则化层以及多头注意力层连接。

5.根据权利要求4所述的基于深度学习的古文预训练系统的训练方法，其特征在于，各所述Transformer层中多头注意力层、第一残差和正则化层、前馈网络层以及第二残差和正则化层的隐藏层节点数均为768个；各所述多头注意力层的注意力头数量均为12个；各所述前馈网络层的节点数均为3072个。

6.根据权利要求4所述的基于深度学习的古文预训练系统的训练方法，其特征在于，所述输入层包括词嵌入向量层和位置向量层，所述词嵌入向量层的节点数为21128个，所述位置向量层的节点数为512个。

7.根据权利要求4所述的基于深度学习的古文预训练系统的训练方法，其特征在于，所述步骤S3包括以下步骤：

S301、根据预处理后的古文数据，随机选择15％的古文文字得到第一文本序列；

S302、分别将第一文本序列中80％的古文文字利用MASK符号进行遮盖处理、将10％的古文文字利用词汇表中的文字进行替换以及保持10％的古文文字不变，得到第二文本序列；

S303、利用包括第一文本序列和第二文本序列的所有预处理后的古文数据训练古文预训练模型，完成对基于深度学习的古文预训练系统的训练。

8.根据权利要求7所述的基于深度学习的古文预训练系统的训练方法，其特征在于，所述步骤S303中古文预训练模型的目标函数的表达式如下：

L(θ；X)＝∑_x∈Xlog(x^mask|x^\mask；θ)

X＝{x₁,x₂,...,x_n}

其中，L(θ；X)表示古文预训练模型的目标函数，X表示所有的古文文本训练数据，x_n表示第n个文本序列，θ表示古文预训练模型参数，x^mask表示在X中被遮掩处理的15％的古文数据，x^\mask表示在X中除第一文本序列剩余的85％的古文数据。