[发明专利]一种生成古汉语标注模型的方法和系统

权利要求书

1.一种生成古汉语标注模型的方法，其特征在于，该方法包括：

S1、训练生成能够表征上下文语义的语言模型；

S2、构建多任务联合学习模型；

S3、同时训练所述语言模型和多任务联合学习模型，所述语言模型和多任务联合学习模型组成古汉语标注模型；

所述步骤S2包括：

S21、构建句读标点分类器；

S22、构建书名分类器；

S23、构建引号分类器；

S24、构建实体分类器；

其中，所述句读标点分类器的输入为所述语言模型的输出向量；所述书名分类器、引号分类器和实体分类器的输入为所述语言模型的输出向量与所述句读标点分类器的输出向量的拼接。

2.根据权利要求1所述的方法，其特征在于，在所述步骤S1中，所述语言模型为BERT模型。

3.根据权利要求1所述的方法，其特征在于，所述句读标点分类器包括标点全连接神经网络和标点softmax分类器；书名分类器为书名CRF分类器；引号分类器为引号CRF分类器；实体分类器包括实体全连接神经网络和实体softmax分类器。

4.根据权利要求1所述的方法，其特征在于，在所述步骤S3中，多任务联合学习模型的全局损失函数定义为：

Loss＝sign(y_punctuation)*Loss_punctuation+sign(y_book)*Loss_book+sign(y_quotation)*Loss_quotation+sign(y_entity)*Loss_entity

其中，sign(y)是符号函数，即如果y0，则输出1，如果y＝0，则输出0；y_punctuation是句读标点的标准答案，Loss_punctuation是句读标点的损失，y_quotation是引号的标准答案，Loss_quotation是引号的损失，y_book是书名的标准答案，Loss_book是书名的损失，y_entity是实体的标准答案，Loss_entity是实体的损失；y是标准答案对应的标签；是模型预测的标签；y^*是实体的标准答案设置多种取值；Cross_entropy是交叉熵损失，OTHER表示未分类实体。

5.根据权利要求4所述的方法，其特征在于，训练时，根据反向传播算法更新多任务联合学习模型的参数和所述语言模型的参数。

6.一种生成古汉语标注模型的系统，其特征在于，所述系统包括：语言模型构建模块、多任务联合学习模型构建模块和古汉语标注模型训练模块，其中，

所述语言模型构建模块，用于训练生成能够表征上下文语义的语言模型；

所述多任务联合学习模型构建模块，用于构建多任务联合学习模型，以识别标点、书名、引号和命名实体；多任务联合学习模型包括句读标点分类器、书名分类器、引号分类器和实体分类器；句读标点分类器与语言模型相连接，接收语言模型输出的向量，语言模型的输出与句读标点分类器的输出拼接形成拼接向量，作为书名分类器、引号分类器和实体分类器的输入；

所述古汉语标注模型训练模块，用于利用采集的带标注数据，根据反向传播算法对语言模型和多任务联合学习模型同时进行训练，训练结束后所形成的语言模型和多任务联合学习模型组成古汉语标注模型。