[发明专利]序列标注模型的训练方法、装置、设备及存储介质

说明书

本申请为自然语言处理技术领域，本申请提供了一种序列标注模型的训练方法、装置、设备及存储介质，其中，所述方法包括：将文本数据进行向量转换得到input_ids向量、segment_ids向量及mask向量，并输入Bert模型进行训练,得到输出序列；将边界特征数据进行词向量编码，得到边界向量，将输出序列与边界向量进行连接得到连接向量，并输入Span模型中，利用Span模型计算起始损失值及结束损失值；根据起始损失值和结束损失值计算总损失值，在总损失值满足预设阈值时，完成序列标注模型的训练。本发明通过在输入序列标注模型中的文本数据加入边界特征数据，使训练完成的模型对边界信息进行准确预测。

技术领域

本申请涉及自然语言处理技术领域，具体而言，本申请涉及一种序列标注模型的训练方法、装置、设备及存储介质。

背景技术

随着文本数据在互联网上的增长，越来越多的服务与应用依赖知识抽取等技术的辅助，以提供更好的服务。而在知识抽取这个具体的任务中，解析无自然分隔的文本数据的技术又扮演着很重要的作用。

在现有技术领域中，在处理无自然分隔的文本数据时，仍然受到分词错误的影响，分词时对边界预测的准确性较低，即模型抽取到的实体起始位置或者结束位置错误。例如，“怎么把xxx自动续保取消？”这段文本数据，现有的模型抽取到的保险产品名称为“xxx自动续保”，而实际保险产品名称应为“xxx”，这类分词错误属于实体结束位置预测错误。

发明内容

本申请的主要目的为提供一种序列标注模型的训练方法、装置、设备及存储介质，以在对文本数据进行分词时，提高对边界预测的准确性。

为了实现上述发明目的，本申请提供一种序列标注模型的训练方法，其包括以下步骤：

获取序列标注模型所需输入的文本数据，将所述文本数据进行向量转换，得到input_ids向量、segment_ids向量及mask向量；其中，所述序列标注模型包括Bert模型及Span模型，所述input_ids向量为所述文本数据中每个词在Bert词典中的编号，所述segment_ids向量用于标记文本数据中每个词所属的句子，所述mask向量用于标记文本数据中的词和非词；

将所述input_ids向量、所述segment_ids向量及所述mask向量输入所述Bert模型进行训练,得到输出序列；

获取所述文本数据中的边界特征数据，将所述边界特征数据进行词向量编码，得到边界向量；

将所述输出序列与所述边界向量进行连接得到连接向量；

确定所述边界特征数据的起始位置向量及结束位置向量；

利用所述Span模型将所述连接向量和所述边界特征数据的起始位置向量进行连接，并线性变换后，得到起始logits值；

利用所述Span模型将所述连接向量和所述边界特征数据的结束位置向量进行连接，并线性变换后，得到结束logits值；

根据所述起始logits值和起始位置向量计算交叉熵损失，得到起始损失值；

根据所述结束logits值和结束位置向量计算交叉熵损失，得到结束损失值；

根据所述起始损失值和结束损失值计算所述序列标注模型的总损失值，判断所述总损失值是否满足预设阈值；

当所述总损失值满足预设阈值时，完成所述序列标注模型的训练。

进一步地，所述判断所述总损失值是否满足预设阈值的步骤之后，还包括：

当所述总损失值不满足预设阈值时，根据所述总损失值调整所述起始logits值及结束logits值；

依据调整后的所述起始logits值及结束logits值重新设置所述Bert模型的参数；