[发明专利]实体打标模型训练的方法、装置及电子设备

权利要求书

1.一种实体打标模型的训练方法，其特征在于，包括：

利用包含噪声标签的训练数据对实体打标模型进行训练，并利用训练得到的实体打标模型对所述训练数据中的实体进行标签分布预测；

根据所述训练数据中所包含实体的原始标签分布以及所述实体打标模型预测的标签分布，得到所述实体的伪标签；

利用所述伪标签对所述训练数据中的实体进行重标注，并利用重标注的训练数据对所述实体打标模型进行训练，得到训练后的实体打标模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述训练数据中所包含实体的原始标签分布以及所述实体打标模型预测的标签分布，得到所述实体的伪标签，包括：

根据所述原始标签分布初始化伪标签分布；

对所述伪标签分布进行更新，更新过程中所述伪标签分布与所述预测的标签分布以及所述原始标签分布之间的差异保持在预设范围内；

选择更新后的伪标签分布中概率符合条件的标签作为伪标签。

3.根据权利要求2所述的方法，其特征在于，所述对所述伪标签分布进行更新，包括：

根据KL距离约束构造目标函数，并通过多轮迭代对所述伪标签分布进行更新；所述KL距离约束通过所述预测出的标签分布与所述伪标签分布之间的交叉熵进行表达，以使得在迭代过程中，所述伪标签分布相对所述预测出的标签分布的偏移量在第一目标范围内。

4.根据权利要求2所述的方法，其特征在于，所述对所述伪标签分布进行更新，包括：

根据偏移约束构造目标函数，并通过多轮迭代对所述伪标签分布进行更新；所述偏移约束通过伪标签分布与原始标签分布之间的交叉熵进行表达，以使得在迭代过程中，所述伪标签分布相对原始标签分布的偏移量在第二目标范围内。

5.根据权利要求2所述的方法，其特征在于，所述对所述伪标签分布进行更新，包括：

根据独热约束构造目标函数，并通过多轮迭代对所述伪标签分布进行更新，以使得更新后的伪标签分布中仅有单个维度上的标签符合目标条件。

6.一种实体打标模型的训练方法，其特征在于，包括：

获取原始训练样本集，并利用所述原始训练样本集对实体打标模型进行训练，建立第一实体打标模型；其中，所述原始训练样本集中包括多条训练样本，每条训练样本包括实体，实体关联的文本，以及实体对应的原始标签信息；

利用所述第一实体打标模型对所述训练样本中的实体进行标签分布预测；

利用所述训练样本中的实体的原始标签分布以及所预测出的标签分布各自包含的正确信息，对所述训练样本中的实体进行重新标注；

根据重新标注后的训练样本重新对实体打标模型进行训练，建立第二实体打标模型。

7.根据权利要求6所述的方法，其特征在于，

所述第一实体打标模型用于根据输入的实体以及所关联的文本信息，从候选的标签集合中为实体确定对应的标签；

所述标签分布为：标签在所述标签集合对应的多维向量中的分布情况。

8.根据权利要求6所述的方法，其特征在于，

所述利用所述原始标签分布以及所预测出的标签分布各自包含的正确信息，对所述训练样本中的实体进行重新标注，包括：

根据所述原始标签分布初始化所述训练样本中的实体对应的伪标签分布；

构造关于所述伪标签分布、原始标签分布以及预测出的标签分布的目标函数，并通过多轮迭代，对所述伪标签分布进行更新；

根据更新后的伪标签分布重新对所述训练样本进行标签标注。

9.根据权利要求8所述的方法，其特征在于，

更新过程中所述伪标签分布与所述预测的标签分布以及所述原始标签分布之间的差异保持在预设范围内。