[发明专利]知识预训练模型的训练方法、装置和电子设备

权利要求书

1.一种用于人机交互的知识预训练模型的训练方法，包括：

获取训练文本，所述训练文本包括结构化知识文本和对应的文章，所述结构化知识文本包括头节点、尾节点和所述头节点和所述尾节点之间的关系，所述结构化知识文本具有语义信息，所述文章是根据所述语义信息搜索获得的，所述文章具有语言表示信息；

根据所述训练文本对待训练的知识预训练模型进行训练；

所述根据所述训练文本对待训练的知识预训练模型进行训练，包括：

将掩掉预设元素的所述训练文本输入至所述待训练的知识预训练模型，生成所述预设元素的预测数据，其中，所述预设元素包括所述结构化知识文本中的头节点、尾节点和所述头节点和所述尾节点之间的关系中的任意一个，或者，所述文章中的任意一个词语；

当所述预设元素为所述结构化知识文本中的头节点、尾节点和所述头节点和所述尾节点之间的关系中的任意一个时，根据所述预设元素的预测数据和所述预设元素对所述待训练的知识预训练模型进行训练，以使所述知识预训练模型进行所述语言表示信息的学习；

当所述预设元素为所述文章中的任意一个词语时，根据所述预设元素的预测数据和所述预设元素对所述待训练的知识预训练模型进行训练，以使所述知识预训练模型进行所述语义信息的学习。

2.根据权利要求1所述的训练方法，还包括：

获取词条；

根据所述词条获取对应的所述文章；

根据所述词条和所述文章获取对应的目标三元组；

将所述目标三元组文本化，得到所述结构化知识文本；

将所述结构化知识文本和所述文章进行拼接，得到所述训练文本。

3.根据权利要求2所述的训练方法，其中，所述根据所述词条和所述文章获取对应的目标三元组，包括：

将所述词条作为所述头节点从知识图谱中获取对应的候选三元组，所述候选三元组包括所述头节点和对应的所述尾节点和所述关系；

将出现在所述文章中的所述尾节点对应的所述候选三元组确定为所述目标三元组。

4.一种用于人机交互的知识预训练模型的训练装置，包括：

获取模块，用于获取训练文本，所述训练文本包括结构化知识文本和对应的文章，所述结构化知识文本包括头节点、尾节点和所述头节点和所述尾节点之间的关系，所述结构化知识文本具有语义信息，所述文章是根据所述语义信息搜索获得的，所述文章具有语言表示信息；

训练模块，用于根据所述训练文本对待训练的知识预训练模型进行训练；

所述训练模块，具体用于：

将掩掉预设元素的所述训练文本输入至所述待训练的知识预训练模型，生成所述预设元素的预测数据，其中，所述预设元素包括所述结构化知识文本中的头节点、尾节点和所述头节点和所述尾节点之间的关系中的任意一个，或者，所述文章中的任意一个词语；

当所述预设元素为所述结构化知识文本中的头节点、尾节点和所述头节点和所述尾节点之间的关系中的任意一个时，根据所述预设元素的预测数据和所述预设元素对所述待训练的知识预训练模型进行训练，以使所述知识预训练模型进行所述语言表示信息的学习；

当所述预设元素为所述文章中的任意一个词语时，根据所述预设元素的预测数据和所述预设元素对所述待训练的知识预训练模型进行训练，以使所述知识预训练模型进行所述语义信息的学习。

5.根据权利要求4所述的训练装置，所述获取模块，包括：

第一获取单元，用于获取词条；

第二获取单元，用于根据所述词条获取对应的所述文章；

第三获取单元，用于根据所述词条和所述文章获取对应的目标三元组；

文本化单元，用于将所述目标三元组文本化，得到所述结构化知识文本；

拼接单元，用于将所述结构化知识文本和所述文章进行拼接，得到所述训练文本。

6.根据权利要求5所述的训练装置，其中，所述第三获取单元，具体用于：

将所述词条作为所述头节点从知识图谱中获取对应的候选三元组，所述候选三元组包括所述头节点和对应的所述尾节点和所述关系；

将出现在所述文章中的所述尾节点对应的所述候选三元组确定为所述目标三元组。