[发明专利]知识预训练模型的训练方法、装置和电子设备

说明书

本公开公开了知识预训练模型的训练方法、装置和电子设备，涉及语音、自然语言处理、深度学习技术领域。具体实现方案为：获取训练文本，训练文本包括结构化知识文本和对应的文章，结构化知识文本包括头节点、尾节点和头节点和尾节点之间的关系；根据训练文本对待训练的知识预训练模型进行训练。该方法中，待训练的知识预训练模型能够同时学习到常识知识和丰富的语义知识，可实现常识知识和语义知识的联合训练，且不需要将训练实体嵌入到待训练的知识预训练模型，知识预训练模型的性能增益不受到训练实体的嵌入质量的限制，知识预训练模型可从训练文本中的文章中获取丰富的上下文信息，并可进行动态调整，灵活性较高。

技术领域

本公开涉及计算机技术领域中的语言、自然语言处理、深度学习技术领域，尤其涉及一种知识预训练模型的训练方法、装置、电子设备、存储介质和计算机程序产品。

背景技术

目前，模型大多不具备常识推理能力，例如，若问题为“利用什么可以使用墨水在纸上复印一份文件”，答案包括钢笔、复印机、复写纸、笔记本，人们根据常识能够正确选择复印机的答案，然而，由于复写纸与问题中的复写和纸的共现频率很高，模型很可能会选择复写纸的答案，导致模型输出错误的结果。相关技术中的模型训练方法，不能实现常识学习和语义学习的联合训练，且模型增益受到样本质量限制，往往需要重新训练模型，灵活性较差。

发明内容

提供了一种知识预训练模型的训练方法、装置、电子设备、存储介质和计算机程序产品。

根据第一方面，提供了一种知识预训练模型的训练方法，包括：获取训练文本，所述训练文本包括结构化知识文本和对应的文章，所述结构化知识文本包括头节点、尾节点和所述头节点和所述尾节点之间的关系；根据所述训练文本对待训练的知识预训练模型进行训练。

根据第二方面，提供了一种知识预训练模型的训练装置，包括：获取模块，用于获取训练文本，所述训练文本包括结构化知识文本和对应的文章，所述结构化知识文本包括头节点、尾节点和所述头节点和所述尾节点之间的关系；训练模块，用于根据所述训练文本对待训练的知识预训练模型进行训练。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面所述的知识预训练模型的训练方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开第一方面所述的知识预训练模型的训练方法。

根据第五方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现本公开第一方面所述的知识预训练模型的训练方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的知识预训练模型的训练方法的流程示意图；

图2是根据本公开第二实施例的知识预训练模型的训练方法中获取训练文本的流程示意图；

图3是根据本公开第三实施例的知识预训练模型的训练方法中根据训练文本对待训练的知识预训练模型进行训练的示意图；

图4是根据本公开第一实施例的知识预训练模型的训练装置的框图；

图5是根据本公开第二实施例的知识预训练模型的训练装置的框图；

图6是用来实现本公开实施例的知识预训练模型的训练方法的电子设备的框图。

具体实施方式