[发明专利]一种建立预训练语言模型的方法和装置

说明书

本申请公开了一种建立预训练语言模型的方法和装置，涉及人工智能技术领域，具体涉及自然语言处理技术。具体实现方案为：获取训练样本，所述训练样本包括文本；将所述文本作为预先训练得到的第一预训练语言模型的输入以及第二预训练语言模型的输入，训练所述第二预训练语言模型；其中，所述第二预训练语言模型的训练目标包括：最小化第二预训练语言模型基于所述文本中各字符的二维位置信息得到的中间层输出与第一预训练语言模型基于所述文本中各字符的一维位置信息得到的中间层输出之间的差异。本申请得到的第二预训练语言模型能够很好地理解文本中各字符的二维位置信息。

技术领域

本申请涉及计算机应用技术领域，特别涉及人工智能技术领域中的自然语言处理技术。

背景技术

在NLP(Natural Language Processing，自然语言处理)领域中，预训练语言模型得到了广泛的关注和使用，同时也涌现出了很多为细分领域设计的预训练语言模型。

现有的预训练语言模型大都是针对无格式的流式文本，能够对文本中各字符的一维位置信息(例如对文本中各字符的顺序)进行很好地理解并基于此建模语义信息。但对于一些具有特定格式的文本，因其体现的是文本中各字符的二维位置信息，目前却没有很好的方式来建立理解二维位置信息的预训练语言模型。

发明内容

有鉴于此，本申请提供了一种建立预训练语言模型的方法和装置，以使得预训练语言模型能够很好地理解文本中各字符的二维位置信息。

第一方面，本申请提供了一种建立预训练语言模型的方法，包括：

获取训练样本，所述训练样本包括文本；

将所述文本作为预先训练得到的第一预训练语言模型的输入以及第二预训练语言模型的输入，训练所述第二预训练语言模型；

其中，所述第二预训练语言模型的训练目标包括：最小化第二预训练语言模型基于所述文本中各字符的二维位置信息得到的中间层输出与第一预训练语言模型基于所述文本中各字符的一维位置信息得到的中间层输出之间的差异。

第二方面，本申请提供了一种建立预训练语言模型的装置，包括：

样本获取单元，用于获取训练样本，所述训练样本包括文本；

模型训练单元，用于将所述文本作为预先训练得到的第一预训练语言模型的输入以及第二预训练语言模型的输入，训练所述第二预训练语言模型；

其中，所述第二预训练语言模型的训练目标包括：最小化第二预训练语言模型基于所述文本中各字符的二维位置信息得到的中间层输出与第一预训练语言模型基于所述文本中各字符的一维位置信息得到的中间层输出之间的差异。

第三方面，本申请提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。

第四方面，本申请提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述的方法。

第五方面，本申请提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

由以上技术方案可以看出，本申请采用已训练得到的能够很好理解一维位置信息的第一预训练语言模型来指导第二预训练语言模型对二维位置信息的理解，从而使得训练得到的第二预训练语言模型能够很好地理解文本中各字符的二维位置信息。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明