[发明专利]语义表示模型的生成方法、装置、电子设备及存储介质

权利要求书

1.一种语义表示模型的生成方法，包括：

获取文本集合，其中，所述文本集合包括多个文本，以及每个文本对应的替换文本，所述替换文本为对对应的文本中待掩码的知识单元进行掩码符串替换后得到的文本；

对所述替换文本中的所述掩码符串进行调整以生成对应的文本的掩码文本；

根据每个文本对应的所述掩码文本以及所述待掩码的知识单元，生成训练文本集合；以及，

根据所述训练文本集合生成语义表示模型；

所述对所述替换文本中的掩码符串进行调整以生成对应的文本的掩码文本，包括：

根据所述掩码符串的位置生成待补充位置；

在所述待补充位置补充掩码符以生成对应的文本的掩码文本；

所述根据所述掩码符串的位置生成待补充位置，包括：

将所述替换文本中任意一个掩码符之后的位置，确定为所述待补充位置；和/或，

将所述替换文本中任意一个字符之后的位置，确定为所述待补充位置；

所述知识单元为以下对象中的至少一种：词语、短语和实体。

2.根据权利要求1所述的方法，其中，所述待补充位置的数量为至少一个；

所述待补充位置上补充的掩码符的数量为至少一个。

3.根据权利要求1所述的方法，其中，在所述根据所述训练文本集合生成语义表示模型之后，还包括：

确定所述语义表示模型的任务场景；

获取所述任务场景下的训练数据，所述训练数据包括：训练文本以及对应的任务目标；以及，

采用所述训练数据对所述语义表示模型进行训练，以生成所述任务场景下的语义表示模型。

4.一种语义表示模型的生成装置，包括：

第一获取模块，用于获取文本集合，其中，所述文本集合包括多个文本，以及每个文本对应的替换文本，所述替换文本为对对应的文本中待掩码的知识单元进行掩码符串替换后得到的文本；

调整模块，用于对所述替换文本中的所述掩码符串进行调整以生成对应的文本的掩码文本；

第一生成模块，用于根据每个文本对应的所述掩码文本以及所述待掩码的知识单元，生成训练文本集合；

第二生成模块，用于根据所述训练文本集合生成语义表示模型；

所述调整模块用于，

根据所述掩码符串的位置生成待补充位置；

在所述待补充位置补充掩码符以生成对应的文本的掩码文本；

所述调整模块具体用于，

将所述替换文本中任意一个掩码符之后的位置，确定为所述待补充位置；和/或，

将所述替换文本中任意一个字符之后的位置，确定为所述待补充位置；

其中，所述知识单元为以下对象中的至少一种：词语、短语和实体。

5.根据权利要求4所述的装置，其中，所述待补充位置的数量为至少一个；

所述待补充位置上补充的掩码符的数量为至少一个。

6.根据权利要求4所述的装置，其中，所述装置还包括：

确定模块，用于确定所述语义表示模型的任务场景；

第二获取模块，用于获取所述任务场景下的训练数据，所述训练数据包括：训练文本以及对应的任务目标；

任务训练模块，用于采用所述训练数据对所述语义表示模型进行训练，以生成所述任务场景下的语义表示模型。

7. 一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-3中任一项所述的方法。