[发明专利]用于输出信息的方法、装置、设备以及存储介质

权利要求书

1.一种用于输出信息的方法，包括：

获取输入文本集合和任务信息集合，其中，所述输入文本集合中的单个输入文本与所述任务信息集合中的单个任务信息存在对应关系；

获取与所述输入文本集合中输入文本相关的参考文本；

将单个输入文本、与所述单个输入文本相关的参考文本以及与所述单个输入文本对应的任务信息，作为单个训练样本，得到训练样本集合；

利用训练样本集合对预设的语言模型进行预训练和微调，得到目标语言模型；

输出所述目标语言模型。

2.根据权利要求1所述的方法，其中，所述获取与所述输入文本集合中的输入文本相关的参考文本，包括：

对于输入文本集合中的任一输入文本，提取该输入文本包括的各实体词；

确定包括至少一个所述实体词的相关语句；

根据所述相关语句，确定所述参考文本。

3.根据权利要求2所述的方法，其中，所述确定包括至少一个所述实体词的相关语句，包括：

确定各实体词的陌生值；

根据各实体词的陌生值，对各实体词进行排序；

确定包含所述排序中前第一预设数量个实体词的至少一个语句为相关语句。

4.根据权利要求3所述的方法，其中，所述根据所述相关语句，确定所述参考文本，包括：

根据各实体词的陌生值，确定所述相关语句的信息量；

根据所述相关语句的信息量，对所述相关语句进行排序；

根据所述排序中前第二预设数量个相关语句，确定所述参考文本。

5.根据权利要求4所述的方法，其中，所述根据所述排序中前第二预设数量个相关语句，确定所述参考文本，包括：

组合所述排序中前第二预设数量个相关语句，得到组合文本集合；

将所述组合文本集合中实体词之间的距离之和最短的组合文本为所述参考文本。

6.根据权利要求1所述的方法，其中，所述训练样本集合包括第一训练样本子集合和第二训练样本子集合；以及

所述利用训练样本集合对预设的语言模型进行预训练和微调，得到目标语言模型，包括：

利用所述第一训练样本子集合对所述语言模型进行预训练；

利用所述第二训练样本子集合对预训练后的语言模型进行微调，得到目标语言模型。

7.根据权利要求6所述的方法，其中，所述第一训练样本子集合中第一训练样本包括第一输入文本、第一参考文本以及第一任务信息，所述第一任务信息包括第一标注结果，所述语言模型包括特征提取模块以及分类模块；以及

所述利用所述第一训练样本子集合对所述语言模型进行预训练，包括：

将第一训练样本中的第一输入文本以及第一参考文本输入所述特征提取模块，将所述第一训练样本中的第一标注结果作为所述分类模块的期望输出，得到所述特征提取模块的参数和所述分类模块的参数。

8.根据权利要求7所述的方法，其中，所述第二训练样本子集合中第二训练样本包括的第二输入文本、第二参考文本以及与第二任务信息，所述第二任务信息包括第二标注结果；以及

所述利用所述第二训练样本子集合对预训练后的语言模型进行微调，得到目标语言模型，包括：

固定所述特征提取模块的参数，将第二训练样本中的第二输入文本以及第二参考文本输入所述特征提取模块，将所述第二训练样本中的第二标注结果作为期望输出，实现对所述分类模块的参数的微调，得到目标语言模型。

9.根据权利要求8所述的方法，其中，在将输入文本和参考文本输入特征提取模块，包括：

分别标记所述输入文本和所述参考文本；

将标记后的输入文本和参考文本输入所述特征提取模块。