[发明专利]用于输出信息的方法、装置、设备以及存储介质

说明书

本申请公开了用于输出信息的方法、装置、设备以及存储介质，涉及知识图谱技术领域。具体实现方案为：获取输入文本集合和任务信息集合，其中，输入文本集合中的单个输入文本与任务信息集合中的单个任务信息存在对应关系；获取与输入文本集合中输入文本相关的参考文本；将单个输入文本、与上述单个输入文本相关的参考文本以及与上述单个输入文本对应的任务信息，作为单个训练样本，得到训练样本集合；利用训练样本集合对预设的语言模型进行预训练和微调，得到目标语言模型；输出目标语言模型。本实现方式可以利用与各输入文本相关的参考文本对语言模型进行预训练和微调，提高了语言模型对外部知识的利用率，提高了语言模型对文本的理解能力。

技术领域

本申请涉及计算机技术领域，具体涉及知识图谱技术领域，尤其涉及用于输出信息的方法和装置。

背景技术

随着科技的发展，自然语言理解逐渐走入人们的生活中。利用自然语言理解技术，机器可以实现阅读理解、对话等任务。对于很多自然语言理解任务来说，仅仅根据给定段落中的信息无法完全理解内容，需要借助外部知识才能更好的理解。举例来说，对于这句话：“当星体质量超过钱德拉塞卡极限时，引力大于电子简并压力，星体在几秒内崩溃塌缩，电子越过泡利不相容原理的屏障，冲入原子核，将其击碎”。需要了解其中一些专有名词的含义，才能更好地理解这句话。也就是说，我们需要首先了解“钱德拉塞卡极限”“电子简并压力”、“泡利不相容原理”的含义，结合在文中的关系，才能明白这句话的含义。

现有的自然语言理解算法在引入外部知识时，存在无法有效利用外部知识的情况。

发明内容

提供了一种用于输出信息的方法、装置、设备以及存储介质。

根据第一方面，提供了一种用于输出信息的方法，包括：获取输入文本集合和任务信息集合，其中，输入文本集合中的单个输入文本与任务信息集合中的单个任务信息存在对应关系；获取与输入文本集合中输入文本相关的参考文本；将单个输入文本、与上述单个输入文本相关的参考文本以及与上述单个输入文本对应的任务信息，作为单个训练样本，得到训练样本集合；利用训练样本集合对预设的语言模型进行预训练和微调，得到目标语言模型；输出目标语言模型。

根据第二方面，提供了一种用于输出信息的装置，包括：第一获取单元，被配置成获取输入文本集合和任务信息集合，其中，输入文本集合中的单个输入文本与任务信息集合中的单个任务信息存在对应关系；第二获取单元，被配置成获取与输入文本集合中输入文本相关的参考文本；样本确定单元，被配置成将单个输入文本、与上述单个输入文本相关的参考文本以及与上述单个输入文本对应的任务信息，作为单个训练样本，得到训练样本集合；模型训练单元，被配置成利用训练样本集合对预设的语言模型进行预训练和微调，得到目标语言模型；模型输出单元，被配置成输出目标语言模型。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面所描述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如第一方面所描述的方法。

根据本申请的技术解决了现有的自然语言理解方法无法有效利用外部知识的问题，提高了外部知识的有效利用率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请的一个实施例可以应用于其中的示例性系统架构图；

图2是根据本申请的用于输出信息的方法的一个实施例的流程图；