[发明专利]基于对话的内容推荐方法、装置、计算机设备及存储介质

说明书

本申请是关于一种基于对话的内容推荐方法、装置、计算机设备及存储介质，涉及人工智能交互技术领域。所述方法包括：获取与目标用户之间的历史对话语句；将历史对话语句，以及各个候选推荐内容输入至对话推荐模型，获得对话推荐预测结果；对话推荐模型的奖励函数的输入信息包括预测回复信息以及预测推荐结果；预测回复信息包括对话推荐模型在强化学习过程中产生的预测对话回复对应的信息；预测推荐结果指示对话推荐模型在强化学习过程中从各个候选推荐内容中预测出的目标推荐内容。该对话推荐模型的优化维度包含了对话推荐模型的对话回复，从而提高了对话推荐模型的优化效果，进而提高对话推荐模型应用时的对话推荐效果。

本公开要求于2020年08月14日提交的申请号为202010821321.3、发明名称为“基于对话的内容推荐方法、装置、计算机设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及人工智能交互技术领域，特别涉及一种基于对话的内容推荐方法、装置、计算机设备及存储介质。

背景技术

对话推荐是指在人机对话过程中，机器根据用户在对话中提供的信息进行相应的内容推荐。对话推荐可以通过对话推荐模型来实现。

在相关技术中，由于内容推荐的对话样本数量有限，因此，对话推荐模型经过预训练之后，可以与通过与另一个聊天机器人模拟的用户进行对话，以进行强化训练。比如，聊天机器人与对话推荐模型在对话过程中，按照与对话推荐模型的历史对话语句，从预先设置的对话回复集合中选择合适的对话回复，而对话推荐模型则根据与聊天机器人的历史对话语句进行内容推荐，在参数更新时，以对话推荐模型的内容推荐结果作为奖励函数的输入得到奖励值，并根据该奖励值更新对话推荐模型的参数。

在上述技术方案中，在对上述对话推荐模型的强化学习过程中，只通过推荐结果对模型进行优化，优化维度较为单一，导致对话推荐模型的优化效果较差。

发明内容

本申请实施例提供了一种基于对话的内容推荐方法、装置、计算机设备及存储介质，可以通过利用对话的回复信息进行强化训练得到的对话推荐模型来进行对话推荐，由于对话推荐模型的优化维度还包含了对话回复的信息，能够扩展了模型优化的维度，从而提高对话推荐模型的优化效果，该技术方案如下：

一方面，提供了一种基于对话的内容推荐方法，所述方法包括：

获取与目标用户之间的历史对话语句；

将所述历史对话语句，以及各个候选推荐内容输入至对话推荐模型，获得所述对话推荐模型输出的对话推荐预测结果；所述对话推荐模型的奖励函数的输入信息包括预测回复信息以及预测推荐结果；所述预测回复信息包括所述对话推荐模型在强化学习过程中产生的预测对话回复对应的信息；所述预测推荐结果指示所述对话推荐模型在强化学习过程中从所述各个候选推荐内容中预测出的目标推荐内容；

向所述目标用户展示所述对话推荐预测结果；所述对话推荐预测结果包括针对所述历史对话语句生成的对话回复，以及，针对所述历史对话语句从所述各个候选推荐内容中预测出的目标推荐内容中的至少一种。

一方面，提供了一种对话推荐模型训练方法，所述方法包括：

通过对话推荐模型与第一对话模型进行模拟对话，获得所述对话推荐模型的预测回复信息以及预测推荐结果；所述对话推荐模型用于在所述模拟对话过程中，基于各个候选推荐内容以及第一历史对话语句，产生第一预测对话回复以及所述预测推荐结果；所述第一对话模型用于在所述模拟对话过程中，基于第二历史对话语句产生第二预测对话回复；所述预测回复信息包括所述第一预测对话回复对应的信息；所述预测推荐结果指示所述对话推荐模型从所述各个候选推荐内容中预测出的目标推荐内容；

基于所述预测回复信息以及所述预测推荐结果获取奖励函数值；

基于所述奖励函数值对所述对话推荐模型进行参数更新。