[发明专利]一种融合用户满意度的任务导向型对话策略学习方法

说明书

本发明公开了一种融合用户满意度的任务导向型对话策略学习方法。所述方法包括以下步骤：收集人机对话数据并结合任务场景进行数据清洗；提取出对话中的意图、槽值和情绪状态信息，并进行向量化表示；构建对话策略模块；构建情感策略模块；构建加权融合模块，获取候选响应动作对应的聚合动作价值与动作情感价值的总得分，并根据总得分预测响应动作；获取预测的响应动作后的对话状态、奖励和用户真实情绪状态信息，优化对话策略模块和情感策略模块的网络参数。本发明充分考虑了对话和情感状态的特征，通过融合深度强化学习和监督学习技术，兼顾对话效率和用户满意度目标，提高了对话策略模型的效果。

技术领域

本发明涉及人机对话领域，具体涉及一种融合用户满意度的任务导向型对话策略学习方法。

背景技术

随着大数据、云计算、人工智能等技术的迅猛发展，数字化、网络化、智能化渗透到经济社会的方方面面，并推动相关产业实现转型升级。在数字中国建设的战略背景下，自然语言处理技术的研究突飞猛进，并且在实际的生产生活中得到广泛的应用。其中，对话系统作为人机交互的重要接口，在自然语言处理领域的研究中占据着关键地位，是实现数字化、智能化生活与服务不可或缺的环节。作为信息时代对人类生产生活具有重大影响的基础技术，智能人机对话系统能够以对话的形式协助用户解决常见问题，同时提高服务的便捷性，降低服务成本。因此，任务导向型对话代理的策略模型具有较为广泛的实际应用价值。

新一代智能人机对话代理的目标是让人机对话像人与人的对话一样高效、便捷且自然。因此这类系统必须具有一定的认知能力，能够从对话中识别和挖掘用户的情绪和喜好，并提供个性化程度更高的响应和服务。通过与用户的自然交流建立起人与机器的情感纽带，有助于提高对话代理的用户粘性。然而，当前基于深度强化学习的对话策略模型(如DQN、DRQN等)通常偏重于对话的完成效率，而没有考虑用户的使用体验。这往往导致对话代理容易学习到任务型对话的某些捷径，而在对话过程中忽略用户某些请求的情况时有发生。

现有技术中，一种面向任务型对话系统的对话策略方法，其缺陷具体如下：

当前基于深度强化学习的对话策略模型(如DQN、DRQN等)通常偏重于对话的完成效率，而没有考虑用户的使用体验(如用户情感)。这往往导致对话代理容易学习到任务型对话的某些捷径，而在对话过程中忽略用户某些请求的情况时有发生。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种融合用户满意度的任务导向型对话策略学习方法。

本发明的目的至少通过以下的技术方案之一实现。

一种融合用户满意度的任务导向型对话策略学习方法，包括以下步骤：

S1、收集人机对话数据并结合任务场景进行数据清洗；

S2、对数据清洗后的人机对话数据进行预处理，提取出对话中的意图、槽值和情绪状态信息，并进行向量化表示；

S3、构建以任务完成效率为目标的对话策略模块，评估候选响应动作的动作价值；

S4、构建以用户满意度为目标的情感策略模块，评估对候选响应动作的情感价值；

S5、构建加权融合模块，获取候选响应动作对应的聚合动作价值与动作情感价值的总得分，并根据总得分预测响应动作；

S6、获取执行步骤S5中预测的响应动作后的对话状态、奖励和用户真实情绪状态信息，优化对话策略模块和情感策略模块的网络参数。

进一步地，步骤S1具体包括以下步骤：

S1.1、从现有的人机对话系统和公开的任务型对话数据集中收集人机对话数据；

S1.2、根据任务场景对所收集的人机对话数据进行清洗，过滤掉存在信息缺失和噪声的人机对话数据样本。