[发明专利]一种用户个性感知的任务导向型对话策略学习方法

说明书

本发明公开了一种用户个性感知的任务导向型对话策略学习方法，包括以下步骤：S1、收集人机对话数据，数据清洗；S2、对清洗过的数据进行预处理；S3、构建个性感知对话策略模型，包括个性动作模块、个性感知模块以及加权融合模块；S4、个性感知模块引入用户个性特征以及对话上下文特征，评估用户个性动作价值；S5、个性动作模块将对话状态和用户属性向量作为输入，通过前馈神经网络计算得到系统动作价值；S6、加权融合模块计算系统动作的综合价值，并选择最高得分的动作作为系统回复动作；S7、执行预测的系统对话动作，优化个性感知对话策略模型参数。本发明克服现有策略方法缺少对用户个性建模的问题，使策略模型生成的回复动作更具针对性。

技术领域

本发明属于人机对话技术领域，具体涉及一种用户个性感知的任务导向型对话策略学习方法。

背景技术

随着大数据，人工智能，深度学习等技术的高速发展，自然语言处理技术的研究也突飞猛进。人机对话作为自然语言处理中的热门领域之一，其应用场景广泛，在工业和日常生活中都有很高的需求，因其巨大的发展潜力和诱人的商业价值而受到越来越多学术界和产业界的关注。

随着人机交互技术逐渐从交叉学科研究中脱离出来成为一个独立的研究领域，对人机交互代理的要求也越来越高，希望让人机对话像人与人的对话一样高效、便捷且自然。如何让系统具有更高的对话效率和任务完成率是当前对话系统研究面临的主要问题之一。一个重要的解决方法是对话系统的个性化。个性感知的对话系统通过了解用户属性信息，根据用户的偏好选择回复动作，在对话过程中识别用户需求，提供更具针对性的服务，解决与用户背景相关的问题，从而提高用户的参与度，从而提高沟通效率，对于改善人机交互中的用户体验至关重要。然而，当前个性化对话系统主要应用与回复语句文本生成领域，而基于深度强化学习的对话策略模型(如DQN、Dueling、DRQN等)并没有考虑用户属性信息对对话策略带来的影响。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提出一种用户个性感知的任务导向型对话策略学习方法。

为了达到上述目的，本发明采用以下技术方案：

一种用户个性感知的任务导向型对话策略学习方法，包括以下步骤：

S1、收集特定场景下的人机对话数据，进行数据清洗；

S2、对清洗过的对话数据进行预处理，从对话文本中提取出用户输入语句的意图、包含的槽值，并将其进行向量化表示；

S3、基于深度强化学习方法，构建个性感知对话策略模型，个性感知对话策略模型包括个性动作模块、个性感知模块以及加权融合模块；

S4、通过个性感知模块，引入用户个性特征以及对话上下文特征，评估用户个性动作价值；

S5、个性动作模块使用深度Q学习的方法，对用户在当前状态下回复动作的价值进行建模，个性动作模块将对话状态和用户属性向量作为输入，通过前馈神经网络计算得到系统动作价值；

S6、加权融合模块对个性动作通过权重参数控制对应模块的重要程度，对个性动作模块和个性感知模块计算得到的价值进行加权相加得到系统动作的综合价值，并选择最高得分的动作作为系统回复动作；

S7、执行预测的系统对话动作，收集对话状态、反馈奖励值进而优化个性感知对话策略模型网络参数。

进一步的，步骤S1具体包括以下步骤：

S11、收集人机交互对话数据，从现有的人机对话系统以及公开的任务型对话数据集中进行收集；

S12、基于特定的应用任务场景，对所收集到的人机交互对话数据进行数据清洗，去除部分缺失数据信息的人机对话数据样本和带有噪声的人机对话数据样本。

进一步的，步骤S2具体包括以下步骤：