[发明专利]一种结合知识增强和深度强化学习的对话策略优化方法

说明书

本发明提供的一种结合知识增强和深度强化学习的对话策略优化方法，所述优化方法包括：获取用户给出的语言描述信息；将所述语言描述信息进行增强，获得增强数据集；根据所述语言描述信息采用深度强化学习的方法获得Q网络参数的算法，所述Q网络参数为对话状态的空间和对话状态的输入过程中建立的对应关系。首先对用户的问题进行主题知识增强，然后使用深度强化学习方法应用于DPL学习对话的动作决策中，最后加权选择最终的决策。这种方式泛化能力强，极大地减少了人工成本，并且提高了人机对话系统的灵活性。

技术领域

本发明涉及对话策略领域，尤其涉及一种结合知识增强和深度强化学习的对话策略优化方法。

背景技术

对话系统一般分为目标导向型对话系统和闲聊型对话系统，其中目标导向型的对话系统具有明确需要完成的任务目标。对话系统的最新进展绝大多数是由深度学习技术所贡献的，深度学习技术通过利用大规模数据来学习有意义的特征表示和回复生成策略，同时只需要少量人工特征，这个发展使得对话系统在工业界越来越广泛地被应用。

深度强化学习是深度学习与强化学习相结合的产物，集成了深度学习的理解能力和强化学习的决策能力，使得强化学习技术真正走向实用，得以解决现实场景中的复杂问题。

目前，工业界普遍使用的对话策略都是基于规则的，但是这种方式只能在比较小的任务上效果比较好。基于规则的对话策略动作状态序列固定，必须规规矩矩按照系统提示问答，否则无法响应需求。人力成本高，泛化能力差。

发明内容

鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种结合知识增强和深度强化学习的对话策略优化方法。

根据本发明的一个方面，提供了一种结合知识增强和深度强化学习的对话策略优化方法，所述优化方法包括：

获取用户给出的语言描述信息；

将所述语言描述信息进行增强，获得增强数据集；

根据所述语言描述信息采用深度强化学习的方法获得Q网络参数的算法，所述Q网络参数为对话状态的空间和对话状态的输入过程中建立的对应关系。

可选的，所述将所述语言描述信息进行增强，获得增强数据集具体包括：

对所述语言描述信息进行主题知识增强，采用LDA主题模型、卷积神经网络进行主题知识扩充，采用关键词抽取技术抽取所述语言描述信息中的关键词；

基于所述关键词进行文本增强，采用语言学如词性等特征进行文本数据增强，获得增强文本信息；

将所述增强文本信息进行对话管理，策略加权后选择最终的决策结果。

可选的，所述根据所述语言描述信息采用深度强化学习的方法获得Q网络参数的算法具体包括：

所述对话策略为以对话的状态作为输入，通过一个π函数来产生一个动作；

对话开始的状态到结束的状态是一个状态序列，根据可枚举的动作集合，在对话状态的空间和对话状态的输入过程中，建立起一个对应关系；

根据所述对应关系估计出多轮对话的过程中，每个自然语言的背后与之对应的动作，获得Q网络参数。

可选的，所述获得Q网络参数具体包括：

随机初始化Q网络的所有参数ω，基于ω初始化所有的状态和动作对应的价值Q，经验回放集合D；

从1到T，进行迭代：

初始化S为当前状态序列的第一个状态，获得特征向量φ(S)

在Q网络中所述特征向量φ(S)作为输入，得到Q网络的所有动作对应的Q值输出；