[发明专利]一种结合知识增强和深度强化学习的对话策略优化方法

权利要求书

1.一种结合知识增强和深度强化学习的对话策略优化方法，其特征在于，所述优化方法包括：

获取用户给出的语言描述信息；

将所述语言描述信息进行增强，获得增强数据集；

根据所述语言描述信息采用深度强化学习的方法获得Q网络参数的算法，所述Q网络参数为对话状态的空间和对话状态的输入过程中建立的对应关系。

2.根据权利要求1所述的一种结合知识增强和深度强化学习的对话策略优化方法，其特征在于，所述将所述语言描述信息进行增强，获得增强数据集具体包括：

对所述语言描述信息进行主题知识增强，采用LDA主题模型、卷积神经网络进行主题知识扩充，采用关键词抽取技术抽取所述语言描述信息中的关键词；

基于所述关键词进行文本增强，采用语言学如词性等特征进行文本数据增强，获得增强文本信息；

将所述增强文本信息进行对话管理，策略加权后选择最终的决策结果。

3.根据权利要求1所述的一种结合知识增强和深度强化学习的对话策略优化方法，其特征在于，所述根据所述语言描述信息采用深度强化学习的方法获得Q网络参数的算法具体包括：

所述对话策略为以对话的状态作为输入，通过一个π函数来产生一个动作；

对话开始的状态到结束的状态是一个状态序列，根据可枚举的动作集合，在对话状态的空间和对话状态的输入过程中，建立起一个对应关系；

根据所述对应关系估计出多轮对话的过程中，每个自然语言的背后与之对应的动作，获得Q网络参数。

4.根据权利要求3所述的一种结合知识增强和深度强化学习的对话策略优化方法，其特征在于，所述获得Q网络参数具体包括：

随机初始化Q网络的所有参数ω，基于ω初始化所有的状态和动作对应的价值Q，经验回放集合D；

从1到T，进行迭代：

初始化S为当前状态序列的第一个状态，获得特征向量φ(S)

在Q网络中所述特征向量φ(S)作为输入，得到Q网络的所有动作对应的Q值输出；

用∈贪婪法在当前Q值输出中选择对应的动作A；

在状态S执行当前动作A，得到新状态S'对应的特征向量φ(S')和奖励R_$，是否终止状态is_end；

将{φ(S),A,R,φ(S'),is_end}这个五元组存入所述经验回放集合D，将S'赋值给S，从所述经验回放集合D中采样m个样本{φ(S_j),A_j,R_j,φ(S_j'),is_end_j},j＝1,2,...m，计算当前目标Q值y_j：

使用均方差损失函数，通过神经网络的梯度方向传播来更新Q网络的所有参数ω；

如果S'是终止状态，当前轮迭代完毕，否则转到步骤在Q网络中所述特征向量φ(S)作为输入。