[发明专利]一种融合多路注意力机制的智能对话系统

权利要求书

1.一种融合多路注意力机制的智能对话系统，其特征在于，包括依次连接的编码器模块、多路注意力模块、动态融合模块、外部知识模块和解码器模块；

所述编码器模块，用于针对历史上下文进行多领域的编码；

所述多路注意力模块，用于提取上下文单词之间的注意力关系；

所述动态融合模块，用于融合编码器和注意力的编码结果；

所述外部知识模块，用于辅助生成特定领域知识的句子内容；

所述解码器模块，用于生成具体的句子内容。

2.根据权利要求1所述的一种融合多路注意力机制的智能对话系统，其特征在于，所述编码器模块包括私有编码器和共享编码器。

3.根据权利要求2所述的一种融合多路注意力机制的智能对话系统，其特征在于，所述编码器模块从历史上下文中提取通用领域的编码信息，特定领域的编码信息以及领域与领域之间的编码信息，具体如下：

利用双向GRU对历史上下文进行编码，每个领域都有自己特有的专属的私有编码器，以及一个共享编码器，故在编码器模块的编码器总数为领域总数+1；

所述专属的私有编码器用于提取领域的特定知识，共享编码器用于提取领域之间的公有特征；

编码器公式如下：

h_i＝BiGRU(e(x),h_i-1)

其中h_i是i时刻的隐含层向量，e(x)代表历史上下文单词x的词嵌入表示。最终生成全局上下文隐含层向量定义共享编码器生成的全局上下文隐含层表示为特定域的全局上下文隐含层向量为这里上标d_i代表领域i的编码。

4.根据权利要求3所述的一种融合多路注意力机制的智能对话系统，其特征在于，所述编码器在训练过程中引入一个对抗训练的方式，具体是：构建一个CNN的域分类器来识别对话历史和回复表示的共享表示域，通过引入梯度反转层，使得模型一方面最小化领域分类的误差，另一方面更新分类器底层网络最大化域分类损失。

5.根据权利要求1所述的一种融合多路注意力机制的智能对话系统，其特征在于，所述多路注意力模块融合多头注意力，双线性注意力以及拼接注意力注意力机制，并在融合机制后追加一个注意力模块。

6.根据权利要求5所述的一种融合多路注意力机制的智能对话系统，其特征在于，所述多头自注意力公式如下：

对于多头自注意力而言，Q＝K＝V＝H，为当前编码的单词矩阵；d_k代表Q和K的维度；

拼接自注意力公式如下：

其中代表t时刻第j个单词的自注意力，代表t时刻单词i的权重，代表t时刻的拼接自注意力，和代表拼接注意力的权重矩阵，是权重向量，N是单词的总数；最终生成一个拼接自注意力表示H^concat；

双线性自注意力公式如下：

其中代表t时刻第j个单词的自注意力，代表t时刻单词i的权重，代表t时刻的双线性自注意力，W_bi双线性注意力的权重矩阵，N是单词的总数；最终生成一个双线性自注意力表示H^bi。

7.根据权利要求5所述的一种融合多路注意力机制的智能对话系统，其特征在于，所述在融合机制后追加一个注意力模块，具体为：利用GLU网络，公式如下：

其中，W₁、W₂是可训练矩阵，b₁、b₂是偏置，X是注意力的输入,即双向GRU编码的结果H^Att代表注意力的结果包括H^Att、H^bi和H^concat，δ是sigmoid激活函数，代表矩阵元素点乘，代表拼接。