[发明专利]一种基于层次化卷积神经网络和注意力机制的文本匹配方法

权利要求书

1.一种基于层次化卷积神经网络和注意力机制的文本匹配方法，其特征在于：词向量化(1)、交互矩阵(2)、层次化卷积神经网络(3)、注意力网络(4)，其中所述的词向量化是对自动问答数据集中的问题和答案语句进行词汇定长输出后得到的T₁＝(ω₁,ω₂,…ω_m)和T₂＝(v₁,v₂,…v_n)用词向量做特征映射，得到问题和答案的定长词向量表示；交互矩阵是从问题和答案之间进行交互计算得到的问题-答案交互矩阵；层次化卷积神经网络对问题-答案交互矩阵，进行词粒度，短语粒度和语句粒度间的不同粒度下语义匹配信息的高维特征提取；使用注意力机制对高维抽象的语义信息和已排序的原始问题语义单元进行结合，得到最终的问题-答案匹配得分。

2.根据权利要求1所述的一种基于层次化卷积神经网络和注意力机制的文本匹配方法，其特征在于：词向量化(1)采用的词向量是预训练好的词向量，首先对自动问答数据集中的问题和答案语句进行词汇定长输出得到T₁＝(ω₁,ω₂,…ω_m)和T₂＝(v₁,v₂,…v_n)，接着采用词向量做特征映射，得到问题和答案的定长词向量表示。

3.根据权利要求1所述的一种基于层次化卷积神经网络和注意力机制的文本匹配方法，其特征在于：交互矩阵(2)对问题和答案之间进行交互计算得到的问题-答案交互矩阵。

4.根据权利要求1所述的一种基于层次化卷积神经网络和注意力机制的文本匹配方法，其特征在于：层次化卷积神经网络(3)即不同层级下不同维度的卷积核操作和其相应的池化操作，对问题-答案交互矩阵，进行词粒度，短语粒度和语句粒度间的不同粒度下语义匹配信息的高维特征提取。

5.根据权利要求1所述的一种基于层次化卷积神经网络和注意力机制的文本匹配方法，其特征在于：注意力网络(4)使用注意力机制进行原始问题语义单元的重要性排序和选择学习，是注意力网络的核心；我们需要对高维抽象的语义信息和已排序的原始问题语义单元进行结合，得到最终的问题-答案匹配得分。

6.根据权利要求1所述的一种基于层次化卷积神经网络和注意力机制的文本匹配方法，其特征在于：匹配过程如下：

①首先对自动问答数据集中的问题和答案语句进行词汇定长输出后得到T₁＝(ω₁,ω₂,…ω_m)和T₂＝(v₁,v₂,…v_n)进行词向量化得到问题和答案的定长词向量表示，可得到问题的定长词向量表示和答案的定长词向量表示

②从问题和答案之间进行交互计算得到的问题-答案交互矩阵为：

③层次化卷积神经网络对问题-答案交互矩阵，进行词粒度，短语粒度和语句粒度间的不同粒度下语义匹配信息的高维特征提取即不同层级下不同维度的卷积核操作和其对应的池化操作；第一层卷积神经网络采用二维卷积核，第k个卷积核W^(1,k)对于交互矩阵Z⁽⁰⁾＝M进行运算：

采用二维正方形卷积核和ReLU作为σ激活函数；第二层网络的池化层采用动态最大值池化策略，通过公式得到动态池化后的高维语义特征向量：

第三层卷积神经网络采用三维卷积核计算得到更高维度和更抽象的语义特征信息，第四层池化层采用最大值池化策略：

注意力机制是对高维抽象的语义信息和已排序的原始问题语义单元进行结合，采用softmax进行原始问题语义单元重要性的归一化，同时采用点乘计算得到最终的得分：

其中，w_i：文本T₁第i个词汇；

v_j：文本T₂中第j个词汇；

Φ：表示将文本进行向量化函数；

r_k：代表第k个卷积核的大小；

d_k：表示动态池化单元的宽度大小，

d'_k：表示动态池化单元长度大小，

c：表示第二层输出的高维语义特征向量的数量，也就是第一层二维卷积核的数量；

q_j：表示原始问题的语义单元；

z_jk:表示高维语义信息的语义单元；

σ：激活函数为sigmoid函数。