[发明专利]一种基于层次化卷积神经网络和注意力机制的文本匹配方法

说明书

本发明公开了一种基于层次化卷积神经网络和注意力机制的文本匹配方法，针对传统文本匹配算法中问题‑答案语义匹配问题，提出注意力机制下的层次化卷积神经网络模型。首先问题‑答案词向量化之后，通过交互运算得到问题‑答案交互矩阵，接着使用层次化卷积神经网络进行高维语义信息的特征提取和池化操作，最后通过注意力网络进行处理，使用注意力机制进行原始问题语义单元的重要性排序和选择学习，得到最终的问题‑答案匹配得分。本发明可以处理自然语言处理领域中语义匹配问题，实现高维语义特征提取和文本语义重要性学习，提高文本匹配计算的准确度。

技术领域

本发明涉及人工智能的自然语言处理技术领域，特别涉及一种基于层次化卷积神经网络和注意力机制的文本匹配方法。

背景技术

为了满足自然语言中语义匹配需求，需要在信息检索，自动问答等领域进行相关语义匹配。由于深度学习和文本词向量表征技术的迅猛发展，在对于不同文本的语义匹配问题上，学者们提出了很多效果较好的深度学习模型来解决文本匹配问题。

MV-LSTM模型采用双向长短期记忆神经网络处理两个原始文本词向量化之后的文本表示，接着进行两个文本向量交互计算得到文本间的语义交互矩阵，得到词粒度和句粒度不同层次的语义交互信息，接着采用K最大值池化和全连接网络得到对应的文本间匹配分值。整个模型表达简单，匹配计算速度快，但是不具有传递性。

aNMM模型采用注意力机制进行文本语义单元的重要性排序和选择性学习。首先文本进行词向量化后，通过交互计算可以得到不同文本间的交互矩阵，采用全连接网络进行处理，接着引入注意力网络进行原始文本语义单元间语义关系的重要性排序，进行选择学习后得到匹配分值。整个模型考虑了词与词之间的时序关系，但是没有考虑文本的全局语义信息。

因此以上的文本语义匹配方法实际应用效果并不理想。

发明内容

本发明的目的是提供一种基于层次化卷积神经网络和注意力机制的文本匹配方法，它能够实现自然语言中文本语义匹配功能。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于层次化卷积神经网络和注意力机制的文本匹配方法，首先问题-答案词向量化之后，通过交互运算得到问题-答案交互矩阵，接着使用层次化卷积神经网络进行高维语义信息的特征提取和池化操作，最后通过注意力网络进行处理，使用注意力机制进行原始问题语义单元的重要性排序和选择学习，得到最终的问题-答案匹配得分。

进一步地，所诉的词向量化采用的词向量是预训练好的词向量，接着采用词向量做特征映射，得到问题和答案的定长词向量表示。

进一步地，交互矩阵是对问题和答案间进行交互计算得到的问题-答案交互矩阵。

进一步地，层次化卷积神经网络即不同层级下不同维度的卷积核操作和其相应的池化操作，对问题-答案交互矩阵，进行词粒度，短语粒度和语句粒度间的不同粒度下语义匹配信息的高维特征提取。

进一步地，注意力网络使用注意力机制进行原始问题语义单元的重要性排序和选择学习，我们需要对高维抽象的语义信息和已排序的原始问题语义单元进行结合，得到最终的问题-答案匹配得分。

进一步地，匹配过程如下：

①首先对自动问答数据集中的问题和答案语句进行词汇定长输出后得到T₁＝(ω₁,ω₂,…ω_m)和T₂＝(v₁,v₂,…v_n)进行词向量化得到问题和答案的定长词向量表示，可得到问题的定长词向量表示和答案的定长词向量表示

②从问题和答案之间进行交互计算得到的问题-答案交互矩阵为：