[发明专利]一种基于神经ODE网络的问答匹配方法

说明书

本发明公开一种基于神经ODE的问答匹配方法，该方法基于神经ODE网络中建立端到端的问答匹配模型；包括词向量编码模块、句子向量编码模型块、特征提取模块、信息交互模块、信息融合模块和预测模块；所述词向量编码模块用于将句子中的每个词编码成词嵌入表示；所述句子向量编码模块使用cnn获取句子向量矩阵表示即浅层语义信息；所述特征提取模块使用神经ODE化的cnn网络组件对句子向量矩阵提取深层语义信息表示；所述信息交互模块使用注意力机制构造了具有注意力信息的交互语义特征表示；所述信息融合模块将浅层语义信息、深层语义信息和交互语义特征表示进行融合获取全局语义信息表示；预测模块通过softmax函数对全局语义信息表示进行计算输出预测句子的关系；本发明克服了残差神经网络随着网络结构的加深，模型难以训练且随着结构加深参数量过大等技术难题。

技术领域

本发明属于自然语言处理领域的文本匹配技术；尤其涉及一种基于神经ODE网络的问答 匹配方法。

背景技术

问答匹配是自然语言处理领域中的分类任务的统称，一直是研究人员的核心研究方向。 在文本匹配任务中，模型接受两个句子作为输入进入模型，并输出一个类别或者一个标量， 以此来反应两个句子之间的关系。这些任务都可以看成问答匹配的特殊形式。因此问答匹配 的应用场景非常广泛，比如舆情分析、垃圾邮件识别等。模型通过对大量数据的学习，最终 可以准确对文本进行分类和关系抽取，这也是自然语言处理技术落地的标准流程，传统的方 法使用机器学方法对数据进行分类，如TF\IDF、支持向量机、条件随机场等方法。随着大数 据时代的到来，深度学习方法逐渐成为主流，其技术大致分为两类：

第一类就是完全使用神经网络常规的组件(GRU[1],CNN[2]等)来针对不同的任务进行 建模。代表性的工作主要有：TextCNN[3]，KBQA[4]，RE2[5]等。这一类的思路是使用神经 网络强大的表达能力来表示文本信息从而对文本进行分类。基于这个思路又衍生出了Attention机制[5]进一步提升了神经网络对文本的表达能力。但其局限性在于，数据获取的难 度很大，需要大量特定领域的数据，以及需要经验丰富的研究员针对不同任务的特性来搭建 不同的模型。

第二类为使用大规模语料进行训练的预训练语言模型，比如BERT[6]、XLNET[7]、ERNIE[8]等。其核心在于Google在18年的一个工作中提出的Transformer组件。Transformer[9] 完全抛弃的文本常用的序列结构，完全使用Attention机制构造出的编码器–解码器结构。其 中在序列中任意两个位置之间的距离缩小为一个常量。由于不是序列结构，因此也有更好的 并行性。目前大多预训练语言模型都是使用这种机制堆叠出来的，并配以大量的语料进行训 练。其中最为典型的工作就是BERT。BERT的词表示与传统词向量如Glove[10]、word2vec[11] 相比，拥有更加丰富的信息量，由于其动态构造词向量的方式也解决了传统词向量无法解决 的一次多义问题。但是预训练模型存在最大的问题在于，模型参数量巨大，中小型企业以及 各人很难进行这个方向的研究，同时在研究落地方面，过多的参数量也会存在推理速度过慢， 难以部署的问题。

本发明使用神经ODE求解器来对输入句子进行特征提取，用更好的保留多维度的特征信 息来进行问答匹配任务：

一种使用神经ODE网络构造的一种端到端进行问答匹配的方法

在本发明中，使用神经ODE网络对下游任务进行建模，主要存在两个挑战：

(1)传统的特征提取提取器对文本信息进行特征提取效果已经很好，但存在随着模型深 度增加，模型的参数量大幅度增加的问题。使用神经ODE网络对文本信息可以大幅减少参数， 但进行文本特征提取效果的同时，如何保证性能。

(2)如何设计两个句子的交互是最佳的。

[参考文献]