[发明专利]一种实现文本匹配的可解释神经网络的方法

说明书

本发明公开了一种实现文本匹配的可解释神经网络的方法，包括以下步骤：将深层卷积网络映射为张量网络；将张量网络看作图，利用最小割理论分析语言特点(远距离相关和近距离相关)与深层卷积网络的通道数的关系；针对匹配任务的数据集(比如QA任务)，利用量子纠缠熵量化句子对的语言特点，纠缠熵越大，句子对属于远距离相关，纠缠熵越小，句子对属于近距离相关；从而将数据集分为远距离相关的子数据集和近距离相关的子数据集，根据不同的子数据集动态的调整网络架构，即卷积网络每层的通道数。

技术领域

本发明涉及自然语言匹配任务的技术领域，特别是涉及通过张量网络实现语言匹配的可解释神经网络的方法。

背景技术

神经网络体系结构在语言建模和匹配中得到了广泛的应用，如问答、信息检索和语义分析等。虽然这些方法已经取得了一些成功，但是性能的提高在很大程度上依赖于参数调优。为了缓解这种情况，研究人员倾向于从不同的角度来看待神经网络，以获得新的直觉和见解。特别是建立了神经网络与量子力学的基本联系。例如，神经网络被用来解决量子多体问题，而量子力学被用来解释神经网络的表达能力。这种联系可以帮助我们从量子理论的深奥数学中研究神经网络。最近，Levine等人展示了神经网络可以映射到张量网络(TN，一种近似量子多体系统的数学工具)。因此，神经网络体系结构的属性(如连通性、网络中的信道数)可以用TN图来解释。

上述思想启发了一种基于量子多体波函数的语言建模方法，即QMWFLM。虽然QMWF-LM构造了一个高阶张量，它对所有单词的复合意义的概率进行了编码。设计一种既能反映对语言特征的理解，又能指导不同隐层卷积核个数等网络结构设计的分析方法是一项具有挑战性的工作。

发明内容

基于QMWF-LM中如此大的张量空间作为一个虚拟概念，可以进行深入的分析。本发明将QMWF-LM与张量网络联系起来，利用最小割分析等图论工具来解释QMWF-LM。具体地说，对于短程相关，在最小割分析的基础上，应该在相对较浅的层分配更多的核，而在相对较深的层分配更多的核，以实现长期相关性。直观地说，在问答系统等文本匹配任务，可以参考一些简单的问答短程相关性对许多常见的问题和答案的句子之间，可以匹配本地一些重叠的特性(例如，附近的一个词或词的统计组合如语法)。而远程相关则是指具有较少常用词的问答对，其有效匹配可能需要从全局上下文中提取更高层次的语义信息。

本发明所要解决的技术问题是克服现有技术的不足而提供一种基于卷积网络模型的可解释性方法，搭建数据集特点与卷积神经网络之间的联系，不同的数据集分别应用不同的卷积网络，运用卷积网络模型训练文本分类模型，并利用反向传播、随机梯度下降优化方法训练网络模型得到最优模型在测试集上预测结果，最终得到更加准确的分类结果。

本发明的目的是通过以下技术方案来实现的，包括如下步骤：

S1、通过卷积网络相关基础信息建立张量网络模型；

S2、采用最小割方法将张量网络视为图形处理分别获得短程相关类和远程相关类；

S3、分别提取短程相关类和远程相关类中参数确定attention matrix数学模型，

3.1、通过如下公式建立句子对的全局表示：

给定包含单词的n个单词序列({w_i∈R^m}(i∈[n])，把它拆分成两部分V_Q∪V_A＝{w₁，...，w_n}，这里V_Q＝{w₁，...，w_b}，V_A＝{w₁，...，w_n-b}；

3.2、利用attention matrix和熵量化句子对之间的相关性通过如下公式获得Attention矩阵；