[发明专利]一种融合多知识图谱的神经网络文本分类方法

说明书

本发明涉及一种融合多知识图谱的神经网络文本分类方法，包括以下步骤：将训练集中文本输入至长短期记忆网络中，得到文本的上下文向量；对训练集中各文本抽取实体，在知识图谱中进行实体匹配；分别计算匹配到的各实体、知识图谱中各关系在上下文向量下的注意力权重，得到文本的总体实体向量、总体关系向量，进而得到事实三元组向量；计算不同知识图谱下的事实三元组向量，计算这些事实三元组的注意力权重，得到文本表征向量并输入到神经网络的全连接层，使用分类器计算各文本属于各类别的概率来训练网络；利用训练好的深度神经网络模型预测待预测文本所属类别。该方法提升了模型对文本语义的理解，可以更可靠、准确且鲁棒地对文本内容进行分类。

技术领域

本发明涉及自然语言处理及数据挖掘技术领域，特别是一种融合多知识图谱的神经网络文本分类方法。

背景技术

文本分类(text categorization)技术是信息检索和文本挖掘的重要基础，其主要任务是在预先给定的类别标记(label)集合下,根据文本内容判定它的类别。文本分类在自然语言处理与理解、信息组织与管理、内容信息过滤等领域都有着广泛的应用。近年来,利用深度学习来建立语言模型的研究思路逐渐走向成熟，大大提升了文本的特征质量。有学者最早提出一种基于卷积神经网络的句子分类模型，通过卷积层对预训练的词向量矩阵进行特征提取，利用梯度下降法优化网络权重参数，达到优于传统基于机器学习分类方法的分类精度；有学者提出一种对句子建模的深度神经网络模型，底层通过组合邻近的词语信息，逐步向上传递，上层则又组合新的Phrase信息，从而使得句子中即使相离较远的词语也有交互行为；有学者提出一种结合卷积神经网络和循环神经网络的网络模型，利用循环神经网络的结构得到词的上下文信息，将词本身与其上下文视为一个整体，共同参与卷积层的特征提取以及输出层的分类；有学者提出一种结合大型的分类知识库Probase于卷积神经网络的分类模型，将一个短文本概念化为一组相关概念，然后，在预训练的词向量上，通过合并词与相关概念得到短文本的嵌入；有学者提出一种增强模型，运用知识图谱来进行NLP任务，运用注意力机制来从知识图谱中提取与任务相关的事实三元组。

目前借助知识图谱来增强深度神经网络语义建模的研究还相对较少，且这些研究在知识图谱中的信息与训练集文本的结合匹配上还较为粗糙，容易导致引入过多与训练集文本内容不相关的知识图谱信息，从而形成噪声，影响建模。此外，目前的研究工作大多只考虑单一知识图谱上的建模，可能无法更多的覆盖到训练集文本的内容，而不同知识图谱之间的信息可以相互补充，相对于单一知识图谱，多知识图谱可以覆盖更多训练集文本内容。

发明内容

本发明的目的在于提供一种融合多知识图谱的神经网络文本分类方法，该方法提升了模型对文本语义的理解，可以更可靠、准确且鲁棒地对文本内容进行分类。

为实现上述目的，本发明的技术方案是：一种融合多知识图谱的神经网络文本分类方法，包括以下步骤：

步骤A：将训练集中文本输入至长短期记忆网络中，得到文本的上下文向量；

步骤B：对训练集中各文本抽取实体，在知识图谱中进行实体匹配；

步骤C：计算步骤B中匹配到的各实体在步骤A中得到的上下文向量下的注意力权重，得到文本的总体实体向量，同时，计算知识图谱中各关系在所述上下文向量下的注意力权重，得到文本的总体关系向量，进而得到事实三元组向量；

步骤D：在不同知识图谱中重复步骤B、C，得到不同知识图谱下的事实三元组向量，计算这些事实三元组在步骤A中得到的上下文向量下的注意力权重，得到最终的文本表征向量，将所述文本表征向量输入到神经网络的全连接层，使用分类器计算各文本属于各类别的概率来训练网络；

步骤E：利用训练好的深度神经网络模型预测待预测文本所属类别，取概率最大的类别作为预测的类别输出。

进一步地，所述步骤A中，将训练集中文本输入至长短期记忆网络中，得到文本的上下文向量，包括以下步骤：