[发明专利]一种融合多知识图谱的神经网络文本分类方法

权利要求书

1.一种融合多知识图谱的神经网络文本分类方法，其特征在于，包括以下步骤：

步骤A：将训练集中文本输入至长短期记忆网络中，得到文本的上下文向量；

步骤B：对训练集中各文本抽取实体，在知识图谱中进行实体匹配；

步骤C：计算步骤B中匹配到的各实体在步骤A中得到的上下文向量下的注意力权重，得到文本的总体实体向量，同时，计算知识图谱中各关系在所述上下文向量下的注意力权重，得到文本的总体关系向量，进而得到事实三元组向量；

步骤D：在不同知识图谱中重复步骤B、C，得到不同知识图谱下的事实三元组向量，计算这些事实三元组在步骤A中得到的上下文向量下的注意力权重，得到最终的文本表征向量，将所述文本表征向量输入到神经网络的全连接层，使用分类器计算各文本属于各类别的概率来训练网络；

步骤E：利用训练好的深度神经网络模型预测待预测文本所属类别，取概率最大的类别作为预测的类别输出；

所述步骤A中，将训练集中文本输入至长短期记忆网络中，得到文本的上下文向量，包括以下步骤：

步骤A1：对任一文本D，进行分词处理，并使用词嵌入工具将文本中的词转为词向量形式，计算公式如下：

v＝W·v′

其中，文本中每个词随机初始化为一个d’维的实数向量v’；W为词嵌入矩阵，W∈R^d×d′，由大规模语料在神经网络语言模型中训练得到，用于将d’维实数向量投射为d维词向量；v∈R^d，表示词向量，d为词向量的维度；

步骤A2：对于文本D，将构成句子的词看作一个时序序列，将词向量按照词序依次输入到一个双向的长短期记忆网络中，对于长短期记忆网络的正向，依次输入x₁,x₂,...,x_n，对于长短期记忆网络的反向，则依次输入x_n,x_n-1,...,x₁，其中，x_n表示文本中第n个词的词向量，n为文本D中词的个数；计算每个词在正向和反向的隐层状态值，将这些隐层状态值求平均，乘以权重矩阵，最后使用激活函数得到文本D的上下文向量，计算公式如下：

C＝ReLU(o^TW_c)

其中，x_t为文本中第t个词的词向量，表示文本D中第t个词的在正向长短期记忆网络中的隐层状态向量，表示文本D中第t个词在反向长短期记忆网络中的隐层状态向量，f为长短期记忆网络中对隐层状态的计算函数，h_t为正向和反向状态向量的串联，o为隐层状态的平均值向量，o^T为向量o的转置向量，W_c为权重参数矩阵，ReLU为使用的激活函数，C为文本的上下文向量。