[发明专利]一种基于神经网络与注意力机制的情报关系提取方法

摘要

本发明公开了一种基于神经网络与注意力机制的情报关系提取方法，涉及结合注意力机制的循环神经网络、自然语言处理、情报分析领域，用以解决现今情报分析系统多基于人工构建的知识库，工作量大、泛化能力低的问题。方法具体实现包括训练阶段与应用阶段。在训练阶段，首先构建用户字典、训练词向量，然后从历史情报数据库中构造训练集，进行语料预处理，然后进行神经网络模型训练；在应用阶段，获取情报，进行情报预处理，可自动地完成情报关系抽取任务，同时支持扩充用户词典，以及纠错判断，加入训练集增量式的训练神经网络模型。本发明的情报关系提取方法可寻找情报间的关系，为整合事件脉络、决策研判提供依据，有着广泛的实用价值。

主权项

1.一种基于神经网络与注意力机制的情报关系提取方法，其特征在于，包括以下步骤：/n步骤1)构建用户字典，神经网络系统已有初始的用户字典；/n步骤2)训练词向量，从有关的数据库中提取文本资料，利用步骤1)得到的用户字典训练词向量库，将文本资料中的文本词汇映射成数值化的向量数据；/n步骤3)构造训练集，从历史情报数据库中提取情报对，使用步骤2)中得到的词向量库将每对情报转化为情报关系三元组训练数据<情报1，情报2，关系>；/n步骤4)语料预处理，先利用步骤1)得到的用户字典对步骤3)得到的训练数据进行语料预处理，即分词和命名体识别；分词和命名体识别使用现有的自动化工具实现，预处理最终结果是将每条情报转化为行为词向量维度、列为语句长度的情报词语矩阵，并标注其中命名体位置，情报两两一组；/n步骤5)神经网络模型训练，将步骤4)得到的矩阵加入神经网络进行训练，得到关系抽取神经网络模型；其中神经网络的训练方法，包括以下步骤：/n步骤5-1)将情报词语矩阵输入双向长短时记忆网络Bi-LSTM单元提取综合语境的信息，分别将正序语句和倒序语句输入两个长短时记忆网络LSTM单元；在计算本时刻时，迭代地考虑上时刻的作用；LSTM单元的隐层计算及特征提取的组合表达式如下：/ni_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i)/nf_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f)/ng_t＝tanh(W_xcx_t+W_hch_t-1+W_ccc_t-1+b_c)/nc_t＝i_tg_t+f_tc_t-1/no_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t+b_o)/nh_t＝o_t·tanh(c_t)/n式中：x_t表示t时刻步骤4)中得到的情报词语矩阵，也是神经网络的输入矩阵；/ni_t表示t时刻输入门的输出结果；/nf_t表示t时刻遗忘门的输出结果；/ng_t表示t时刻输入整合的输出结果；/nc_t、c_t-1分别表示t时刻和t-1时刻记忆流状态；/no_t表示t时刻输出门的输出结果；/nh_t、h_t-1分别表示t时刻和t-1时刻隐层信息，即神经网络提取的特征输出；/nσ()表示sigmoid激活函数，tanh()表示双曲正切激活函数；/nW_xi、W_hi、W_ci、W_xf、W_hf、W_cf、W_xc、W_hc、W_cc、W_xo、W_ho、W_co表示待训练的权值参数，其角标前者表示相乘的输入量，后者表示所属的计算部分；/nb_i、b_f、b_c、b_o表示待训练的偏置参数，其角标表示所属的计算部分；/n这里待训练的所有权值参数和偏置参数都是先随机初始化，然后训练过程中自动修正，最后会随神经网络的训练得到最终的值；/n步骤5-2)加权拼接正序语句和倒序语句的两个长短时记忆网络LSTM单元输出作为神经网络的最终输出；/no_final＝W_fwh_fw+W_bwh_bw/n式中，h_fw表示处理正序语句的LSTM网络的输出，W_fw表示其对应的待训练的权值；/nh_bw表示处理倒序语句的LSTM网络的输出，W_bw表示其对应的待训练的权值；/no_final表示神经网络的最终输出；/n这里待训练的权值W_fw、W_bw也是先随机初始化，然后训练过程中自动修正，最后会随神经网络的训练得到最终的值；/n步骤5-3)依据命名体对应位置的神经网络输出来计算情报整句话的注意力分配，并按照分配组合神经网络的整句输出，其公式如下：/nα＝softmax(tanh(E)·W_a·O_final)/nr＝α·O_final/n式中，α为注意力分配矩阵，r为情报语句经过针对性整合的输出；E为循环神经网络在命名体位置上的输出，使用固定窗口的模式，选取前K重要的命名体拼接成命名体矩阵；O_final为神经网络的最终输出，形如[o₁，o₂，o₃...o_n]，其中o₁，o₂，o₃...o_n为神经网络对应节点的输出，n为情报的词语数量；/nW_a为待训练的权值矩阵，softmax()为softmax分类器函数，tanh()为双曲正切激活函数；这里待训练的权值W_a也是先随机初始化，然后训练过程中自动修正，最后会随神经网络的训练得到最终的值；/n步骤5-4)对于两条情报语句经过针对性整合的输出r，拼接后输入全连接层，最后使用softmax分类器进行关系分类，对得到的预测结果使用梯度下降法训练权值；/n步骤6)情报获取，输入两条一组的文字情报，一个批次可以有多组，其中文字情报为一段中心明确的文字，若为新情报，则可以选择扩充步骤1)中得到的用户字典；/n步骤7)文本预处理，通过步骤4)中训练好的分词工具、步骤2)得到的词向量库和步骤4)中使用的命名体识别工具，将步骤6)中原始的整句的文字信息转化为情报数值矩阵；其中每行是每个词的向量表示，一个矩阵即表示一条情报，同时标注其中命名体的位置；/n步骤8)关系抽取，将步骤7)处理好的两两一组的情报矩阵对输入步骤5)训练好的关系抽取神经网络模型，进行自动化的关系抽取，最终得到每组情报的关系类别；/n步骤9)增量式更新，判断步骤8)得到的每组情报的关系类别正误，若判断正确，则结合步骤6)中获取的情报和相应的关系类别进行可视化展示，若判断错误，则可以选择将正确判断的情报关系三元组训练数据加入步骤3)中的训练集，重复步骤4)与步骤5)，重新训练修正神经网络模型；/n使用双向循环神经网络、结合命名实体对情报中各词的注意力分配，在情报的词向量表示中提取出特征信息，使用softmax分类器对提取的特征信息进一步分类，从而完成情报的关系提取任务；使用双向长短时记忆网络有效地考虑完整语境信息，使用命名实体的注意力权重可依据叙事中心词自动分配情报中每个词的重要程度。/n