[发明专利]一种基于神经网络与注意力机制的情报关系提取方法

说明书

本发明公开了一种基于神经网络与注意力机制的情报关系提取方法，涉及结合注意力机制的循环神经网络、自然语言处理、情报分析领域，用以解决现今情报分析系统多基于人工构建的知识库，工作量大、泛化能力低的问题。方法具体实现包括训练阶段与应用阶段。在训练阶段，首先构建用户字典、训练词向量，然后从历史情报数据库中构造训练集，进行语料预处理，然后进行神经网络模型训练；在应用阶段，获取情报，进行情报预处理，可自动地完成情报关系抽取任务，同时支持扩充用户词典，以及纠错判断，加入训练集增量式的训练神经网络模型。本发明的情报关系提取方法可寻找情报间的关系，为整合事件脉络、决策研判提供依据，有着广泛的实用价值。

技术领域

本发明涉及结合注意力机制的循环神经网络、自然语言处理、情报分析领域，尤其是一种使用结合注意力机制的双向循环神经网络进行情报关系提取的方法。

背景技术

随着信息时代各项技术的发展，信息数据量呈爆炸式增长。如今，情报信息的获取和存储技术较为成熟，而在情报分析、海量情报数据的关键信息抽取等领域，仍需要许多技术改进。情报数据有着主题性强、时效性高、隐含信息丰富等特点。对同一主题下的情报进行关系分析，按时空、因果等关系整合情报，可完成主题事件的描述、多角度分析等任务，并为最终的决策研判提供依据。因此，寻找情报间的关系并整合出事件脉络有着重要的实际意义。

目前，情报的关系分类多基于标准知识框架或模型范式，即由领域专家提取情报的关键特征、整理情报各关系类别的表述形式、搭建知识库来完成关系分类。专利CN201410487829.9的情报分析系统，基于标准知识框架，利用计算机进行知识积累、整合零散信息，综合历史信息完成情报关联关系的甄别，最终提供指挥决策的思维脑图，辅助决策。专利CN201610015796的情报关联处理方法，基于领域知识模型，通过命名体识别和领域字典的方式提取特征词汇，以主题图模型训练特征词的主题关联度，从而建立事件的主题词模板，以此模板完成情报的关联判断。

此外，也有一些研究运用机器学习的神经网络方法进行关系抽取。专利CN201610532802.6、专利CN201610393749.6和专利CN201610685532.2分别使用多层卷积神经网络、结合距离监督的卷积神经网络、结合注意力的卷积神经网络进行关系抽取。

基于上述研究现状，针对情报的关系抽取方法，主要存在以下问题：第一，基于知识框架或模型的情报分析，需要大量且覆盖面广的历史事例，需要富有专业知识的领域专家进行知识库的构建，即工作量大且完成的框架可能泛化能力较弱；第二，基于神经网络的方法多停留在理论方法的研究上，在实际应用中需要一定调整，且现使用较多的卷积神经网络，在整句语境的把握上效果欠佳，不经特殊处理准确率不如双向循环神经网络(Bi-directional RNN)。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种智能的、准确率高、展示效果好的情报关系提取方法。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于神经网络与注意力机制的情报关系提取方法，包括以下步骤：

步骤1)构建用户字典，神经网络系统已有初始的用户字典。

步骤2)训练词向量，从与该领域有关的数据库中提取文本资料，利用步骤1)得到的用户字典训练词向量库，将文本资料中的文本词汇映射成数值化的向量数据；

步骤3)构造训练集，从历史情报数据库中提取情报对，使用步骤2)中得到的词向量库将每对情报转化为情报关系三元组训练数据<情报1,情报2,关系>；

步骤4)语料预处理，先利用步骤1)得到的用户字典对步骤3)得到的训练数据进行语料预处理，即分词和命名体识别；分词和命名体识别使用现有的自动化工具实现，预处理最终结果是将每条情报转化为行为词向量维度、列为语句长度的情报词语矩阵，并标注其中命名体位置，情报两两一组；