[发明专利]一种中文船舶故障关系抽取方法

说明书

本发明涉及一种基于双向GRU神经网络和注意力机制的中文船舶故障关系抽取方法，该方法可用于对中文的船舶故障文本抽取与船舶故障相关的故障词汇及抽取其中的故障关系。双向GRU神经网络和注意力机制结合的神经网络是多层分级结构，每层都有其特殊的作用和意义，通过每层对船舶故障语料库的处理来在一定详细程度上对语料库进行故障词汇的关系抽取。在进行关系抽取时，首先使用字向量来构建词典，为了消除噪音数据带来的影响，在特征向量上分别构建注意力机制。通过结合双向GRU、注意力机制和sigmod等生成技术手段，将故障语料库输入之后进行输出，达到提取故障语料直接关系的目的。

技术领域

本发明属于深度学习技术领域，尤其是一种基于双向GRU神经网络和注意力机制的方法。

背景技术

随着深度学习的发展，越来越多的深度学习模型被应用到了关系抽取任务中。但是传统的深度学习模型不能解决长距离的学习任务，且当抽取本文的噪声较大时，传统的深度学习模型的表现更差。面对这样的挑战和问题，不同的、高效的、精度高的可用于不同领域的关系抽取神经网络模型，是目前迫切需要解决的问题。

发明内容

发明目的：本发明的目的在于克服现有关系抽取模型的不足，提出一种设计合理且快速准确的基于双向GRU神经网络和注意力机制的中文船舶故障关系抽取方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种基于双向GRU神经网络和注意力机制的中文船舶故障关系抽取方法，包括如下步骤：

步骤一：收集待处理文本，生成文本集，以json文档格式保存；

步骤二：对文本集进行数据预处理；

步骤三：将预处理后的全部文件作为预训练语料库；

步骤四：利用预训练语料库对双向GRU神经网络和注意力机制联合模型进行训练，得到故障关系抽取模型，其中，双向GRU神经网络和注意力机制联合模型包括依次连接的输入层、嵌入层、双向GRU神经网络层、注意力机制层和输出层，双向GRU神经网络和注意力机制联合模型的输入为预处理后的文本，输出为故障语料关系抽取结果；

步骤五：将待处理故障语料进行预处理后，利用故障关系抽取模型完成关系抽取。

进一步地，步骤四中计算第1层嵌入词向量的方法为：

e_i＝W^wordvⁱ (1)

其中，vⁱ为大小为|V|的一维向量，e_i是使用Word2vec将原始句子中的每个字都转换成向量，W^word是矩阵，V是固定的词汇表。

进一步地，步骤四中使用双向GRU神经网络来训练船舶故障语料库的方法为：

GRU网络是循环神经网络的变形，循环神经网络模型是用来处理时序信息。传统的中文处理模型没有考虑到句子之间的上下关联性问题，而循环的神经网络做出的改进是认为第n个字，与之相关联的是前n-1个字，循环神经网络可以很好的考虑到长文本的上下文关联问题。随着隐藏层数的增加，普通的神经网络会出现梯度消失的问题，因此长短时记忆网络LSTM随之出现。LSTM神经网络包括三个门，输入门、遗忘门和输出门。输入门是决定当前时刻多少状态保留到当前时刻的输入状态；遗忘门是决定保留多少上一时刻的状态到当前状态；输出门是决定输出多少当前时刻的状态。而相比于LSTM神经网络，GRU网络是LSTM网络的简化版本，它仅包含更新门和重置门。更新门决定了前一时刻的信息被输入到当前时刻的量；重置门决定了忽略前一时刻的量。GRU网络结构的双向GRU神经网络层的前向传播公式为：

r_t＝σ(W_r·[h_t-1,x_t]) (2)