[发明专利]一种基于递归神经网络的隐式篇章关系分析方法

摘要

本发明提出了一种基于递归神经网络的隐式篇章关系分析方法，属于自然语言处理应用技术领域。包括以下步骤：首先基于一定规则初始化训练语料的词向量，然后把词向量作为Bi‑LSTM模型的输入，得到Bi‑LSTM模型的两个隐层向量，并将其拼接后作为递归神经网络的输入，该网络结构所需的句法树由PDTB语料的标注得出，合成函数采用神经张量合成，最后，得到每个论元的向量表示，并把两个论元向量拼接后输入MLP中进行分类，采用随机梯度下降法更新模型中的参数至收敛，使用性能最优的参数完成隐式篇章关系的分析。

主权项

一种基于递归神经网络的隐式篇章关系分析方法，其特征在于，包括以下步骤：步骤一、语料预处理：统计PTTB2.0中每个单词出现的频率，保留出现频率最高的20000个单词，将其他单词标记为<unk>，将句法树中标注的词性进行删除，并将其二叉化；步骤二、词的embedding表示：使用大规模语料库训练word2vec，将论元中每个单词映射为向量空间的低维向量，从而表示每个单词的语义；步骤三、构建双向LSTM层：对于每个论元，分别按从头到尾和从尾到头的顺序构建LSTM模型，将两个模型的隐层向量拼接后表示每个单词，作为下一层的输入；步骤四、构建递归神经网络：按照步骤一处理过的句法树，递归地合成每个单词，由递归神经网络的输出得到每个论元的向量表示，将两个论元的向量拼接，作为下一层的输入；步骤五、构建多层感知机分类器：将步骤四中的得到的向量输入多层感知机中，在全连接的网络之后接入softmax函数，最终得到分类预判结果，利用语料库真实标注结果与预判结果计算交叉熵作为损失函数，采用随机梯度下降法更新模型中的参数，迭代一定次数后达到收敛；步骤六、篇章关系识别：将待识别论元对作为训练后神经网络的输入，利用多层感知机的输出得到每个类别上的分类概率，选取其中概率最大值对应的篇章关系作为最终的篇章关系识别结果。