[发明专利]基于TransS驱动的互激励神经网络的隐式篇章关系识别方法

权利要求书

1.基于TransS驱动的互激励神经网络的隐式篇章关系识别方法，其特征在于，包括如下步骤：

(1)构建论元和篇章关系的嵌入层；篇章论元对(Arg1,Arg2)与其对应的篇章关系分别表示为词向量序列和词向量，然后通过单词的逐一映射，得到两个篇章论元的向量矩阵，以及其对应篇章关系的低维分布式表示；

(2)篇章论元的表示学习；将篇章论元Arg1、Arg2的向量表示分别作为正向长短期记忆网络LSTM层和反向LSTM层，即双向LSTM神经网络BiLSTM的输入，编码得到两个篇章论元的抽象表示；

(3)构建注意力机制增强的表示学习；利用注意力机制捕获篇章论元中重要的词汇信息，将捕获到的重要词汇信息融入表示学习中，以加深对篇章论元的语义理解，从而获取融合重要信息的篇章论元表示；

(4)构建句子翻译嵌入模块TransS；TransS将篇章论元之间的语义关系翻译到低维向量空间，并得到篇章论元对及其关系之间的几何结构；同时，TransS模块所保留的几何结构信息能够作为篇章关系识别的指导；

(5)构建篇章关系识别模块；将TransS模块所得的包含几何结构信息的论元表示输入篇章关系识别模块，并为TransS模块提供已学到的篇章关系语义信息，以帮助TransS模块更好地学习论元表示；

(6)构建互激励机制；TransS和篇章关系识别两个模块的互相激励、互相指导，共同优化单词表示，更好地学习新的融合几何结构信息的篇章论元表示，以提高篇章关系识别能力；具体包括：设置互激励神经网络的隐式篇章关系识别方法中TransS和关系识别模块之间的互激励机制，整个方法的目标是最小化模型的损失函数，定义如下：

如公式(10)所示，表示总损失函数，表示TransS模块的损失函数，表示篇章关系识别模块的损失函数；整个方法的损失函数由TransS的损失函数和篇章关系识别模块的损失函数两部分构成；

给定数据集T，由两个句子向量h_s，t_s∈V和篇章关系向量r_s∈R组成的三元组所构成；其中，V表示数据集中所有的句子向量的集合，R是篇章关系向量的集合；对于TransS的损失函数，定义如下：

其中，[·]₊表示正例，γ＞0是边际超参数；负例集合T'是根据公式(12)构建而成，h'_s,t'_s是负例句子向量；d(,)是距离函数，计算两个向量之间的距离；L₂规则化用于惩罚参数θ的大小，以防止过拟合；λ表示权重；

在公式(12)中，头或尾向量h_s，t_s被随机论元向量h'_s，t'_s替换；在训练的过程中，TransS模块不断地最小化三元组(h_s,r_s,t_s)的几何结构损失，且最终在低维向量空间中学习到带有内在结构信息的头、尾、关系向量h_s,t_s,r_s；

新的句子向量由三元组(h_s,r_s,t_s)中的h_s,t_s拼接得到，并用于进行关系识别；篇章关系识别模块的训练目标是最小化交叉熵损失函数：

其中，y_j是真实关系的one-hot表示；是预测关系的表示；C是篇章关系类别的数量；在训练过程中，关系识别模块不断最小化真实关系和预测关系的交叉熵损失，并优化篇章关系表示；

由公式(11)和公式(13)得出整个模型损失的具体形式：

从公式(14)得出TransS与关系识别模块之间相互依赖，TransS与关系识别模块使用带有结构信息的论元表示和已标注的关系信息相互指导；一方面，TransS将关系映射到低维向量空间中，利用捕获的带有几何结构信息的向量h_s,r_s,t_s激励关系识别；另一方面，关系识别模块在改进关系识别的基础上，不断优化篇章论元表示，并为几何结构特征的挖掘提供必要条件；TransS与关系识别模块相互指导、相互激励、相互优化，最终得到包含有语义信息和几何结构信息的论元-关系表示。