[发明专利]融合依存信息和预训练语言模型的事件抽取方法及系统

权利要求书

1.一种融合依存信息和预训练语言模型的事件抽取方法，其特征在于，包括：

预处理步骤，对待事件抽取文本进行分句、分词、实体提取和句子级依存分析，得到中间数据，将该中间数据中触发词转换为BIO标注格式，得到预处理语料；

预编码步骤，以该预处理语料中句子的词序列作为输入，使用BERT预训练语言模型的分词模块进行分词，得到子词序列，输入至BERT预训练语言模型的多层Transformer模型对该子词序列进行预编码，得到预编码结果和句子的依存句法树；

图卷积神经网络学习步骤，将该依存句法树转换为自环双向连通图，以该预编码结果和该自环双向连通图为输入，使用多层图卷积神经网络学习词级依存句法特征，得到词编码结果；

事件抽取步骤，以该词编码结果为输入，得到任意两个单词间的依存关系；融合该编码结果中的字、词特征，以字级别序列标注的方式进行触发词抽取，得到触发词；合并该编码结果中的实体和该触发词，通过判断实体在该触发词所在事件中是否为其论元，得到论元角色；集合该依存关系、该触发词和该论元角色作为该待事件抽取文本的事件抽取结果；

该事件抽取步骤中依存关系的确定方法为：

d′_i,j＝sigmoid(W_D g(W_DT[p_i,p_j]))

其中W_D和W_DT是线性变换矩阵，g是ReLU非线性激活函数，d’_i,j为该依存关系且d'_i,j∈[0,1]；

实体entity_i的最终表达e_i如下：

e_i＝[he_i||trigger_i||event_i]

其中he_i为实体entity_i按词进行平均池化操作得到的平均表达，trigger_i为触发词的平均池化表达，event_i为实体类型向量；

然后使用Softmax分类器进行多分类：

其中是实体entity_i为论元角色t的概率，W_arg是线性变换矩阵，N_arg是论元角色的种类数。

2.如权利要求1所述的融合依存信息和预训练语言模型的事件抽取方法，其特征在于，该预处理步骤包括：使用自然语言处理工具对待事件抽取文本首先进行分句，然后对每个分句进行分词、实体识别和依存分析操作。

3.如权利要求1所述的融合依存信息和预训练语言模型的事件抽取方法，其特征在于，该图卷积神经网络学习步骤包括：将该依存句法树加入自环和反向边，构成一个带自环的双向连通图，保留该双向连通图“正向”、“反向”和“自环”三种类型的边，分别命名为A_along,A_rev和A_loop；

使用多层迭代式的该图卷积神经网络通过下式对该预编码结果中词序列进行编码：

其中f_conv(·)是图卷积网络的卷积函数，是元素级加法运算，模型每次会将第k-1层的图表达作为输入，使用A_along,A_rev和A_loop分别进行图卷积的计算，然后进行求和，作为第i个单词第k层的图表达，具体来说，

其中σ是非线性激活函数，W_a,k和∈_a,k分别是子图a在第k层图卷积的线性变换矩阵及其偏置，dg(A_{along/rev/loop},i)计算了节点i在子图中的度，用于归一化。