[发明专利]一种融合句法和实体关系图卷积网络的事件联合抽取方法有效
申请号: | 202011072586.4 | 申请日: | 2020-10-09 |
公开(公告)号: | CN112163416B | 公开(公告)日: | 2021-11-02 |
发明(设计)人: | 汪安平;张春霞 | 申请(专利权)人: | 北京理工大学 |
主分类号: | G06F40/211 | 分类号: | G06F40/211;G06F40/284;G06F40/295;G06F40/30;G06F16/35;G06N3/04;G06N3/08 |
代理公司: | 北京正阳理工知识产权代理事务所(普通合伙) 11639 | 代理人: | 张利萍 |
地址: | 100081 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 融合 句法 实体 关系 图卷 网络 事件 联合 抽取 方法 | ||
1.一种融合句法和实体关系图卷积网络的事件联合抽取方法,其特征在于:
所述事件联合抽取方法依托的联合模型,包括文本预处理模块、词法特征向量生成模块、语义编码模块、句法特征向量生成模块、候选触发词分类模块、实体关系向量生成模块、候选触发词和候选论元词对特征融合模块、候选论元分类模块以及损失函数训练模块;
所述联合模型中各模块的连接关系如下:
文本预处理模块与词法特征向量生成模块相连,词法特征向量生成模块与语义编码模块相连,语义编码模块与句法特征向量生成模块相连;句法特征向量生成模块与候选触发词分类模块相连;候选触发词分类模块与损失函数训练模块相连;
词法特征向量生成模块、句法特征向量生成模块与实体关系向量生成模块相连;实体关系向量生成模块与候选触发词和候选论元词对特征融合模块相连,候选触发词和候选论元词对特征融合模块与候选论元分类模块相连,候选论元分类模块与损失函数训练模块相连;
所述事件联合抽取方法,包括以下步骤:
步骤1:文本预处理模块对训练集中的句子进行文本预处理,获得预处理后的训练集;
其中,文本预处理包括:实体标注、词性标注以及获取句法依存关系树;
其中,实体标注的类型包括设施、人名、地名、机构名、地缘政治实体、工具和武器七大类;
其中,预处理训练集中包括若干句子,记为句子S=w1 w2…wi…wj…wn,i和j的取值范围为1到n,n表示句子S中所有词语的个数;
步骤2:词法特征向量生成模块基于词向量模型对步骤1预处理后的训练集中的句子词语生成词语嵌入、词性标注嵌入、实体类型嵌入和位置嵌入,这四种嵌入拼接构建为词语的词法特征向量,再对句子中所有词语的词法特征向量进行堆叠,构建句子词法矩阵;
步骤3:语义编码模块利用长短时记忆网络LSTM对步骤2构建的句子词法矩阵进行编码,获取词语之间的长短期依赖关系,输出句子的隐藏状态;
其中,LSTM,即Long-short term memory network;
步骤4:句法特征向量生成模块根据句法依存关系树信息通过句法图卷积网络生成词语的句法特征向量,并与步骤2构建的词语的词法特征向量进行拼接;进一步句法特征向量生成模块对句子中所有词语的句法特征向量和词法特征向量进行堆叠,获得句子的词法和句法矩阵M;其中,句法图卷积网络中边的类型共有三种:正向边、反向边和自回路;
步骤4:句法特征向量生成模块根据句法依存关系树信息通过句法图卷积网络构建词语的句法特征向量,并与步骤2构建的词语的词法特征向量进行拼接;进一步句法特征向量生成模块对句子中所有词语的句法特征向量和词法特征向量进行堆叠,获得句子的词法和句法矩阵M,具体为:
步骤4.1:将步骤3输出的句子隐藏状态输入到句法图卷积网络; 基于句法图卷积网络,句法特征向量生成模块生成句子的任意词语的句法特征向量;
句法图卷积网络是指将句法依存关系引入到图卷积网络中;句法依存关系是表示句子中两个词语的句法依赖关系;
步骤4.2:将步骤4.1生成的词语的句法特征向量,与步骤2构建的词语的词法特征向量进行拼接;然后句法特征向量生成模块对句子中所有词语的句法特征向量和词法特征向量进行堆叠,获得句子的词法和句法矩阵M;
为了对每层句法图卷积网络GCN传播之后的结点信息能够最大化保留上一层结点信息,分别对上一层结点的原始信息和非线性转换后信息的保留程度进行学习;
步骤5:识别步骤1文本预处理后的训练集中句子的候选触发词、计算重要性得分、生成上下文向量并堆叠,候选触发词分类模块再基于堆叠产生的上下文矩阵对候选触发词进行分类,识别句子S中的所有候选触发词及候选触发词所属的事件类型;
步骤6:实体关系向量生成模块构建实体关系图卷积网络,获取实体结点的聚合特征向量,生成实体关系向量;
步骤7:候选触发词和候选论元词对特征向量构建模块提取句子中的候选论元,构建(候选触发词,候选论元)词对的特征向量;
步骤7.1:将句子S中的所有实体,提取为候选论元;
步骤7.2:对于句子S中的每个候选触发词和每个候选论元,构建(候选触发词,候选论元)词对的特征向量;
其中,候选触发词和候选论元两者不同;特征向量是对候选触发词的词法特征向量和句法特征向量,与候选论元的词法特征向量和句法特征向量进行拼接获取;
步骤8:候选论元分类模块对(候选触发词,候选论元)词对特征向量,以及候选论元的实体关系向量进行拼接,并将其输入到全连接层和Softmax层;将(候选触发词,候选论元)词对进行分类,识别候选论元在候选触发词所属的事件中承担的事件角色;
步骤9:损失函数训练模块训练候选触发词分类模型和候选论元分类模型,该训练包括候选触发词识别和分类阶段与候选论元识别和分类阶段;
步骤10:提取测试集中句子的事件信息,具体为:
基于测试集依次进行:步骤1的文本预处理,步骤2生成句子词语的词法特征向量,步骤3基于长短时记忆网络对句子词法矩阵进行语义编码,步骤4生成句子词语的句法特征向量,步骤5的候选触发词分类,步骤6基于实体关系图卷积网络生成实体关系向量,步骤7构建(候选触发词,候选论元)词对的特征向量,步骤8的候选论元分类,利用步骤9训练的候选触发词分类模型和候选论元分类模型提取测试集句子的事件信息,完成事件触发词识别和分类与论元识别和分类。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京理工大学,未经北京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011072586.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种企业及计算机安全虚拟化平台
- 下一篇:一种吨袋投料系统