[发明专利]基于多语注意力机制的事件识别及分类方法及装置有效
申请号: | 201711463578.0 | 申请日: | 2017-12-28 |
公开(公告)号: | CN108345583B | 公开(公告)日: | 2020-07-28 |
发明(设计)人: | 陈玉博;刘康;赵军;刘健 | 申请(专利权)人: | 中国科学院自动化研究所 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06N3/08 |
代理公司: | 北京市恒有知识产权代理事务所(普通合伙) 11576 | 代理人: | 郭文浩 |
地址: | 100190 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 注意力 机制 事件 识别 分类 方法 装置 | ||
1.一种基于多语注意力机制的事件识别及分类方法,其特征在于,包括:
步骤1,将仅标注单语事件信息的数据映射为多语平行数据;
步骤2,将所述多语平行数据进行词汇级别对齐,通过多语对齐关系得到同一事件在多种不同语言中的一致性表示;
步骤3,利用步骤2得到同一事件在多种不同语言中的一致性表示,基于单语注意力模型获取多语一致性信息;
步骤4,利用步骤2得到同一事件在多种不同语言中的一致性表示,基于多语注意力模型获取多语互补性信息;
步骤5,基于所述多语一致性信息和所述多语互补性信息进行联合推理,通过非线性神经网络判别模型输出最终的识别结果;
其中,
所述单语注意力模型为用于学习同一事件在不同语言中的一致性表示的带注意力机制的神经网络模型;
所述多语注意力模型为用于学习事件在不同语言中的不同表示的带注意力机制的神经网络模型。
2.根据权利要求1所述的基于多语注意力机制的事件识别及分类方法,其特征在于,所述单语注意力模型,该模型的建模公式为
zt=σ(Wzxt+Uzht-1+bz)
rt=σ(Wrxt+Urht-1+br)
其中,zt、rt、分别为输入门、输出门和记忆单元;W,U,b是对应项的权值矩阵,σ(x)=1/(1+exp(-x)),xt为第t时刻的输入表示向量。
3.根据权利要求2所述的基于多语注意力机制的事件识别及分类方法,其特征在于,所述单语注意力模型中,其单语注意力权重为词汇重要性,句子不同部分的权重ai的计算方法为
其中,为候选触发词的转置向量,WAtt_src为权重矩阵,w为缩放系数,si为第i个词语的表示向量,bAtt_src为偏置项,L为句子长度。
4.根据权利要求3所述的基于多语注意力机制的事件识别及分类方法,其特征在于,通过所述单语注意力模型输出的句子表示为不同部分的带权重加和Rsrc,
5.根据权利要求4所述的基于多语注意力机制的事件识别及分类方法,其特征在于,所述多语注意力模型中多语注意力权重为不同语言的置信度,目标语言的置信度Gcl计算方法为
Gcl=σ(Wcl[Rsrc;Rtgt]+bcl)
其中,Wcl为权重矩阵,Rtgt为目标语的句子表示向量,bcl为偏置项。
6.根据权利要求5所述的基于多语注意力机制的事件识别及分类方法,其特征在于,所述多语注意力模型输出的多语的信息融合表示为Rintegrated,
Rintegrated=(Gi·Rtgt)+(1+Gi)·Rsrc
其中,Gi为多语置信度表示向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院自动化研究所,未经中国科学院自动化研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711463578.0/1.html,转载请声明来源钻瓜专利网。