[发明专利]复数融合特征提取指针式抽取三元组信息的方法、系统及计算机介质有效
申请号: | 201911083955.7 | 申请日: | 2019-11-07 |
公开(公告)号: | CN110889276B | 公开(公告)日: | 2023-04-25 |
发明(设计)人: | 杨家兵;高怀恩;张学习;龙土志;董海涛 | 申请(专利权)人: | 广东工业大学 |
主分类号: | G06F40/211 | 分类号: | G06F40/211;G06F16/951;G06N3/0455;G06N3/0464;G06N3/084 |
代理公司: | 广州粤高专利商标代理有限公司 44102 | 代理人: | 林丽明 |
地址: | 510006 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 复数 融合 特征 提取 指针 抽取 三元 信息 方法 系统 计算机 介质 | ||
1.一种复数融合特征提取指针式抽取三元组信息的方法,其特征在于,包括以下步骤:
S1:从各类文本中获取句子和对应的三元组标签,所述的三元组标签为主体S、客体O和关系P;
S2:将每个句子编码成向量格式,通过词位置Embedding层训练获得每个字的字向量;
S3:将句子中每个字按字向量输入特征提取网络中训练完成特征提取,得到每句话的特征向量;
S4:将每句话的特征向量输入指针模型中训练;
S5:用训练好的模型,抽取出目标中所有S主体;根据所有的主体S指引,抽取出对应的所有关系P;再根据(S,P)的所有组合指引抽取出所有O客体;
在所述的S2的具体步骤如下:
S21.将所有句子中的每个字符进行编码,不同编号对应不同的字符;
S22.确定一固定序列长度X,句子长度超过X时截断至长度为X;若不足句子长度不足X,则在句子后补0直至句子长度为X,形成被计算机识别的句子向量;
S23.对步骤S22所得的句子向量置于词位置编码层Embedding层进行编码,得到词位置编码的字向量;
所述的S3的具体步骤如下:
S31.将得到的词位置编码的字向量送入特征提取网络中进行训练,包括卷积网络和循环网络;
S32.卷积网络提取出的句子特征向量为A=[a1,a2,…,ai];循环网络提取出的句子特征向量为B=[b1,b2,…,bi],其中a,b为单个字向量;
S33.将A和B改写成复数模式,其中n为a1、b1向量中元素的个数;
S34.将A^和B^进行复数相加,判断其模的大小,若其模的大小同时大于或的模值则进行融合,hi既选择ai+bi;反之,选择A^与B^中模值较大的一方作为最终的特征提取向量,hi既从ai和bi选择一个;
S35.获得最终融合的特征向量H=[h1,h2,h3…hi]。
2.根据权利要求1所述的复数融合特征提取指针式抽取三元组信息的方法,其特征在于,所述的步骤S1中通过网络爬虫和人工批注分别获得句子和对应的三元组。
3.根据权利要求1所述的复数融合特征提取指针式抽取三元组信息的方法,其特征在于,所述的指针模型包括Attention1模型、Attention2模型、Attention3模型。
4.根据权利要求3所述的复数融合特征提取指针式抽取三元组信息的方法,其特征在于,在所述的S4的具体步骤如下:
S41.将融合后的特征向量Hi=[h1,h2,h3…hi],每个h是每个字的向量;
S42.以当前状态本身去计算得分作为当前单元Attention_1score:其中Va和Wa是参数,e表示当前特征向量的分数score,Va与Wahi进行相似度计算得到e,是训练参数向量Va的转置,向量之间计算相似度常用转置,用归一化的方式得到权值A;
S43.通过训练得到,Wa维数dxd,hi维数dx1,Va维数dx1,经过Attention_1得到一个最终的向量C=AxH,对原始的向量H加权求和的结果C就为注意力值;通过注意力值向量去表示文本,根据标签信息网络是学习到注意力在对应预测的SOP上的;
S44.使用2分类器对注意力向量Hi=[h1,h2,h3…hi]进行相应的SPO三元组信息进行抽取,模型使用Adam优化器进行训练,根据检验,先用较小的学习率训练,然后加载训练的最优结果,再用更小的学习率继续训练到最优。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东工业大学,未经广东工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911083955.7/1.html,转载请声明来源钻瓜专利网。