[发明专利]一种谓词抽取方法有效
申请号: | 202010374689.X | 申请日: | 2020-05-07 |
公开(公告)号: | CN111581365B | 公开(公告)日: | 2023-04-25 |
发明(设计)人: | 吴昊;陈森;俞晓云;礼欣 | 申请(专利权)人: | 北京理工大学 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/36;G06F40/284;G06N3/0499;G06N3/084 |
代理公司: | 北京云嘉湃富知识产权代理有限公司 11678 | 代理人: | 李思霖 |
地址: | 100081 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 谓词 抽取 方法 | ||
1.一种谓词抽取方法,其特征在于:所述方法通过下式所示框架模型实现:
其中,T(q)是自然语言问题q的特征表示,p(pi)是所述q的候选谓词pi的特征表示,np表示候选谓词的数量,s(·)是相似度计算函数,用于计算自然语言问题和候选谓词之间的相似度得分,θ将整个框架模型参数化,代表了模型中所有待训练的参数权重,Pθ(pi|q)得到所有np个候选谓词的概率;
所述T(q)通过下述过程获得:
首先,将所述q去除所述主语相关短语后的词序列输入到嵌入表示层得到输出其中,nq是所述q屏蔽主语相关短语后的问题序列长度;
其次,将E传入三个深度神经网络DNNQ,DNNK和DNNV后分别得到三个输出矩阵和以Q为注意力中心计算每个词表示向量qi和K之间的相似度向量ai,从而获得注意力权重分布矩阵接下来通过计算V以相似度向量ai为权重的加权和向量获得自注意力输出矩阵
最后,根据如下公式计算得到问题特征表示矩阵T:
所述p(pi)通过下述公式获得:
p=pword+Wpepred
其中,pword为候选谓词的词语级表示向量,为将候选谓词pi按词分割后分别表示为词向量,并用这些词向量初始化嵌入表示层,随后通过权重共享前馈神经网络,再经最大池化得到;其中,i为小于等于np的自然数;epred为候选谓词的谓词级表示向量,为将候选谓词pi经编码后初始化嵌入表示层,随后经线性前馈神经网络后输出得到Wpepred,该网络权重为Wp。
2.根据权利要求1所述的方法,其特征在于:
所述s(·)通过下述过程计算:
首先,采用余弦相似度作为度量,通过下式计算相似度向量
mi=cos(ti,p)
其中,ti是所述自然语言问题q中屏蔽主语相关短语后第i个词语的特征表示向量,p是所述自然语言问题q的候选谓词的特征表示向量;
其次,利用统计分布直方图,将相似度向量的值所在区间划分成v个分箱,计数相似度向量m中落入各个分箱的元素数量,获得统计分布结果c=[c1,c2,...,cv];
最后,将统计分布送入一个全连接层可以获得最终的相似度得分s,表示如下:
s=tanh(wTc+b)
其中,w是全连接层权重,b是全连接层偏移量。
3.根据权利要求2所述的方法,其特征在于:所述深度神经网络为单层线性前馈神经网络。
4.根据权利要求2所述的方法,其特征在于:所述相似度计算方法采用加式方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京理工大学,未经北京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010374689.X/1.html,转载请声明来源钻瓜专利网。