[发明专利]一种基于层次卷积网络的实体与段落链接方法有效
申请号: | 201510372795.3 | 申请日: | 2015-06-30 |
公开(公告)号: | CN104915448B | 公开(公告)日: | 2018-03-27 |
发明(设计)人: | 包红云;郑孙聪;许家铭;齐振宇;徐博;郝红卫 | 申请(专利权)人: | 中国科学院自动化研究所 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06N3/08 |
代理公司: | 中科专利商标代理有限责任公司11021 | 代理人: | 宋焰琴 |
地址: | 100190 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 层次 卷积 网络 实体 段落 链接 方法 | ||
1.一种基于层次卷积网络的实体与段落链接方法,包括以下步骤:
通过卷积神经网络模型和词向量化表示,抽取待处理段落中每条句子的向量化表示特征;
利用卷积神经网络结构和句子向量化表示,学习所述段落的深度语义特征;
将所述句子的向量化表示和段落的向量化表示分别经过Softmax输出拟合段落所属实体;
计算所述实体的向量化表示与段落向量化表示的pair-wise相似信息;
通过Softmax拟合目标实体词及段落特征向量与目标实体词的pair-wise相似度信息进行误差反向传播训练所述卷积神经网络模型;
利用更新后的所述卷积神经网络模型对所述待处理段落进行深度语义特征抽取,然后基于所述段落的向量化表示与对应的实体词进行链接。
2.根据权利要求1所述的基于层次卷积网络的实体与段落链接方法,其特征在于,所述通过卷积神经网络模型和词向量化表示,抽取待处理段落中每条句子的向量化表示特征的步骤包括:
给定待处理段落中的一条句子,利用查表法得到词向量化表示并将所述句子表征成矩阵形式;
在所述句子矩阵化表示特征上进行一维卷积,获取卷积后的特征矩阵;
在所述卷积后的卷积特征上进行均值采样对特征进行压缩,得到所述句子的向量化表示。
3.根据权利要求1所述的基于层次卷积网络的实体与段落链接方法,其特征在于,所述利用卷积神经网络结构和所述句子向量化表示,学习所述段落的深度语义特征的步骤包括:
利用所述段落中的句子向量特征按句子在所述段落中的词序将段落表征成矩阵形式;
在所述段落矩阵化表示特征上进行一维卷积,获取卷积后的特征矩阵;
在所述卷积后的卷积特征上进行均值采样对特征进行压缩并进行一次线性变换,得到所述段落的向量化表示。
4.根据权利要求1所述的基于层次卷积网络的实体与段落链接方法,其特征在于,所述句子的向量化表示和所述段落的向量化表示分别经过Softmax输出拟合所述段落所属实体的步骤包括:
对所述句子向量和段落向量分别进行线性变换得到输出向量,并使用Dropout技术进行正则;
使用Softmax函数计算候选实体的链接概率。
5.根据权利要求1所述的基于层次卷积网络的实体与段落链接方法,其特征在于,所述计算所述实体的向量化表示与所述段落向量化表示的pair-wise相似信息的方法如下:
给定一个实体词集合E={e1,e2,...,em},利用word2vec对所述实体词集合进行初始化,则实体词集合E与所述段落特征向量z的相似性为:
sim(z,E)={z·e1,z·e2,...,z·em}.
其中,操作符z·e表示所述段落特征向量z和对应所述实体词e的相似性。
6.根据权利要求1所述的基于层次卷积网络的实体与段落链接方法,其特征在于,所述通过所述Softmax拟合目标实体词及所述段落特征向量与目标实体词的pair-wise相似度信息进行误差反向传播训练所述卷积神经网络模型的步骤包括:
根据所述句子特征和段落特征输出,利用所述Softmax对所述训练数据集中目标实体词的拟合结果设定目标函数;
根据所述段落特征与所述目标实体词的pair-wise相似度信息设定目标函数;
设定全局目标约束函数将所述目标函数进行统一融合;
利用随机梯度下降方法对所述卷积神经网络模型中的参数进行更新。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院自动化研究所,未经中国科学院自动化研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510372795.3/1.html,转载请声明来源钻瓜专利网。