[发明专利]一种基于层次注意力机制的半监督网络表示学习模型在审
申请号: | 201910821415.8 | 申请日: | 2019-09-02 |
公开(公告)号: | CN110781271A | 公开(公告)日: | 2020-02-11 |
发明(设计)人: | 姚宗强;崇志强;刘杰;徐福华;周作静;马世乾;杨晓静;郭悦;尚学军;王伟臣;邓君怡;李国栋;霍现旭;王旭东;黄志刚;吕金炳;张文政;张津沛;苏立伟 | 申请(专利权)人: | 国网天津市电力公司电力科学研究院;国网天津静海供电有限公司 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/35;G06F40/30 |
代理公司: | 12209 天津盛理知识产权代理有限公司 | 代理人: | 王来佳 |
地址: | 300384 *** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种基于层次注意力机制的半监督网络表示学习模型,其特征在于:包括如下步骤:步骤1),词级语义编码;步骤2),句级语义编码;步骤3),节点文本表示;步骤4),得到节点结构表示向量及节点的表示向量;步骤5),半监督框架下引入节点标签。本发明基于层次注意力机制学习网络节点的文本表示,同时在半监督的框架下引入节点标签信息,最终得到节点高质量的表示向量。提升了在下游任务(节点分类、链接预测)上的性能。 | ||
搜索关键词: | 半监督 向量 注意力机制 节点标签 文本表示 语义编码 节点分类 节点结构 网络表示 网络节点 引入 链接 学习 预测 | ||
【主权项】:
1.一种基于层次注意力机制的半监督网络表示学习模型,其特征在于:包括如下步骤:/n步骤1),词级语义编码:输入以句号分句的节点文本,使用词向量查询的方法初始化每个词的初始语义表示,后利用双向GRU以序列的方式对句中的词进行高层的语义编码;/n步骤2),句级语义编码:根据词的高层语义表示,以词级注意力机制得到句子的初始语义表示,后利用另一组双向GRU学习文本中每个句子的高层语义表示;/n步骤3),节点文本表示:根据句子的高层语义表示,以句级注意力机制得到文本的表示向量,与节点文本中各词的词向量平均池化向量相加得到节点的文本表示;/n步骤4),得到节点结构表示向量及节点的表示向量:随机初始化节点结构表示向量,用对数似然损失函数优化得到结构表示向量,将节点的文本表示向量与结构表示向量拼接得到节点的表示向量;/n步骤5),半监督框架下引入节点标签:在半监督学习的框架下,将带标签节点的标签信息引入网络表示学习,将分类损失与步骤4中的对数似然损失联合优化得到最终的节点表示向量。/n
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国网天津市电力公司电力科学研究院;国网天津静海供电有限公司,未经国网天津市电力公司电力科学研究院;国网天津静海供电有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910821415.8/,转载请声明来源钻瓜专利网。