[发明专利]一种基于关系型图卷积网络的小样本细粒度实体分类方法有效
申请号: | 202110346254.9 | 申请日: | 2021-03-31 |
公开(公告)号: | CN113051399B | 公开(公告)日: | 2022-05-24 |
发明(设计)人: | 鲁伟明;陈晨;庄越挺 | 申请(专利权)人: | 浙江大学 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/126;G06F40/295;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 杭州求是专利事务所有限公司 33200 | 代理人: | 刘静 |
地址: | 310058 浙江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 关系 图卷 网络 样本 细粒度 实体 分类 方法 | ||
1.一种基于关系型图卷积网络的小样本细粒度实体分类方法,其特征在于,包括以下步骤:
1)划分数据集:在每一个训练批次前,将包含大规模标注样本的数据集划分为与小样本同规模的支持集,并构建查询集和训练集;
2)扩充支持集:利用数据增强自动对小样本类别数据进行扩充;
3)实体表示:对句子中的实体采用“实体-上下文编码器”进行编码,其中对实体采用平均编码器,对上下文采用Bi-LSTM编码,并使用对抗训练加强小样本实体分类模型鲁棒性;
4)类别表示:构建可感知小样本的类别共现图,并利用关系型图卷积网络得到类别表示;具体为:
将类别共现图作为神经网络的输入,使用关系型图卷积算法进行卷积操作,对每一个类别的节点整合其邻居节点的信息,从而提取图结构的空间特征;关系型图卷积操作可以表示如下:
其中,表示第l层卷积操作时的通用权重矩阵参数,表示节点i在第l层的隐层向量,R={rfrq2frq,rfrq2few,rfew2few}是三种类型的边的集合,rfrq2frq表示efrq2frq边的关系,rfrq2few表示efrq2few边的关系,rfew2few表示efew2few边的关系,表示节点i在关系r∈R下的所有邻居节点集合,表示第l层卷积操作时,关于关系类型r的权重矩阵参数,Aij表示节点i与节点j之间的边的权重;σ表示激活函数;
在经过L层卷积操作之后,可以得到整合了邻居节点信息的小样本类别节点和频繁样本类别节点的隐层向量,即类别tk的表达为:并将该表示定义为fψ(tk),其中ψ为类别表示中的参数;
5)以元学习方式训练模型,获得小样本分类器:根据匹配得分为实体分配合适的类别,通过基于episode的训练方式,在步骤1)中构建的训练集、支持集和查询集上训练,计算梯度并在每次训练迭代中更新模型;
6)小样本实体分类:将包含小样本类别的支持集和包含频繁样本类别的训练集一起传入步骤5)得到的分类器对模型参数进行微调,再将待分类的查询集输入分类器,分类器将输出实体匹配的小样本类别。
2.根据权利要求1所述的一种基于关系型图卷积网络的小样本细粒度实体分类方法,其特征在于,所述步骤1)具体为:
为每个episode划分数据集;假定最终待分类的小样本类别有C个,每类仅提供K个实例,则将包含大规模标注样本的数据集划分为同规模的支持集,并依次构建查询集和训练集;具体为:从数据集的类别中随机选择C个类别,将C个类别定义为Tsupport,并从中为每个类别随机选择K个样本,从而构建支持集令数据集中所有样本类别属于以上C个类的样本集合为X,从的集合里随机选择R个样例作为测试样本,构成查询集将原数据集内的样本集合X剔除,作为更新后的训练集其中训练集内的类别集合定义为Ttrain。
3.根据权利要求1所述的一种基于关系型图卷积网络的小样本细粒度实体分类方法,其特征在于,所述步骤2)具体为:
自动扩充支持集;使用数据增强自动对小样本类别的数据进行扩充,并加入到之后的实体表示学习中;将一个句子中待分类的实体提及称作mention,该实体的上下文词称作token;数据增强操作具体有如下四种:a)T-REP,即token替换,将上下文词替换为同义词;b)T-DEL,即token删除,应避免删除目标实体的词语序列中的单词;c)T-INS,即token插入,应避免在目标实体的词语序列中插入单词;d)M-REP,即mention替换,将句子中的实体替换为和目标实体同样的小样本类别的实体;其中对于前三种数据增强操作,采用nlpaug工具辅助实现。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大学,未经浙江大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110346254.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种施工围挡的自动化铺设装置
- 下一篇:一种金属切割自动化提升轧压综合设备