[发明专利]一种基于元学习的少样本分类方法有效
申请号: | 202110798113.0 | 申请日: | 2021-07-15 |
公开(公告)号: | CN113535953B | 公开(公告)日: | 2022-05-27 |
发明(设计)人: | 全哲;赵征;乐雨泉;彭阳 | 申请(专利权)人: | 湖南大学 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 长沙明新专利代理事务所(普通合伙) 43222 | 代理人: | 叶舟 |
地址: | 410000 湖*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 学习 样本 分类 方法 | ||
1.一种基于元学习的少样本分类方法,其特征在于,该方法包括如下步骤:
步骤一、构建数据集,在Ytrain中选取N个类作为样本,从该N个类中抽取支持集和查询集,再使用来自其余类的示例形成源池;
步骤二、对源池的文本经过wiki.en.vec后转化为词向量;
步骤三、在源池中淡化常用的词,强化罕见的词,生成单词的重要性s(w),在支持集中找出支持集与查询集的区别性t(w);
步骤四、将步骤三中得到的s(w)和t(w)通过biLSTM连接起来,得到输出值attention(α);
步骤五、将输出值attention(α)输送给岭回归分类器,得到一个标签分布预测,将LCM得到的模拟标签分布与元学习得到的标签分布预测通过KL散度计算loss,继续训练,所述LCM由一个标签编码器和一个模拟标签分配计算块构成,所述标签编码器采用深度神经网络来生成标签表示向量;所述模拟标签分布由相似层和模拟标签分布计算层组成,所述相似层以标签表示和当前实例表示为输入,通过点积计算它们的相似度值,然后应用softmax激活的神经网络得到标签混淆分布,该标签混淆分布通过计算实例和标签之间的相似性来捕获标签之间的依赖关系;所述模拟标签分布由真实标签的one-hot向量乘以系数α与LCD相加得到,所述模拟标签分布由式(3)表示:
y(s)=softmax(αy(t)+y(c)) (3)
其中,fL标签编码器,l1,l2,...lC标签,vl标签表示向量,y(c)为LCD,y(s)为模拟标签分布;
KL散度是两个概率分布间差异的非对称性度量,该KL散度由式(4)表示:
其中,y(s)为模拟标签分布,y(p)为标签分布预测;
步骤六、经过多次迭代计算,得到训练后的模型;
步骤七、从Ytest样本中选取N个新类,从该N个新类中选择支持集和查询集,使用来自Ytrain的所有示例来形成源池,用支持集去调节模型参数,查询集测试模型效果;
步骤八、实验结果及其讨论。
2.根据权利要求1所述的一种基于元学习的少样本分类方法,其特征在于:在步骤三中,生成单词的重要性s(w)具体包括如下步骤:
利用式(1)衡量一般的词的重要性
其中,ε=10-3,P(xi)代表一句话中第i个词xi在source中的统计概率;
利用式(2)反映类特定词的重要性
t(xi)=H(P(y|xi))-1 (2)
其中,H(·)为熵算子,xi为特定词,y为标签。
3.根据权利要求1所述的一种基于元学习的少样本分类方法,其特征在于:在步骤五中,所述岭回归分类器为:
其中,W为权重矩阵,I为单位矩阵,a和b是通过元训练学习的元参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于湖南大学,未经湖南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110798113.0/1.html,转载请声明来源钻瓜专利网。