[发明专利]基于深度嵌入空间的零样本学习方法有效
申请号: | 201910740748.8 | 申请日: | 2019-08-12 |
公开(公告)号: | CN110516718B | 公开(公告)日: | 2023-03-24 |
发明(设计)人: | 魏巍;张磊;聂江涛;王聪;张艳宁 | 申请(专利权)人: | 西北工业大学 |
主分类号: | G06V10/774 | 分类号: | G06V10/774;G06V10/764;G06V10/82;G06N3/04;G06N3/084 |
代理公司: | 西安凯多思知识产权代理事务所(普通合伙) 61290 | 代理人: | 王鲜凯 |
地址: | 710072 *** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于深度嵌入空间的零样本学习方法,用于解决现有零样本学习方法泛化能力差的技术问题。技术方案是通过深度学习技术来学习一个有效地深度中介嵌入空间,通过所训练好的深度网络同时将已知类别与未知类别的语义类别描述和图像信息描述映射到该深度中介嵌入空间中,最后通过相应的分类器对嵌入空间中的特征进行分类以获得对应的预测标签。在预测过程中,采用了映射网络自学习算法,有效地提升了泛化能力,即提高了对未知类别样本的分类准确率。 | ||
搜索关键词: | 基于 深度 嵌入 空间 样本 学习方法 | ||
【主权项】:
1.一种基于深度嵌入空间的零样本学习方法,其特征在于包括以下步骤:/n步骤一、将具有N个样本的训练集表示为 其中 表示第i个图像样本长度为b,对应类别标签为 而 则表示的是所有已知类别的标签集合;在测试过程中,零样本学习的目标在于预测新样本xj所属的类别标签 表示的是所有未知类别的标签集合,并且 关于每一个已知类别 或者未知类别 都有一个相应的语义描述 或者 /n步骤二、建立一个两分支的深度嵌入网络,其中一支为图像映射分支,该分支网络是经过预处理的深度卷积网络,其输入为所提取的图像特征xi,之后,通过一个多层感知机 来学习图像特征xi嵌入到隐式空间的映射过程;该两分支网络的另一个分支为语义类别映射分支,该分支同样也是通过一个多层感知机 将语义描述信息 映射到同样的隐式嵌入空间中;该两分支网络的损失函数被定义为如下形式,/n /n其中,θv和θs表示的是两分支网络中所涉及到的多层感知机的参数,而W则是指将要学习到的线性分类器的参数,另外 则指的是分类损失,在这里选择交叉熵函数作为计算分类损失的方法;为了避免过拟合,采用了l2范数来限制所有的参数并由η加权约束;通过反向传播算法对上述损失函数进行优化求解,从而获得相应的网络参数θv和θs;在获得参数θv和θs之后,测试样本 的预测标签表示为,/n /n其中,z表示为标签y的语义描述信息;/n步骤三、给定测试样本,首先根据步骤二学习到的嵌入空间来预测出该测试样本集的伪标签,之后,根据生成的伪标签和图像-语义差异,即 选择出测试样本集中与该伪标签最为接近的M个测试样本,其中M=40,并手工将选择出的样本和赋予其的伪标签作为新的训练数据合并到训练集 中,得到扩充的训练集 /n步骤四、在获得了训练好的映射网络和分类器之后,为了避免所学得的深度嵌入空间产生未知样本的预测标签向已知样本标签偏倚的现象,采用自适应调节模型来解决该问题;新的优化目标函数表示为:/n /n其中,C表示未知类别数, 表示第i个被选中的测试样本, 和 则分别表示扩充训练集 中相应的伪标签和所属类别的语义描述。/n
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西北工业大学,未经西北工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910740748.8/,转载请声明来源钻瓜专利网。