[发明专利]一种基于预训练标注数据不可知的图像分类自动标注方法有效
申请号: | 202110318366.3 | 申请日: | 2021-03-25 |
公开(公告)号: | CN113191385B | 公开(公告)日: | 2022-06-03 |
发明(设计)人: | 钟昊文;陈岱渊;单海军;杨非;傅家庆;俞再亮 | 申请(专利权)人: | 之江实验室 |
主分类号: | G06V10/774 | 分类号: | G06V10/774;G06V10/762;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 杭州浙科专利事务所(普通合伙) 33213 | 代理人: | 杨小凡 |
地址: | 310023 浙江省杭州市余*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 训练 标注 数据 不可知 图像 分类 自动 方法 | ||
1.一种基于预训练标注数据不可知的图像分类自动标注方法,其特征在于包括如下步骤:
S1,获取待标注图像,收集预先训练的图像分类任务相对应的图像分类模型;
S2,将预训练图像分类模型拆分成特征提取模型与标签预测模型,并用预训练图像分类模型初始化拆分迁移后的自动标注模型,进一步固定标签预测模型参数,不参与后续迁移训练;
S3,使用信息最大化损失约束特征提取模型,使自动标注模型的输出具体类别确定,整体分布离散;
S4,通过加权聚类方法,对自动标注模型的特征提取模型输出特征进行聚类;
S5,根据所获得聚类簇大小,使用大津法自适应的获取聚类簇大小的阈值,筛选出大小超过阈值的聚类簇,所对应的类别组成为待标注图像标签空间,所述待标注图像标签空间即共有类别标签空间;
S6,计算待标注图像与每个共有类别的距离,并据此给待标注图像打上伪标签;
S7,使用自监督方法对待标注图像重新聚类,根据重新聚类后的聚类中心分配伪标签,并对特征提取模型进行有监督训练;
S8,迭代进行S3至S7对图像自动标注模型进行训练;
S9,使用迁移后的自动标注模型对待标注图像进行推理,得到标注结果。
2.如权利要求1所述的一种基于预训练标注数据不可知的图像分类自动标注方法,其特征在于所述步骤S1中获取待标注图像Xi,i=1,2…N,数量为N;获得预先训练的图像分类模型M,M对应的标签空间C包含K个类别,有k=1,2…K。
3.如权利要求2所述的一种基于预训练标注数据不可知的图像分类自动标注方法,其特征在于所述步骤S2包括如下步骤:
S2.1,根据网络层类别,拆分预训练图像分类模型M,其中卷积层为特征提取模型G,全连接层为标签预测模型CLS,拆分迁移后的图像自动标注模型M′,分为特征提取模型G′与标签预测模型CLS′;
S2.2,使用G的参数,对G′的参数进行初始化,并在之后的迁移过程继续训练,使用CLS的参数对CLS′的参数进行初始化,并在之后的迁移过程中固定,不再更新CLS′的参数。
4.如权利要求3所述的一种基于预训练标注数据不可知的图像分类自动标注方法,其特征在于所述步骤S3包括如下步骤:
S3.1,将待标注图像Xi输入特征提取模型G′,得到对应高维特征D为高维特征的维度,对于高维特征f′i,d,经过标签预测模型CLS′得到分类特征h′i,k∈RN×K,经过Softmax运算后得到分类概率
f′i,d=G′(Xi)
h′i,k=CLS′(f′i,d)
S3.2,计算信息最大化损失,公式如下:
其中,Lent表示熵最小化损失,Ldiv表示标签多样性损失。
5.如权利要求4所述的一种基于预训练标注数据不可知的图像分类自动标注方法,其特征在于所述步骤S4,使用当前的标签预测模型CLS′得到分类概率p′i,k对高维特征f′i,d进行加权聚类,获得K个聚类中心,对于每一个类别k策略如下:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于之江实验室,未经之江实验室许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110318366.3/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置