[发明专利]面向预训练标注数据不可知的图像自动标注系统和装置有效
申请号: | 202110317531.3 | 申请日: | 2021-03-25 |
公开(公告)号: | CN113128565B | 公开(公告)日: | 2022-05-06 |
发明(设计)人: | 陈岱渊;钟昊文;单海军 | 申请(专利权)人: | 之江实验室 |
主分类号: | G06V10/774 | 分类号: | G06V10/774;G06V10/762;G06V10/82;G06N3/04;G06N3/08 |
代理公司: | 杭州浙科专利事务所(普通合伙) 33213 | 代理人: | 杨小凡 |
地址: | 310023 浙江省杭州市余*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 面向 训练 标注 数据 不可知 图像 自动 系统 装置 | ||
1.面向预训练标注数据不可知的图像自动标注系统,包括:获取模块和图像标注模块,其特征在于还包括分别与所述获取模块和图像标注模块连接的模型迁移模块;
所述获取模块,用于获取一组图像标注任务和待标注图像;
所述模型迁移模块,用于将一组确定的预训练图像处理模型无监督迁移至适配于待标注图像域的更新后的图像处理模型,包括依次连接的模型拆分单元、信息最大化损失约束单元、聚类单元、标签空间分类单元、标签分配单元、分配更新单元和收敛单元;
所述模型拆分单元,将确定的预训练图像处理模型拆分为特征提取模型和标注预测模型,通过输入待标注图像对特征提取模型进行参数更新,并得到更新后的模型,固定标注预测模型的参数,使得;
所述信息最大化损失约束单元,采用信息最大化损失约束特征提取模型,使预训练图像处理模型输出的具体类别确定,整体类别分布离散;
所述聚类单元,通过加权聚类,对特征提取模型的输出特征进行聚类;
所述标签空间分类单元,使用大津法自适应地获取聚类簇大小的阈值,根据阈值区分预训练数据集标签空间,具体分为预训练数据集与待标注图像的共有类别,预训练数据集的独有类别;
所述标签分配单元,计算待标注图像与每个共有类别的距离,并据此给所有待标注图像打上伪标签;
所述分配更新单元,使用自监督方法对待标注图像重新聚类,并根据重新聚类后的聚类中心分配伪标签;
所述收敛单元,判断更新后的预训练图像处理模型是否达到收敛,若否,则返回信息最大化损失约束单元,直到收敛;
所述图像标注模块,用于生成与待标注图像相匹配的标注信息,并进行可视化标注。
2.如权利要求1所述的面向预训练标注数据不可知的图像自动标注系统,其特征在于所述模型迁移模块还包括预处理单元,对待标注图像进行预处理,包括图像清洗、图像增强、图像标准化,以确保每张图像数据特征的一致性。
3.如权利要求1所述的面向预训练标注数据不可知的图像自动标注系统,其特征在于所述收敛单元,确定收敛的方式包括如下一种或多种方式的结合:
通过记录预训练图像处理模型,在迁移过程中,损失函数的曲线趋势,判断是否收敛,当损失函数的曲线斜率小于预先设定的斜率阈值时,确定更新后的预训练图像处理模型达到收敛;
通过记录预训练图像处理模型,在迁移过程中,特征提取模型的权重变化趋势,判断是否收敛,当权重变化的幅度小于预先设定的幅度阈值时,确定更新后的预训练图像处理模型达到收敛;
预先设定预训练图像处理模型与训练相关的超参数阈值,当达到超参数阈值时,确定更新后的预训练图像处理模型达到收敛,所述超参数包括迁移的步数、时长。
4.如权利要求1所述的面向预训练标注数据不可知的图像自动标注系统,其特征在于当任务选择图像检测,预训练的图像处理模型为Faster RCNN,待标注图像包含一个以上待标注对象时,对每个待标注对象进行检测,通过输入待标注图像对特征提取模型进行参数更新得,固定边界框预测模型的参数,使得,在迁移过程中,边界框预测模型生成伪边界框对每个待标注对象进行检测,将伪边界框引入迁移过程,帮助参数更新达到收敛。
5.如权利要求1所述的面向预训练标注数据不可知的图像自动标注系统,其特征在于所述获取模块,包括任务选取单元、模型确定单元、图像获取单元和格式判断单元;
所述任务选取单元,用于选择图像标注任务;
所述模型确定单元,用于确定标注任务对应的预训练图像处理模型;
所述图像获取单元,用于获取待标注图像;
所述格式判断单元,用于判断待标注图像是否满足规定格式。
6.如权利要求1所述的面向预训练标注数据不可知的图像自动标注系统,其特征在于获取待标注图像的方式包括:直接读取数据库中保存的二进制形式的图像文件;获取数据库中保存的图像路径,根据路径在对应本地或远程存储器上读取图像文件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于之江实验室,未经之江实验室许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110317531.3/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置