[发明专利]一种增量学习方法、装置及设备有效
申请号: | 202111028310.0 | 申请日: | 2021-09-02 |
公开(公告)号: | CN113850302B | 公开(公告)日: | 2023-08-29 |
发明(设计)人: | 叶帆帆;马良;钟巧勇;谢迪;浦世亮 | 申请(专利权)人: | 杭州海康威视数字技术股份有限公司 |
主分类号: | G06F18/214 | 分类号: | G06F18/214;G06F18/241;G06N3/04 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 杨春香 |
地址: | 310051 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 增量 学习方法 装置 设备 | ||
1.一种增量学习方法,其特征在于,所述方法包括:
获取目标生成器、原始任务模型和初始增量模型;所述原始任务模型基于原始数据训练得到,所述初始增量模型的网络结构与所述原始任务模型的网络结构相同,且所述初始增量模型的参数值与所述原始任务模型的参数值不同;
将混合数据输入给所述原始任务模型得到第一特征向量,将所述混合数据输入给所述初始增量模型得到第二特征向量;其中,所述混合数据包括所述目标生成器生成的虚拟数据、用于对初始增量模型进行增量学习的增量数据;其中,所述目标生成器生成虚拟数据的过程,包括:将固定维度的随机噪声向量输出给所述目标生成器,以使所述目标生成器对所述随机噪声向量进行上采样,得到指定分辨率的虚拟数据;其中,所述虚拟数据包括RGB图像;
基于所述第一特征向量和所述第二特征向量对所述初始增量模型的参数值进行调整,得到调整后增量模型;
若所述调整后增量模型未收敛,则将所述调整后增量模型确定为初始增量模型,返回执行将混合数据输入给所述原始任务模型得到第一特征向量的操作;
若所述调整后增量模型已收敛,则将所述调整后增量模型确定为已完成增量学习的目标增量模型,所述目标增量模型用于对待检测数据进行处理。
2.根据权利要求1所述的方法,其特征在于,
所述基于所述第一特征向量和所述第二特征向量对所述初始增量模型的参数值进行调整,得到调整后增量模型,包括:
基于所述第一特征向量和所述第二特征向量确定第一目标损失值;
基于所述第一目标损失值对所述初始增量模型的参数值进行调整,得到所述调整后增量模型。
3.根据权利要求2所述的方法,其特征在于,
所述基于所述第一特征向量和所述第二特征向量确定第一目标损失值,包括:基于特征差异化损失值确定所述第一目标损失值;或者,基于特征差异化损失值和类别交叉熵损失值确定所述第一目标损失值;其中:
所述特征差异化损失值的确定方式包括:确定所述第一特征向量与所述第二特征向量之间的距离,基于所述距离确定所述特征差异化损失值。
4.根据权利要求3所述的方法,其特征在于,
所述类别交叉熵损失值的确定方式包括:将混合数据输入给所述原始任务模型得到K个类别分别对应的置信度,K为大于1的正整数;
从所有置信度中选取最大置信度,将最大置信度对应的类别确定为所述第一特征向量的伪标签,并将最大置信度确定为所述伪标签的目标置信度;
基于所述伪标签的目标置信度确定所述类别交叉熵损失值。
5.根据权利要求1所述的方法,其特征在于,所述获取目标生成器包括:
基于初始生成器生成模拟数据,将所述模拟数据输入给原始任务模型得到第三特征向量,并将所述模拟数据输入给初始随机模型得到第四特征向量;其中,所述初始随机模型的网络结构与所述原始任务模型的网络结构相同,且所述初始随机模型的参数值与所述原始任务模型的参数值不同;
基于所述第三特征向量和所述第四特征向量对所述初始生成器的参数值进行调整,得到调整后生成器,并基于所述第三特征向量和所述第四特征向量对所述初始随机模型的参数值进行调整,得到调整后随机模型;
若调整后生成器未收敛,则将调整后生成器确定为初始生成器,将调整后随机模型确定为初始随机模型,返回执行基于初始生成器生成模拟数据的操作;
若调整后生成器已收敛,则将所述调整后生成器确定为已完成训练的目标生成器,所述目标生成器用于保持目标增量模型在原始数据的性能。
6.根据权利要求5所述的方法,其特征在于,
所述基于所述第三特征向量和所述第四特征向量对所述初始生成器的参数值进行调整,得到调整后生成器,并基于所述第三特征向量和所述第四特征向量对所述初始随机模型的参数值进行调整,得到调整后随机模型,包括:
基于所述第三特征向量和所述第四特征向量确定第二目标损失值;
基于所述第二目标损失值对所述初始生成器的参数值进行调整,得到所述调整后生成器,并基于所述第二目标损失值对所述初始随机模型的参数值进行调整,得到所述调整后随机模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州海康威视数字技术股份有限公司,未经杭州海康威视数字技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111028310.0/1.html,转载请声明来源钻瓜专利网。