[发明专利]一种基于动态知识蒸馏的类增量语义分割方法在审
申请号: | 202211727285.X | 申请日: | 2022-12-30 |
公开(公告)号: | CN115937524A | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 吴一汶;王旗龙;胡清华;朱鹏飞 | 申请(专利权)人: | 天津大学 |
主分类号: | G06V10/26 | 分类号: | G06V10/26;G06V20/70;G06N5/025 |
代理公司: | 天津市北洋有限责任专利代理事务所 12201 | 代理人: | 韩帅 |
地址: | 300072*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 动态 知识 蒸馏 增量 语义 分割 方法 | ||
1.一种基于动态知识蒸馏的类增量语义分割方法,所述类增量语义分割方法基于可学习知识蒸馏的双层优化框架,其特征在于,所述双层优化框架包括冻结的旧模型、蒸馏方案优选模块、可训练的新模型和动态权重平衡模块,其中:
所述蒸馏方案优选模型根据初始化权重,按照每T/N个时期迭代对一组蒸馏候选进行贪心搜索获得每个输出的最优蒸馏方案,其中:最优蒸馏方案包括:Local POD(lLPOD),MD(lMD),MCD(lMCD)和原始KD(loKD);
所述动态权重平衡模块通过如下目标函数以在每次小批量迭代时更新权重即:
其中,是的均值,且HCE和HLgt分别由和计算得来,其中W是分类层前一层的参数且c为新类数量与旧类数量的比;αl和βo分别相对反向训练速率。
2.根据权利要求1所述的一种基于动态知识蒸馏的类增量语义分割方法,其特征在于,所述蒸馏方案优选模型通过mask获得最优蒸馏方案MD(lMD)过程:
按照如下损失函数生成如下最优蒸馏方案MD(lMD):
其中:表示mask后的特征也可以通过放缩GT来得到,分别将背景类的标签设置为0,前景类标签设置为1。
3.根据权利要求2所述的一种基于动态知识蒸馏的类增量语义分割方法,其特征在于,使用所述冻结的旧模型产生最优蒸馏方案MD(lMD)以应对背景类语义转移过程:
在第t个step,将原始图像I,mask背景类后得到的图像I+和mask前景类后得到的图像I-馈送到旧模型ft-1(θ)中,分别得到第l层相应的输出和
通过以下公式计算受背景类影响较小的区域:
其中,是沿着通道维度对进行平均池化后得到的结果;ε和ξ是两个边界值;|U|<ε和|U|>ξ分别表示U中小于ε和大于ξ的元素;和分别消除受背景类影响较大的区域和寻找受背景类影响较小的区域;
以上两个区域通过取并集操作U进行融合;
其中:对于给定区域如果我们通过设置来产生
4.根据权利要求1所述的一种基于动态知识蒸馏的类增量语义分割方法,其特征在于,所述蒸馏方案优选模型通过mask获得最优蒸馏方案MCD(lMCD)过程:
基于mask引导的上下文蒸馏来提取全局上下文信息和更丰富的特征统计信息;
对进行上下文池化;首先进行空间平均池化,并对进行通道分割以产生一组特征且
使用全局二阶池化来捕获中统计信息;
按照如下损失函数生成如下最优蒸馏方案MCD(lMCD):
其中,G是通道切割分组数;通过引入的上下文池化,MCD能够提取特征中固有的全局和丰富的统计信息
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于天津大学,未经天津大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211727285.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种自组装导热绝缘材料及其制备方法
- 下一篇:一种圆锥形产品退火治具