[发明专利]图像分割模型的训练方法、装置、电子设备及存储介质在审
申请号: | 201910888527.5 | 申请日: | 2019-09-19 |
公开(公告)号: | CN110599492A | 公开(公告)日: | 2019-12-20 |
发明(设计)人: | 张剑;史颖欢;郑冶枫 | 申请(专利权)人: | 腾讯科技(深圳)有限公司;南京大学 |
主分类号: | G06T7/10 | 分类号: | G06T7/10;G06T7/00 |
代理公司: | 11270 北京派特恩知识产权代理有限公司 | 代理人: | 王姗姗;张颖玲 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 图像分割模型 提取图像特征 融合图像 损失函数 图像特征 图像样本 存储介质 电子设备 融合处理 图像分割 | ||
1.一种图像分割模型的训练方法,其特征在于,所述方法包括:
基于第一代价比例的损失函数训练第一图像分割模型;
通过所述第一图像分割模型从图像样本中提取图像特征;
通过待训练的第二图像分割模型从所述图像样本中提取图像特征;
将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征进行融合处理,得到融合图像特征;
基于第二代价比例的损失函数、以及所述融合图像特征,训练所述第二图像分割模型。
2.根据权利要求1所述的方法,其特征在于,所述基于第一代价比例的损失函数训练所述第一图像分割模型之前,所述方法还包括:
基于所述图像样本中各个像素点的分类预测代价与对应的代价权重的乘积,分别确定所述第一代价比例的损失函数和所述第二代价比例的损失函数;
其中,所述分类预测代价表示所述像素点的预测分类结果与实际分类结果之间的差异,所述代价权重根据所述差异的程度具有不同的取值,所述第一代价比例和所述第二代价比例均表示不同程度的差异对应代价权重之间的比例。
3.根据权利要求1所述的方法,其特征在于,所述通过所述第一图像分割模型,从图像样本中提取第一图像特征,包括:
通过所述第一图像分割模型中编码网络对所述图像样本进行编码处理,并通过所述第一图像分割模型中解码网络对编码结果进行解码处理;
将所述第一图像分割模型中编码网络中多个编码器依次编码得到的图像特征,一一对应输出到所述第二图像分割模型编码网络中的多个编码器所连接的融合模块,以及,
将所述连接的多个解码器依次解码得到的图像特征一一对应输出到所述第二图像分割模型中解码网络的多个解码器所连接的融合模块。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
通过所述第一图像分割模型中的编码网络与解码网络之间的跳跃连接,将所述第一图像分割模型中编码网络的多个连接的编码器编码得到的图像特征,一一对应输出到所述第一图像分割模型中解码网络的多个连接的解码器,以使每个所述解码器基于前向连接的解码器输出的图像特征、以及通过所述跳跃连接接收的图像特征进行解码处理。
5.根据权利要求1所述的方法,其特征在于,所述将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征进行融合处理,得到融合图像特征,包括:
通过与第二图像分割模型中多个连接的编码器一一对应连接的多个融合模块,对以下特征进行融合处理:
所述第一图像分割模型中多个连接的编码器一一对应输出到所述多个融合模块的图像特征,以及所述多个融合模块从前向连接的编码器接收的图像特征。
6.根据权利要求1所述的方法,其特征在于,所述将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征进行融合处理,得到融合图像特征,包括:
通过与第二图像分割模型中多个连接的解码器一一对应连接的多个融合模块,对以下特征进行融合处理:
所述第一图像分割模型中多个连接的解码器一一对应输出到所述多个融合模块的图像特征,所述多个融合模块从所述第二图像分割模型中前向连接的解码器接收的图像特征。
7.根据权利要求1所述的方法,其特征在于,所述将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征进行融合处理,得到融合图像特征,包括:
将所述第一图像分割模型提取的图像特征、与所述第二图像分割模型提取的图像特征,通过进行卷积操作和最大似然操作,得到概率分布;
将所述第一图像分割模型提取的图像特征、以及所述第二图像分割模型提取的图像特征基于通道叠加形成输入特征,并将所述输入特征与所述概率分布进行矩阵乘操作,得到上下文特征;
将所述上下文特征与所述输入特征进行卷积操作,得到融合图像特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司;南京大学,未经腾讯科技(深圳)有限公司;南京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910888527.5/1.html,转载请声明来源钻瓜专利网。