[发明专利]图像语义分割模型的训练方法及图像语义分割方法有效
申请号: | 201810085275.8 | 申请日: | 2018-01-29 |
公开(公告)号: | CN108345887B | 公开(公告)日: | 2020-10-02 |
发明(设计)人: | 袁春;黎健成 | 申请(专利权)人: | 清华大学深圳研究生院 |
主分类号: | G06K9/34 | 分类号: | G06K9/34;G06K9/62 |
代理公司: | 深圳新创友知识产权代理有限公司 44223 | 代理人: | 徐罗艳 |
地址: | 518055 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 图像 语义 分割 模型 训练 方法 | ||
1.一种图像语义分割模型的训练方法,其特征在于:用于训练一基于注意力模型融合的图像语义分割模型,所述图像语义分割模型包括至少两个基础语义分割子模型、一注意力模型以及一融合单元;
所述训练方法包括:
S1、将预先标注语义分割信息的训练图像分别输入到所述至少两个基础语义分割子模型中,得到所述训练图像对应的至少两个包含语义信息的特征图;
S2、将所述训练图像的至少两个所述特征图及其预先标注的语义分割信息同时输入到注意力模型中,以通过所述注意力模型计算出所述训练图像的每个特征图的权重;
S3、利用所述融合单元将所述训练图像的至少两个所述特征图按照步骤S2得到的相应权重进行融合,得到所述训练图像的预测语义分割结果;具体包括:S31、对所述训练图像的每个特征图,均从该特征图的每个语义分割元素的维度去和相应的权重相乘;其中,语义分割元素从所述特征图的所述语义信息中得到;S32、对所有特征图,将相乘结果按对应元素进行求和;S33、从求和结果中选取最大值所在的标号,作为所述训练图像的预测语义分割结果;
S4、依据所述训练图像的预测语义分割结果和预先标注的语义分割信息,对所述至少两个基础语义分割子模型和所述注意力模型的参数进行修正;
S5、利用若干训练图像不断迭代执行步骤S1至S4,直至所述至少两个基础语义分割子模型和所述注意力模型的训练结果满足预设的收敛条件。
2.如权利要求1所述的训练方法,其特征在于:所述基础语义分割子模型为FCN、DeepLab或DilatedNet。
3.如权利要求1所述的训练方法,其特征在于:所述预先标注的语义分割信息包含所述训练图像的每个像素的物体类别信息。
4.如权利要求1所述的训练方法,其特征在于,步骤S4具体包括:利用交叉熵损失函数计算所述预测语义分割结果与所述预先标注的语义分割信息之间的误差,并利用反向传播算法,依据所述误差更新所述基础语义分割子模型和所述注意力模型的参数。
5.如权利要求4所述的训练方法,其特征在于,步骤S5中所述训练结果满足预设的收敛条件是指所述交叉熵损失函数计算的所述误差的值小于一预设阈值,或者迭代次数达到预定值。
6.一种图像语义分割方法,其特征在于,包括以下步骤P1和P2:
P1、提供一基于注意力模型融合的图像语义分割模型,该图像语义分割模型包括至少两个基础语义分割子模型、一注意力模型以及一融合单元;并采用权利要求1至5任一项所述的训练方法对该图像语义分割模型进行训练;
P2、将待分割图像输入到步骤P1提供的所述图像语义分割模型中,以执行以下分割步骤P21至P23:
P21、分别通过所述至少两个基础语义分割子模型对所述待分割图像进行语义分割,得到所述待分割图像对应的至少两个包含语义信息的特征图;
P22、通过所述注意力模型根据所述待分割图像的至少两个所述特征图及其所述语义信息,计算出所述待分割图像的每个特征图的权重;
P23、通过所述融合单元将所述待分割图像的至少两个所述特征图按照步骤P23得到的相应权重进行融合,得到所述待分割图像的预测语义分割结果。
7.如权利要求6所述的图像语义分割方法,其特征在于,步骤P23具体包括以下子步骤:
P231、对所述待分割图像的每个特征图,均从该特征图的每个语义分割元素的维度去和相应的权重相乘;其中,语义分割元素从所述待分割图像的特征图的所述语义信息中得到;
P232、对所述待分割图像的所有特征图,将相乘结果按对应元素进行求和;
P233、从子步骤P232的求和结果中选取最大值所在的标号,作为所述待分割图像的预测语义分割结果。
8.如权利要求6所述的图像语义分割方法,其特征在于,还包括对所述待分割图像的预测语义分割结果进行包括修正处理的后处理操作。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学深圳研究生院,未经清华大学深圳研究生院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810085275.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种视频流文本识别方法和装置
- 下一篇:一种连通域提取方法及装置
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序