[发明专利]图像语义分割模型的训练方法及图像语义分割方法有效

专利信息
申请号: 201810085275.8 申请日: 2018-01-29
公开(公告)号: CN108345887B 公开(公告)日: 2020-10-02
发明(设计)人: 袁春;黎健成 申请(专利权)人: 清华大学深圳研究生院
主分类号: G06K9/34 分类号: G06K9/34;G06K9/62
代理公司: 深圳新创友知识产权代理有限公司 44223 代理人: 徐罗艳
地址: 518055 广东*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 图像 语义 分割 模型 训练 方法
【权利要求书】:

1.一种图像语义分割模型的训练方法,其特征在于:用于训练一基于注意力模型融合的图像语义分割模型,所述图像语义分割模型包括至少两个基础语义分割子模型、一注意力模型以及一融合单元;

所述训练方法包括:

S1、将预先标注语义分割信息的训练图像分别输入到所述至少两个基础语义分割子模型中,得到所述训练图像对应的至少两个包含语义信息的特征图;

S2、将所述训练图像的至少两个所述特征图及其预先标注的语义分割信息同时输入到注意力模型中,以通过所述注意力模型计算出所述训练图像的每个特征图的权重;

S3、利用所述融合单元将所述训练图像的至少两个所述特征图按照步骤S2得到的相应权重进行融合,得到所述训练图像的预测语义分割结果;具体包括:S31、对所述训练图像的每个特征图,均从该特征图的每个语义分割元素的维度去和相应的权重相乘;其中,语义分割元素从所述特征图的所述语义信息中得到;S32、对所有特征图,将相乘结果按对应元素进行求和;S33、从求和结果中选取最大值所在的标号,作为所述训练图像的预测语义分割结果;

S4、依据所述训练图像的预测语义分割结果和预先标注的语义分割信息,对所述至少两个基础语义分割子模型和所述注意力模型的参数进行修正;

S5、利用若干训练图像不断迭代执行步骤S1至S4,直至所述至少两个基础语义分割子模型和所述注意力模型的训练结果满足预设的收敛条件。

2.如权利要求1所述的训练方法,其特征在于:所述基础语义分割子模型为FCN、DeepLab或DilatedNet。

3.如权利要求1所述的训练方法,其特征在于:所述预先标注的语义分割信息包含所述训练图像的每个像素的物体类别信息。

4.如权利要求1所述的训练方法,其特征在于,步骤S4具体包括:利用交叉熵损失函数计算所述预测语义分割结果与所述预先标注的语义分割信息之间的误差,并利用反向传播算法,依据所述误差更新所述基础语义分割子模型和所述注意力模型的参数。

5.如权利要求4所述的训练方法,其特征在于,步骤S5中所述训练结果满足预设的收敛条件是指所述交叉熵损失函数计算的所述误差的值小于一预设阈值,或者迭代次数达到预定值。

6.一种图像语义分割方法,其特征在于,包括以下步骤P1和P2:

P1、提供一基于注意力模型融合的图像语义分割模型,该图像语义分割模型包括至少两个基础语义分割子模型、一注意力模型以及一融合单元;并采用权利要求1至5任一项所述的训练方法对该图像语义分割模型进行训练;

P2、将待分割图像输入到步骤P1提供的所述图像语义分割模型中,以执行以下分割步骤P21至P23:

P21、分别通过所述至少两个基础语义分割子模型对所述待分割图像进行语义分割,得到所述待分割图像对应的至少两个包含语义信息的特征图;

P22、通过所述注意力模型根据所述待分割图像的至少两个所述特征图及其所述语义信息,计算出所述待分割图像的每个特征图的权重;

P23、通过所述融合单元将所述待分割图像的至少两个所述特征图按照步骤P23得到的相应权重进行融合,得到所述待分割图像的预测语义分割结果。

7.如权利要求6所述的图像语义分割方法,其特征在于,步骤P23具体包括以下子步骤:

P231、对所述待分割图像的每个特征图,均从该特征图的每个语义分割元素的维度去和相应的权重相乘;其中,语义分割元素从所述待分割图像的特征图的所述语义信息中得到;

P232、对所述待分割图像的所有特征图,将相乘结果按对应元素进行求和;

P233、从子步骤P232的求和结果中选取最大值所在的标号,作为所述待分割图像的预测语义分割结果。

8.如权利要求6所述的图像语义分割方法,其特征在于,还包括对所述待分割图像的预测语义分割结果进行包括修正处理的后处理操作。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学深圳研究生院,未经清华大学深圳研究生院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201810085275.8/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top