[发明专利]一种模型训练方法、场景识别方法及相关设备在审
申请号: | 202110301843.5 | 申请日: | 2021-03-22 |
公开(公告)号: | CN115187824A | 公开(公告)日: | 2022-10-14 |
发明(设计)人: | 戚向涛;刘艳 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06V10/774 | 分类号: | G06V10/774;G06V10/764;G06V10/82;G06N3/04;G06N3/08 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 模型 训练 方法 场景 识别 相关 设备 | ||
1.一种模型训练方法,其特征在于,应用于训练设备,包括:
获取第一训练数据集,所述第一训练数据集中包括多张第一图像;
利用物体检测模型识别所述第一图像中的第一区域,所述第一区域是与场景识别无关的图像区域;
对所述第一区域进行掩膜处理,得到第三图像;
获取图像生成模型生成的多张样本物体图像,所述样本物体图像是与场景识别无关的物体的图像;
将所述多张样本物体图像分别替换到所述第三图像中掩膜覆盖的第一区域,得到多张目标图像;
利用所述目标图像的数据集训练第一卷积神经网络,并利用所述第三图像的数据集训练第二卷积神经网络,得到场景识别模型,所述场景识别模型包括所述第一卷积神经网络和所述第二卷积神经网络。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述第一图像输入到图像识别模型,利用所述图像识别模型得到所述第一图像的第一分类结果及所述第一图像的热力图,所述热力图用于展示目标物体所在的区域,所述目标物体的图像特征是与场景识别无关的图像特征,所述第一分类结果指示的类别为非场景类别或错误的场景类别;
对所述第一图像中除了所述目标物体所在第一区域之外的第二区域进行掩膜处理,得到第二图像;
利用第二训练数据集对第一模型进行训练,得到所述物体检测模型,所述第二训练数据集包括多个样本数据,所述样本数据包括输入数据和输出数据,其中,所述输入数据为所述第二图像,所述输出数据为位置坐标,所述位置坐标用于指示所述目标物体所在的区域。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
利用所述第二图像对生成式对抗网络GAN进行训练,得到所述图像生成模型。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述目标图像和所述第三图像均对应第一类别的标签,所述利用所述目标图像的数据集训练第一卷积神经网络,并利用所述第三图像的数据集训练所述第二卷积神经网络,包括:
通过所述第一卷积神经网络的第一卷积层提取所述目标图像的图像特征,并通过所述第二卷积神经网络的第二卷积层提取所述第三图像的图像特征,并将所述第三图像的图像特征输出至所述第一卷积层,以与所述目标图像的图像特征进行融合;
通过所述第一卷积神经网络的输出层根据融合后的图像特征输出所述第一类别的标签。
5.一种场景识别方法,其特征在于,应用于执行设备,包括:
获取待识别的第一场景图像;
利用物体检测模型检测所述第一场景图像中与场景识别无关的物体所在的第一区域;
对所述第一区域进行掩膜处理,得到第二场景图像;
将所述第一场景图像输入到场景识别模型中的第一卷积神经网络,将所述第二场景图像输入到所述场景识别模型中的第二卷积神经网络,利用所述场景识别模型输出分类结果,其中,所述第一卷积神经网络是利用目标图像的数据集进行训练得到的,所述第二卷积神经网络是利用第三图像的数据集训练得到的,所述目标图像是由图像生成模型生成的多张样本物体图像分别替换到所述第三图像中的第一区域后得到的,所述第三图像是利用物体检测模型识别第一图像中与场景识别无关的第一区域后,对所述第一区域进行掩膜处理后得到的,所述第一图像是训练数据集中的图像。
6.根据权利要求5所述的方法,其特征在于,所述将所述第一场景图像输入到场景识别模型中的第一卷积神经网络,将所述第二场景图像输入到场景识别模型中的第二卷积神经网络,利用所述场景识别模型输出分类结果,包括:
通过所述第一卷积神经网络的第一卷积层提取所述第一场景图像的图像特征,并通过所述第二卷积神经网络的第二卷积层提取所述第二场景图像的图像特征,并将所述第二场景图像的图像特征输出至所述第一卷积层,以与所述第一场景图像的图像特征进行融合;
通过所述第一卷积神经网络的输出层根据融合后的图像特征输出所述分类结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110301843.5/1.html,转载请声明来源钻瓜专利网。