[发明专利]训练神经网络的方法以及装置在审
申请号: | 202010152855.1 | 申请日: | 2020-03-06 |
公开(公告)号: | CN111382870A | 公开(公告)日: | 2020-07-07 |
发明(设计)人: | 侯跃南;马政;刘春晓;吕健勤 | 申请(专利权)人: | 商汤集团有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04;G06K9/62 |
代理公司: | 北京中知法苑知识产权代理有限公司 11226 | 代理人: | 李明;赵吉阳 |
地址: | 中国香港新界沙田香港科学园科技*** | 国省代码: | 香港;81 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 训练 神经网络 方法 以及 装置 | ||
本公开提供了一种训练神经网络的方法、目标检测方法、行驶控制方法、装置、电子设备及存储介质,该方法包括:基于获取的训练样本图像,确定训练样本图像对应的多个目标区域样本图像;基于训练好的教师神经网络和多个目标区域样本图像,确定训练样本图像的第一关联度,以及基于待训练的学生神经网络和多个目标区域样本图像,确定训练样本图像的第二关联度;其中,第一关联度和第二关联度用于表征训练样本图像中包括的任意两个目标对象之间的相似程度;基于确定的第一关联度和第二关联度,确定学生神经网络相比教师神经网络的损失信息;基于损失信息,调整学生神经网络的网络参数信息。
技术领域
本公开涉及深度学习技术领域,具体而言,涉及一种训练神经网络的方法、目标检测方法、行驶控制方法、装置、电子设备及存储介质。
背景技术
由于设备的资源限制,可以在设备上部署参数量较少的简单神经网络,但是参数量较少的简单神经网络的准确度较低,故为了提高简单神经网络的准确度,可以选择知识蒸馏的方法确定简单神经网络的参数信息。
其中,知识蒸馏是将参数量大的复杂神经网络中学习到的知识传递给简单神经网络,进而确定简单神经网络的参数信息,以提升简单神经网络的性能。一般地,是对复杂神经网络输出的特征图和简单神经网络输出的特征图之间直接进行特征值的比较来调整简单神经网络的参数信息。
发明内容
有鉴于此,本公开至少提供一种训练神经网络的方法、目标检测方法、行驶控制方法、装置、电子设备及存储介质。
第一方面,本公开提供了一种训练神经网络的方法,包括:
基于获取的训练样本图像,确定所述训练样本图像对应的多个目标区域样本图像,其中,所述训练样本图像包含多个目标对象,每个目标区域样本图像中包含一个目标对象;
基于训练好的教师神经网络和所述多个目标区域样本图像,确定所述训练样本图像的第一关联度,以及基于待训练的学生神经网络和所述多个目标区域样本图像,确定所述训练样本图像的第二关联度;其中,所述第一关联度和第二关联度用于表征训练样本图像中包括的任意两个目标对象之间的相似程度;
基于确定的所述第一关联度和所述第二关联度,确定所述学生神经网络相比所述教师神经网络的损失信息;
基于所述损失信息,调整所述学生神经网络的网络参数信息。
采用上述方法,通过确定训练样本图像的第一关联度以及第二关联度,基于第一关联度以及第二关联度,确定学生神经网络相比教师神经网络的损失信息,基于得到该损失信息,调整学生神经网络的网络参数信息,使得学生神经网络得到的第二关联度与第一关联度相似,也即本公开实施例提供了一种基于关联度相似性来衡量两个神经网络之间的性能相似性的方法,在教师神经网络的性能较好时,得到的学生神经网络的性能也较好,进而提高了得到的学生神经网络的准确度。
一种可能的实施方式中,所述基于获取的训练样本图像,确定所述训练样本图像对应的多个目标区域样本图像,包括:
针对所述训练样本图像中的每个目标对象,对所述训练样本图像进行二值化处理,得到二值图像,其中,所述二值图像中该目标对象的像素值与其它目标对象的像素值不同;
基于每个目标对象对应的所述二值图像,得到所述训练样本图像对应的多个目标区域样本图像。
上述实施方式下,通过针对每个目标对象,对训练样本图像进行二值化处理,得到二值图像,进而基于每个目标对象对应的二值图像,得到训练样本图像对应的多个目标区域样本图像,为计算训练样本中每个目标对象与其他目标对象之间的关联度提供了数据支持。
一种可能的实施方式中,基于与每个目标对象对应的所述二值图像,得到所述训练样本图像对应的多个目标区域样本图像,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于商汤集团有限公司,未经商汤集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010152855.1/2.html,转载请声明来源钻瓜专利网。