[发明专利]训练神经网络的方法、装置和系统及存储指令的存储介质在审
申请号: | 201911086516.1 | 申请日: | 2019-11-08 |
公开(公告)号: | CN112784978A | 公开(公告)日: | 2021-05-11 |
发明(设计)人: | 汪德宇;陈则玮;温东超;刘俊杰;陶玮 | 申请(专利权)人: | 佳能株式会社 |
主分类号: | G06N3/08 | 分类号: | G06N3/08 |
代理公司: | 北京怡丰知识产权代理有限公司 11293 | 代理人: | 迟军;李艳丽 |
地址: | 日本国东京都*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 训练 神经网络 方法 装置 系统 存储 指令 介质 | ||
1.一种训练神经网络的方法,所述神经网络包括第一神经网络和第二神经网络,其特征在于,所述第一神经网络的训练还未完成且所述第二神经网络的训练还未开始,其中,对于当前的第一神经网络和当前的第二神经网络,所述方法包括:
输出步骤,将样本图像经由所述当前的第一神经网络得到第一输出,将所述样本图像经由所述当前的第二神经网络得到第二输出;以及
更新步骤,根据第一损失函数值更新所述当前的第一神经网络,根据第二损失函数值更新所述当前的第二神经网络,其中,所述第一损失函数值根据所述第一输出获得,所述第二损失函数值根据所述第一输出和所述第二输出获得。
2.根据权利要求1所述的方法,其中,
所述当前的第一神经网络相对于其先前的状态,至多已被更新1次;以及
所述当前的第二神经网络相对于其先前的状态,至多已被更新1次。
3.根据权利要求1所述的方法,其中,
所述第一输出包括所述样本图像经由所述当前的第一神经网络而得到第一处理结果;
所述第二输出包括所述样本图像经由所述当前的第二神经网络而得到第二处理结果。
4.根据权利要求3所述的方法,其中,在所述更新步骤中,所述第二损失函数值根据所述样本图像的标签中的真实结果、所述第一处理结果和所述第二处理结果计算得到。
5.根据权利要求1或3所述的方法,其中,
所述第一输出包括所述样本图像经由所述当前的第一神经网络而得到第一样本特征;
所述第二输出包括所述样本图像经由所述当前的第二神经网络而得到第二样本特征。
6.根据权利要求5所述的方法,其中,在所述更新步骤中,所述第二损失函数值根据所述第一样本特征和所述第二样本特征计算得到。
7.根据权利要求5所述的方法,其中,在所述更新步骤中,所述第二损失函数值根据所述第一样本特征中的特定区域内的特征和所述第二样本特征中的所述特定区域内的特征计算得到;
其中,所述特定区域根据所述样本图像的标签中的物体区域确定。
8.根据权利要求7所述的方法,其中,所述特定区域为所述物体区域、所述物体区域的平滑响应区域、所述物体区域的角点的平滑响应区域中的一种。
9.根据权利要求7所述的方法,其中,所述特定区域根据所述第二样本特征的特征值被调整。
10.根据权利要求9所述的方法,其中,所述被调整的特定区域为由所述第二样本特征中特征值大于或等于预定阈值的特征所对应的区域与所述特定区域所构成的合并区域。
11.根据权利要求9所述的方法,其中,所述第二损失函数值表示所述第一样本特征和所述第二样本特征在所述被调整的特定区域内的特征的差异。
12.根据权利要求11所述的方法,其中,所述第二损失函数值通过如下公式计算得到:
其中,IE表示所述特定区域,表示所述第二样本特征中的第c个通道的非特定区域内高响应特征所对应的区域,NE表示IE中的像素点个数,NS表示中的像素点个数,tijc表示所述第一样本特征中的像素点值,sijc表示所述第二样本特征中的像素点值,W表示所述第一样本特征和所述第二样本特征的宽,H表示所述第一样本特征和所述第二样本特征的高,C表示所述第一样本特征和所述第二样本特征的通道数。
13.根据权利要求1所述的方法,其中,所述第一神经网络为教师神经网络,所述第二神经网络为学生神经网络。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于佳能株式会社,未经佳能株式会社许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911086516.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:树木涂白材料及其制备方法
- 下一篇:基板湿处理装置及基板清洗方法