[发明专利]卷积网络训练方法和装置在审
申请号: | 201811351684.4 | 申请日: | 2018-11-14 |
公开(公告)号: | CN111191782A | 公开(公告)日: | 2020-05-22 |
发明(设计)人: | 侯国梁 | 申请(专利权)人: | 普天信息技术有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08 |
代理公司: | 北京德琦知识产权代理有限公司 11018 | 代理人: | 孙清然;王琦 |
地址: | 100080 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 卷积 网络 训练 方法 装置 | ||
1.一种卷积网络训练方法,其特征在于,包括:
对于每批小批训练图片mini-batch,在利用深度卷积网络,提取其中每张图片的特征向量后,根据所述特征向量,计算相应的损失值,并基于内聚原则确定相应的内聚性损失值;
根据所述内聚性损失值对所述损失值进行修正,根据所述修正的结果,对所述深度卷积网络的参数进行反向传播调整,完成本次小批训练图片的训练。
2.根据权利要求1所述的方法,其特征在于,所述基于内聚原则确定相应的内聚性损失值包括:
对于当前所述mini-batch的训练样本对应的每一类c,根据本mini-batch对应的第c类特征向量,对当前的第c类特征向量的均值和当前的第c类特征向量的标准差分别进行更新;
利用更新后的所述和所述按照按照,计算损失修正值其中,为当前所述mini-batch中第c类的第i个特征向量,N为当前所述mini-batch中参与训练的第c类的特征向量数量;‖*‖2|*|表示将其中的向量*的2范数,max()表示在向量所有维度上分别执行取较大值为结果的操作;β为预设的比例系数;
利用当前所有类的损失修正值和所有类的特征向量的均值,按照进行异常值去除处理,并对所述异常值去除处理后得到的按照进行取较大值为结果的操作;其中M为类总数;
根据所述取较大值为结果的操作后得到的按照得到所述内聚性损失值lossσ。
3.根据权利要求2所述的方法,其特征在于,对当前的所述第c类特征向量的均值进行更新包括:
如果当前所述为初始值0,则将所述更新为当前所述mini-batch中参与训练的第c类特征向量的均值;
如果当前所述不为初始值0,则按照得到更新后的其中,为当前所述mini-batch中参与训练的第c类特征向量的均值,α为预设的权重系数;0≤α≤1;等式右侧的为更新前的第c类特征向量的均值,等式左侧的为更新后的第c类特征向量的均值。
4.根据权利要求2所述的方法,其特征在于,对当前的所述第c类特征向量的标准差进行更新包括:
如果当前所述为初始值0,则将所述更新为当前所述mini-batch中参与训练的第c类特征向量的标准差;
如果当前所述不为初始值0,则按照得到更新后的其中,为当前所述mini-batch中参与训练的第c类特征向量的标准差,α为预设的权重系数;0≤α≤1;等式右侧的为更新前的第c类特征向量的标准差,等式左侧的为更新后的第c类特征向量的标准差。
5.根据权利要求1所述的方法,其特征在于,所述根据所述内聚性损失值对所述损失值进行修正包括:
按照loss′=loss+lossσ,对所述损失值loss进行修正,得到修正后的损失值loss′,其中,lossσ为所述内聚性损失值。
6.一种卷积网络训练装置,其特征在于,包括:
第一单元,用于对于每批小批训练图片mini-batch,在利用深度卷积网络,提取其中每张图片的特征向量后,根据所述特征向量,计算相应的损失值,并基于内聚原则确定相应的内聚性损失值;
第二单元,用于根据所述内聚性损失值对所述损失值进行修正,根据所述修正的结果,对所述深度卷积网络的参数进行反向传播调整,完成本次小批训练图片的训练。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于普天信息技术有限公司,未经普天信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811351684.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种提醒器
- 下一篇:硅藻土散热装置及硅藻土散热方法