[发明专利]神经网络模型的优化方法及装置、电子设备和存储介质有效
| 申请号： | 201811093816.8 | 申请日： | 2018-09-19 |
| 公开（公告）号： | CN109447258B | 公开（公告）日： | 2021-09-14 |
| 发明（设计）人： | 罗棕太;张学森;伊帅;闫俊杰;王晓刚 | 申请（专利权）人： | 北京市商汤科技开发有限公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06N3/06 |
| 代理公司： | 北京林达刘知识产权代理事务所(普通合伙) 11277 | 代理人： | 刘新宇 |
| 地址： | 100084 北京市海淀区中*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开涉及一种神经网络模型的优化方法及装置、电子设备和存储介质。该方法包括：将输入数据分别输入第一神经网络模型和第二神经网络模型，基于从第一神经网络模型的输出层之前的全连接层中选取的部分神经元，得到第一神经网络模型的输出，并基于从第二神经网络模型的输出层之前的全连接层中选取的部分神经元，得到第二神经网络模型的输出；确定第一神经网络模型的输出与期望输出两者之间的第一交叉熵；确定第一神经网络模型的输出相对于第二神经网络模型的输出的第一相对熵；基于第一交叉熵和第一相对熵，优化第一神经网络模型。本公开实施例能够稳定提高神经网络模型的准确率，并能够增强神经网络模型的泛化能力。 | ||
| 搜索关键词： | 神经网络 模型 优化 方法 装置 电子设备 存储 介质 | ||
【主权项】：
1.一种神经网络模型的优化方法，其特征在于，包括：从第一神经网络模型的输出层之前的全连接层中选取部分神经元，从第二神经网络模型的输出层之前的全连接层中选取部分神经元；将输入数据分别输入所述第一神经网络模型和所述第二神经网络模型，基于从所述第一神经网络模型的输出层之前的全连接层中选取的部分神经元，得到所述第一神经网络模型的输出，并基于从所述第二神经网络模型的输出层之前的全连接层中选取的部分神经元，得到所述第二神经网络模型的输出；确定所述第一神经网络模型的输出与期望输出两者之间的第一交叉熵；确定所述第一神经网络模型的输出相对于所述第二神经网络模型的输出的第一相对熵；基于所述第一交叉熵和所述第一相对熵，优化所述第一神经网络模型。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京市商汤科技开发有限公司，未经北京市商汤科技开发有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811093816.8/，转载请声明来源钻瓜专利网。
