[发明专利]计算机实施的用于训练神经网络的方法和电子系统在审
| 申请号： | 202110307840.2 | 申请日： | 2021-03-23 |
| 公开（公告）号： | CN113435568A | 公开（公告）日： | 2021-09-24 |
| 发明（设计）人： | 崔志焕;李正元;穆斯塔法·艾尔可哈米;崔裕镇 | 申请（专利权）人： | 三星电子株式会社 |
| 主分类号： | G06N3/04 | 分类号： | G06N3/04;G06N3/08 |
| 代理公司： | 北京铭硕知识产权代理有限公司 11286 | 代理人： | 张川绪;史泉 |
| 地址： | 韩国京畿*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 计算机 实施 用于 训练 神经网络 方法 电子 系统 | ||
1.一种计算机实施的用于训练神经网络的方法，所述方法包括：
在生成器处接收随机图像；
在生成器处产生接收的随机图像的合成图像；
在教师网络处接收合成图像；
在学生网络处接收合成图像；
通过以合成图像作为输入执行教师网络和学生网络并且调整学生网络的参数，使教师网络的输出与学生网络的输出之间的距离的最大值最小化，以训练学生网络；以及
约束生成器。
2.根据权利要求1所述的方法，其中，约束生成器的步骤包括：通过调整生成器的参数，使辅助损失项最小化。
3.根据权利要求2所述的方法，其中，当元数据被提供时，辅助损失项包括到元数据的距离。
4.根据权利要求3所述的方法，其中，元数据是描述在教师网络中利用原始训练数据获得的特征图的高斯混合参数。
5.根据权利要求2所述的方法，其中，辅助损失项包括来自教师网络的至少一个批归一化层的匹配统计和实例分类熵中的至少一个；或者来自教师网络的至少一个批归一化层的匹配统计和实例分类熵中的至少一个以及批量分类熵。
6.根据权利要求5所述的方法，其中，约束生成器的步骤包括：匹配所述至少一个批归一化层的平均值和方差。
7.根据权利要求6所述的方法，其中，匹配所述至少一个批归一化层的平均值和方差的步骤利用两个高斯分布的KL散度来执行，
其中，所述两个高斯分布包括基于针对生成器的合成图像计算的平均值和方差确定的高斯分布和基于所述至少一个批归一化层的平均值和方差确定的高斯分布。
8.根据权利要求1至7中的任意一项所述的方法，其中，教师网络的输出与学生网络的输出之间的距离是教师网络的最后层的输出与学生网络的最后层的输出之间的距离和/或教师网络的中间层的输出与学生网络的中间层的输出之间的距离。
9.根据权利要求1至7中的任意一项所述的方法，其中，使教师网络的输出与学生网络的输出之间的距离的最大值最小化的步骤包括：匹配中间层输出。
10.一种计算机实施的方法，所述方法包括：
在生成器处接收随机输入；
在生成器处产生接收的随机输入的合成输出；
在教师网络处接收合成输出；
在学生网络处接收合成输出；
使教师网络的输出与学生网络的输出之间的距离的最大值最小化；以及
约束生成器。
11.一种电子系统，所述电子系统包括：
存储器；以及
处理器，被配置为：在生成器处接收随机图像，在生成器处产生接收的随机图像的合成图像，在教师网络处接收合成图像，在学生网络处接收合成图像，通过以合成图像作为输入执行教师网络和学生网络并且调整学生网络的参数，使教师网络的输出与学生网络的输出之间的距离的最大值最小化，以训练学生网络，以及约束生成器。
12.根据权利要求11所述的电子系统，其中，处理器被配置为通过调整生成器的参数，使辅助损失项最小化来约束生成器。
13.根据权利要求12所述的电子系统，当元数据被提供时，辅助损失项包括到元数据的距离。
14.根据权利要求13所述的电子系统，其中，元数据是描述在教师网络中利用原始训练数据获得的特征图的高斯混合参数。
15.根据权利要求12所述的电子系统，其中，辅助损失项包括来自教师网络的至少一个批归一化层的匹配统计和实例分类熵中的至少一个；或者来自教师网络的至少一个批归一化层的匹配统计和实例分类熵中的至少一个以及批量分类熵。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于三星电子株式会社，未经三星电子株式会社许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202110307840.2/1.html，转载请声明来源钻瓜专利网。
- 上一篇：起搏诱导电激活分级
- 下一篇：认证系统、移动装置、处理装置以及计算机可读介质
