[发明专利]使用合成梯度来训练神经网络在审
| 申请号： | 201780031195.8 | 申请日： | 2017-05-19 |
| 公开（公告）号： | CN109478254A | 公开（公告）日： | 2019-03-15 |
| 发明（设计）人： | 奥里奥尔·温亚尔斯;亚历山大·本杰明·格拉韦斯;沃伊切赫·恰尔内茨基;科拉伊·卡武克曲奥卢;西蒙·奥辛德罗;麦克斯维尔·埃利奥特·耶德贝里 | 申请（专利权）人： | 渊慧科技有限公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06N3/04 |
| 代理公司： | 中原信达知识产权代理有限责任公司 11219 | 代理人： | 李宝泉;周亚荣 |
| 地址： | 英国*** | 国省代码： | 英国;GB |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 用于通过优化目标函数来在训练输入上训练神经网络的方法、系统和装置，包括编码在计算机存储介质上的计算机程序，所述神经网络包括后面有第二子网络的第一子网络。在一个方面中，一种方法包括：使用所述神经网络来处理训练输入以生成训练模型输出，包括使用所述第一子网络来处理用于所述训练输入的子网络输入以根据所述第一子网络的参数的当前值为所述训练输入生成子网络激活，以及将所述子网络激活作为输入提供给所述第二子网络；通过使用合成梯度模型来根据所述合成梯度模型的参数的当前值处理所述子网络激活而确定用于所述第一子网络的所述目标函数的合成梯度；以及使用所述合成梯度来更新所述第一子网络的参数的当前值。 | ||
| 搜索关键词： | 子网络 合成梯度 训练神经网络 神经网络 激活 计算机存储介质 优化目标函数 计算机程序 目标函数 输入生成 输入提供 训练模型 输出 更新 | ||
【主权项】：
1.一种由一个或多个计算机执行的用于通过优化目标函数来在多个训练输入上训练神经网络的方法，其中，所述神经网络被配置成接收网络输入并且处理所述网络输入以生成网络输出，其中，所述神经网络包括后面有第二子网络的第一子网络，其中，所述第一子网络被配置成在通过所述神经网络对所述网络输入的处理期间，接收子网络输入，处理所述子网络输入以生成子网络激活，并且将所述子网络激活作为输入提供给所述第二子网络，并且其中，所述方法包括针对每个训练输入：使用所述神经网络来处理所述训练输入以为所述训练输入生成训练模型输出，包括：使用所述第一子网络来处理用于所述训练输入的子网络输入以根据所述第一子网络的参数的当前值为所述训练输入生成子网络激活，以及将所述子网络激活作为输入提供给所述第二子网络；通过使用合成梯度模型来根据所述合成梯度模型的参数的当前值处理所述子网络激活而确定用于所述第一子网络的所述目标函数的合成梯度；以及使用所述合成梯度来更新所述第一子网络的所述参数的所述当前值。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于渊慧科技有限公司，未经渊慧科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201780031195.8/，转载请声明来源钻瓜专利网。
