[发明专利]使用变分信息瓶颈来训练神经网络在审
| 申请号： | 201780066234.8 | 申请日： | 2017-11-03 |
| 公开（公告）号： | CN109923560A | 公开（公告）日： | 2019-06-21 |
| 发明（设计）人： | 亚历山大·埃米尔·阿勒米 | 申请（专利权）人： | 谷歌有限责任公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08;G06N3/04 |
| 代理公司： | 中原信达知识产权代理有限责任公司 11219 | 代理人： | 李宝泉;周亚荣 |
| 地址： | 美国加利*** | 国省代码： | 美国;US |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种用于训练神经网络的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。所述方法中的一种包括：接收训练数据；在所述训练数据上训练神经网络，其中，所述神经网络被配置成：接收网络输入，将所述网络输入转换成所述网络输入的潜在表示，并且处理所述潜在表示以从所述网络输入生成网络输出，并且其中，在所述训练数据上训练所述神经网络包括在变分信息瓶颈目标上训练所述神经网络，所述变分信息瓶颈目标对于每个训练输入鼓励针对所述训练输入生成的所述潜在表示与所述训练输入具有低的互信息，同时针对所述训练输入生成的所述网络输出与针对所述训练输入的所述目标输出具有高的互信息。 | ||
| 搜索关键词： | 训练神经网络 神经网络 输入生成 信息瓶颈 训练数据 网络输出 互信息 网络 计算机存储介质 计算机程序 目标输出 输入转换 配置 | ||
【主权项】：
1.一种方法，包括：接收训练数据，所述训练数据包括多个训练输入以及针对每个训练输入的相应的目标输出；在所述训练数据上训练神经网络，其中，所述神经网络被配置成：接收网络输入，将所述网络输入转换成所述网络输入的潜在表示，并且处理所述潜在表示以从所述网络输入生成网络输出，其中，在所述训练数据上训练所述神经网络包括在变分信息瓶颈目标上训练所述神经网络，所述变分信息瓶颈目标对于每个训练输入鼓励针对该训练输入生成的所述潜在表示与该训练输入具有低的互信息，同时针对该训练输入生成的所述网络输出与针对该训练输入的所述目标输出具有高的互信息；以及提供指定经训练的神经网络的数据以供在处理新网络输入时使用。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司，未经谷歌有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201780066234.8/，转载请声明来源钻瓜专利网。
- 上一篇：准循环神经网络
- 下一篇：使用相关元启发法的分区
