[发明专利]调整神经网络的大小在审
| 申请号： | 201680070099.X | 申请日： | 2016-11-18 |
| 公开（公告）号： | CN108369664A | 公开（公告）日： | 2018-08-03 |
| 发明（设计）人： | 大卫·苏西洛;格雷戈里·肖恩·科拉多 | 申请（专利权）人： | 谷歌有限责任公司 |
| 主分类号： | G06N3/08 | 分类号： | G06N3/08 |
| 代理公司： | 中原信达知识产权代理有限责任公司 11219 | 代理人： | 李宝泉;周亚荣 |
| 地址： | 美国加利*** | 国省代码： | 美国;US |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 神经网络 降维 计算机存储介质 计算机程序 减小 | ||
1.一种方法，包括：
获得指定经训练的神经网络的数据，其中所述神经网络包括一个或多个神经网络层；
减小所述神经网络层中的一个或多个神经网络层的大小以生成经调整大小的神经网络，包括：
选择用于调整大小的一个或多个神经网络层；
针对每个所选择的神经网络层：
确定该神经网络层的有效降维，以及
基于所确定的有效降维，调整该神经网络层的大小；以及
重新训练所述经调整大小的神经网络。
2.根据权利要求1所述的方法，其中，减小所述神经网络层中的一个或多个神经网络层的大小包括：减少所述一个或多个神经网络层中的每一个神经网络层中的单元的相应数目。
3.根据权利要求1或2所述的方法，其中，确定该神经网络层的有效降维包括：
向所述神经网络提供多个数据输入；
经所述神经网络层处理所述输入以针对每个数据输入在每个神经网络层处生成相应层激励；以及
使用所选择的神经网络层处的网络激励针对所选择的神经网络层来确定有效降维。
4.根据权利要求3所述的方法，其中，使用所选择的神经网络层处的层激励针对所选择的神经网络层来确定有效降维包括：
对所述层激励执行主分量分析(PCA)以针对所述网络激励生成特征值谱；
针对所述PCA特征值谱来选择截止；以及
将所述有效降维设置为截止PCA特征值维度的数目。
5.根据权利要求4所述的方法，其中，针对所述PCA特征值谱选择截止包括：基于所述PCA特征值谱的累积方差的阈值来选择截止。
6.根据权利要求4所述的方法，其中，针对所述PCA特征值谱选择截止包括：基于所述PCA特征值谱的扁率来选择截止水平。
7.根据权利要求4所述的方法，其中，针对所述PCA特征值谱选择截止包括：基于预定的最小PCA方差以及先前神经网络层读出权重的大小来选择截止水平。
8.根据权利要求3所述的方法，其中，使用所选择的神经网络层处的层激励针对所选择的神经网络层来确定有效降维包括：执行产生方差谱的降维技术。
9.根据权利要求3至8中的任一项所述的方法，其中，减小所述神经网络层中的所述一个或多个神经网络层中的至少一个神经网络层的大小包括：在所述神经网络层中的所述一个或多个神经网络层中的所述至少一个神经网络层中去除等于所述有效降维的数目的单元。
10.根据前述任一项权利要求所述的方法，进一步包括：在重新训练所述经调整大小的神经网络之前重新初始化所述经调整大小的神经网络。
11.一种系统，包括一个或多个计算机以及一个或多个存储指令的存储设备，所述指令在被所述一个或多个计算机执行时能够操作为使得所述一个或多个计算机执行。
12.一种编码在一个或多个非瞬态存储介质上的计算机程序产品，所述计算机程序产品包括指令，所述指令在被一个或多个计算机执行时使得所述一个或多个计算机执行根据权利要求1至10中的任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于谷歌有限责任公司，未经谷歌有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201680070099.X/1.html，转载请声明来源钻瓜专利网。
- 上一篇：确定神经网络的执行顺序
- 下一篇：(移动)应用程序使用流失的预测
