[发明专利]资源有效的神经架构有效
| 申请号： | 201910384998.2 | 申请日： | 2019-05-09 |
| 公开（公告）号： | CN110503192B | 公开（公告）日： | 2023-09-19 |
| 发明（设计）人： | 周彥祺;萨瓦什·阿布拉希米;塞尔坎·安瑞克;余昊男;刘海容;格雷戈里·迪莫斯 | 申请（专利权）人： | 百度（美国）有限责任公司 |
| 主分类号： | G06N3/063 | 分类号： | G06N3/063 |
| 代理公司： | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人： | 马晓亚;王艳春 |
| 地址： | 美国加利*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 神经架构搜索(NAS)是费力的过程。与自动化NAS目标有关的先前工作主要是提高精度，但未考虑计算资源使用。本文提出资源有效的神经架构(RENA)的实施方式，这是使用强化学习的具有网络嵌入的高效的资源受限NAS。RENA实施方式使用策略网络处理网络嵌入以生成新配置。本文还提出与图像识别和关键词检测(KWS)问题有关的RENA实施方式的示例证明。在即使资源严重受限的情况下，RENA实施方式也可找到实现高性能的新型架构。对于CIFAR10数据集，测试的实施方式在计算强度大于100FLOP/byte时具有2.95％的测试误差，并且在模型大小小于3M参数时具有3.87％的测试误差。对于谷歌语音命令数据集，测试后的RENA实施方式实现了在无资源约束的情况下的最先进精度，并在资源严重受限的情况下优于优化的架构。 | ||
| 搜索关键词： | 资源 有效 神经 架构 | ||
【主权项】：
1.用于执行神经架构搜索的计算机实施方法，包括：/n使用包括网络嵌入递归神经网络、缩放递归神经网络和动作递归神经网络的策略网络：/n使用所述网络嵌入递归神经网络将神经网络架构转换成所述神经网络架构的网络嵌入，其中，所述神经网络架构包括一个或多个层、一个或多个网络模块或一个或多个层和一个或多个网络模块，并且所述一个或多个层或者一个或多个网络模块中的每个均具有至少一个相应特征；/n使用所述缩放递归神经网络来识别所述神经网络架构的特征中的一个或多个特征，其中，所述缩放递归神经网络接收所述神经网络架构的所述网络嵌入；/n使用所述动作递归神经网络来确定是移除所述网络架构的一部分、保持所述网络架构的一部分还是向所述网络架构添加一部分，其中，所述动作递归神经网络接收所述神经网络架构的所述网络嵌入，其中所述网络架构的一部分为层或一个或多个模块；/n通过以下步骤创建改变的神经网络架构：/n响应于所述动作递归神经网络指示移除一部分，从所述网络架构移除所述一部分并根据所移除的部分来调整一个或多个输入；/n响应于所述动作递归神经网络指示保持一部分，改变所述神经网络架构的由所述缩放递归神经网络指示的一个或多个特征；以及/n响应于所述动作递归神经网络指示插入一部分，通过插入具有特征的所述一部分来改变所述神经网络架构，其中，所述一部分及其特征从分布中采样；以及/n输出改变后的神经网络架构。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于百度（美国）有限责任公司，未经百度（美国）有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910384998.2/，转载请声明来源钻瓜专利网。
