[发明专利]资源有效的神经架构

说明书

神经架构搜索(NAS)是费力的过程。与自动化NAS目标有关的先前工作主要是提高精度，但未考虑计算资源使用。本文提出资源有效的神经架构(RENA)的实施方式，这是使用强化学习的具有网络嵌入的高效的资源受限NAS。RENA实施方式使用策略网络处理网络嵌入以生成新配置。本文还提出与图像识别和关键词检测(KWS)问题有关的RENA实施方式的示例证明。在即使资源严重受限的情况下，RENA实施方式也可找到实现高性能的新型架构。对于CIFAR10数据集，测试的实施方式在计算强度大于100FLOP/byte时具有2.95％的测试误差，并且在模型大小小于3M参数时具有3.87％的测试误差。对于谷歌语音命令数据集，测试后的RENA实施方式实现了在无资源约束的情况下的最先进精度，并在资源严重受限的情况下优于优化的架构。

相关申请的交叉引用

本申请要求于2018年5月18日提交的、题为“RESOURCE-EFFICIENT NEURALARCHITECT(资源有效的神经架构)”的第62/673,309号(案卷号：28888-2233P)美国临时专利申请的优先权权益，其将Yanqi Zhou、Siavash Ebrahimi、Sercan Arik、Haonan Yu和Hairong Liu列为发明人。上述专利文件通过引用以其整体且出于任何目的被并入本文中。

技术领域

本公开总体上涉及用于计算机学习的系统和方法，其能够提供改进的计算机性能、特征和用途。更具体地，本公开涉及用于高效的资源受限的神经架构搜索(NeuralArchitecture Search，NAS)的实施方式。

背景技术

深度神经网络已经在具有挑战性的研究基准测试上表现出优异的性能，同时推动了诸如语言翻译、语音识别、语音合成、图像识别和图像合成的众多有影响应用的前沿。尽管取得了这些进步，但设计神经网络仍是费力的任务，需要丰富的经验和专业知识。为了在实现竞争性能的同时使神经网络开发过程自动化，提出了神经架构搜索(NAS)。对于例如图像识别的一些竞争性基准测试，与手动设计的模型相比，NAS得到了非常有前景的结果。

人工智能研究的历史趋势已改进了模型在特定任务上的性能，而未考虑资源使用度量，诸如模型存储、复杂性和功耗。迎合这一趋势，开发了具有特殊设计架构的更大且更深的神经网络。另一方面，随着深度神经网络开始更广泛地部署在不同的应用中，除了性能之外，资源约束也变得至关重要。

因此，需要能够在不同的资源约束下利用合理的搜索量使寻找高性能神经网络架构的过程自动化的实施方式。

发明内容

根据本公开的一个方面，提供了一种用于执行神经架构搜索的计算机实施方法，其包括：

使用包括网络嵌入递归神经网络、缩放递归神经网络和动作递归神经网络的策略网络：

使用所述网络嵌入递归神经网络将神经网络架构转换成所述神经网络架构的网络嵌入，其中，所述神经网络架构包括一个或多个层、一个或多个网络模块或一个或多个层和一个或多个网络模块，并且所述一个或多个层或者一个或多个网络模块中的每个均具有至少一个相应特征；

使用所述缩放递归神经网络来识别所述神经网络架构的特征中的一个或多个特征，其中，所述缩放递归神经网络接收所述神经网络架构的所述网络嵌入；

使用所述动作递归神经网络来确定是移除所述网络架构的一部分、保持所述网络架构的一部分还是向所述网络架构添加一部分，其中，所述动作递归神经网络接收所述神经网络架构的所述网络嵌入，其中所述网络架构的一部分为层或一个或多个模块；

通过以下步骤创建改变的神经网络架构：

响应于所述动作递归神经网络指示移除一部分，从所述网络架构移除所述一部分并根据所移除的部分来调整一个或多个输入；

响应于所述动作递归神经网络指示保持一部分，改变所述神经网络架构的由所述缩放递归神经网络指示的一个或多个特征；以及