[发明专利]一种针对CPU和GPU设备搜索神经网络结构的方法

说明书

本发明公开一种针对CPU和GPU设备搜索神经网络结构的方法，步骤为：设计并确定CPU和GPU设备网络结构的表示空间；通过权重共享的方式训练一个全连接的超网；在不同的硬件平台上运行采样得到的子网络，统计其执行一次计算所需的运行时间；收集的子网络结构和在不同硬件平台上对应的运行时间，训练一个额外的预测器；在全连接的超网上执行进化算法，搜索出最优网络结构；初始化最优网络结构的参数，在训练集数据上重新进行训练直到该神经网络收敛。本发明解决了以往为不同硬件定制化神经网络结构存在的过程繁琐、可迁移性差等问题，在同一框架下为CPU、GPU设备搜索不同的神经网络结构，有效地提升神经网络结构的准确度和运行效率。

技术领域

本发明涉及一种神经网络结构搜索方法，具体为一种针对CPU和GPU设备搜索神经网络结构的方法。

背景技术

近年来，机器学习，尤其是以神经网络为代表的深度学习技术不断发展，在语音、图像和自然语言处理等领域的诸多任务上取得了令人瞩目的成就。以神经机器翻译为例，最近几年的神经网络结构经历了巨大的变化，从循环神经网络、卷积神经网络到以自注意力机制为基础的神经网络，不断刷新机器翻译任务的分数。然而，与之相对应的神经网络结构也越来越复杂，一个趋势是网络的参数量愈发庞大、神经元连接愈发复杂，而设计和实现这些神经网络也越来越依赖于专业人员对相关技术的了解。目前神经网络的设计几乎都是与硬件结构无关的，即专家设计这些神经网络时很少考虑具体运行环境和硬件约束。然而在实际部署时，不同硬件的计算资源不同，例如一些参数量上亿的神经机器翻译模型在并行计算效率高的显卡设备上的运行速度能够满足在线翻译的需求，然而在计算资源有限的移动设备上就无法满足用户实时翻译的需求。

目前神经网络结构的设计趋势是为不同的硬件平台设计不同的神经网络结构，然而这些神经网络的设计需要大量从业经验，而且这些经验都仅限于专门化的硬件平台，无法适用于广泛的硬件平台。例如，针对显卡设备并行计算效率高的特点设计的浅而宽的神经机器翻译网络结构就不适合在并行计算效率低的CPU设备上面运行，后者更加适合部署较深但每层神经元数量较少的网络。因此，针对CPU和GPU设备进行神经网络结构自动化设计具有很高的应用价值。

发明内容

针对现有的针对CPU和GPU设备的神经网络结构设计方法存在的依赖专家经验、CPU和GPU设备上的神经网络结构设计经验难以相互迁移、验证神经网络结构效果的成本高昂等问题，本发明提出一种针对CPU和GPU设备搜索神经网络结构的方式，能够自动化特定硬件环境下的神经网络结构设计过程。

为解决上述技术问题，本发明采用的技术方案是：

本发明提供一种针对CPU和GPU设备搜索神经网络结构的方法，包括以下步骤：

1)设计并确定CPU和GPU设备网络结构的表示空间，包括需要搜索的网络结构的层数、每层的神经元数量和连接方式，使用字符串编码的形式对这些信息进行表示；

2)通过权重共享的方式训练一个全连接的超网，其中不同的子网络共享所有的权重，在每个训练步骤通过均匀采样的方式选择一个子网络进行训练，根据梯度下降的方式对共享的权重进行优化；

3)在不同的硬件平台，包括CPU、GPU设备上运行步骤2)采样得到的子网络，统计其执行一次计算所需的运行时间；

4)利用步骤3)收集的子网络结构和在不同硬件平台上对应的运行时间，训练一个额外的预测器，用于预测不同网络结构在不同硬件平台上对应的运行时间；

5)在全连接的超网上执行进化算法，根据不同硬件平台上的运行时间限制以及不同网络结构在校验集数据上对应的损失搜索出最优网络结构；

6)初始化步骤5)得到的最优网络结构的参数，在训练集数据上重新进行训练直到该神经网络收敛。

步骤1)中，使用字符串的形式对离散化的网络结构的组合进行表示，该字符串包含神经网络的层数、每层的神经元数量以及不同层的连接方式。