[发明专利]针对处理器确定神经网络架构的搜索方法和装置

说明书

提供一种针对处理器确定神经网络架构的搜索方法和装置，针对处理器确定神经网络架构的搜索方法，包括：获取初始第一神经网络架构；从初始第一神经网络架构开始，迭代地基于处理器相关损失函数搜索下一第一神经网络架构，直至满足第一搜索终止条件时停止搜索；将搜索到的最优第一神经网络架构确定为将在处理器上使用的神经网络架构，其中，处理器相关损失函数包括模型训练过程中的预测误差部分和处理器运算代价部分。利用模型训练过程中的预测误差部分和处理器运算代价部分共同对神经网络架构进行搜索收敛限制，从而保证搜索出的神经网络架构在处理器运行时，处理器具有良好的运行性能。

技术领域

本发明属于神经网络的技术领域，更具体地讲，涉及一种针对处理器确定神经网络架构的搜索方法和装置。

背景技术

在现有技术中，设计神经网络架构主要包括人工设计和神经网络架构搜索这两种方法。

人工设计神经网络架构是指，设计人员通过设计新的操作算子和网络结构以使神经网络架构达到精度或者性能上的需求。这就要求设计人员必须具有神经网络架构将要应用到的领域(如图像领域)的专业知识，而且设计人员需要花费大量时间去设计和验证网络的性能。设计人员试图提升网络精度，但往往导致参数量大，执行速度慢。当降低整体运算量时，网络精度又会受影响，况且浮点运算量的降低并不意味着网络速度一定能够提升。

现有的神经网络架构搜索的过程主要包括：事先定义一个搜索空间，然后尝试使用搜索空间中的操作连接出不同网络架构，通过对各连接结构的评估筛选出最终的神经网络架构。尽管一些研究会在搜索过程中计入一些运算导致的延迟(例如，神经网络架构中浮点运算数和执行延迟间的关系)，但是在部署到处理器之后，并不能保证处理器以较好的性能来运行。

发明内容

本发明的示例性实施例的目的在于提供一种针对处理器确定神经网络架构的搜索方法和装置。

在一个总体方面，提供一种针对处理器确定神经网络架构的搜索方法，包括：获取初始第一神经网络架构；从初始第一神经网络架构开始，迭代地基于处理器相关损失函数搜索下一第一神经网络架构，直至满足第一搜索终止条件时停止搜索；将搜索到的最优第一神经网络架构确定为将在处理器上使用的神经网络架构，其中，处理器相关损失函数包括模型训练过程中的预测误差部分和处理器运算代价部分。

根据本发明的针对处理器确定神经网络架构的搜索方法，利用模型训练过程中的预测误差部分和处理器运算代价部分共同对神经网络架构进行搜索收敛限制，从而保证搜索出的神经网络架构在处理器运行时，处理器具有良好的运行性能。

在本发明的一种实施方式中，处理器运算代价部分包括处理器执行模型训练过程中访问DRAM的时间消耗超参数和/或功率消耗超参数。

根据本发明的针对处理器确定神经网络架构的搜索方法，与处理器执行模型训练过程的计算量相比，处理器对DRAM访问更为敏感，因此以访问DRAM的时间消耗超参数和/或功率消耗超参数来确定处理器运算代价部分。处理器运算代价部分包括访问DRAM的时间消耗超参数，可以保证搜索出的神经网络架构在处理器运行时，处理器具有较高的运行速度；处理器运算代价部分包括访问DRAM的功率消耗超参数，可以保证搜索出的神经网络架构在处理器运行时，可以较大程度地降低处理器的功耗；处理器运算代价部分同时包括访问DRAM的时间消耗超参数和功率消耗超参数，可以保证搜索出的神经网络架构在处理器运行时，处理器具有较高的运行速度且可以较大程度地降低处理器的功耗。

在本发明的一种实施方式中，获取初始第一神经网络架构的步骤包括：获取包括至少一个阶段的初始第一神经网络架构，其中，每个阶段堆叠有至少一个网络块，基于网络块的构建规则，在每个阶段的网络块中填充有至少一个复合操作，复合操作由至少一个基本操作连接而成。