[发明专利]网络结构的搜索方法、装置以及电子设备

说明书

本申请公开了一种网络结构的搜索方法、装置以及电子设备，涉及神经网络搜索领域。具体实现方案为：在仿真环境中，评估满足预设收敛条件的超参数和邻居模型结构生成策略；在执行搜索任务时，将模拟退火算法的初始参数设置为超参数；根据邻居模型结构生成策略，生成当前模型结构对应的邻居模型结构；根据当前模型结构的性能、邻居模型结构的性能以及超参数，得到转移概率；按照模拟退火算法进行迭代计算，更新超参数和转移概率，得到超参数的预测值和转移概率的预测值；在超参数的预测值和转移概率的预测值符合搜索停止条件的情况下，停止搜索。提高了模拟退火算法对网络模型的搜索问题的效率。

技术领域

本申请涉及计算机领域，尤其涉及神经网络搜索领域。

背景技术

深度学习技术在很多方向上都取得了巨大的成功，最近几年NAS技术(NeuralArchitecture Search，神经网络架构搜索)成为研究热点。NAS是用算法代替繁琐的人工操作，在海量的搜索空间中自动搜索出最佳的神经网络架构。进行神经网络的架构搜索的步骤包括：首先，搜索空间定义、确定搜索空间。然后，根据所采用的优化算法，比如用强化学习、进化算法、贝叶斯优化等算法确定搜索策略。最后，搜索得到模型结构的速度以及模型的性能。目前，神经网络的架构搜索的方法可包括基于强化学习的模型结构自动搜索、基于进化算法的模型结构自动搜索以及基于梯度的模型结构自动搜索。上述三种方法均是利用黑盒的模型结构来生成搜索策略。搜索速度非常慢，且收敛性无法保证。

发明内容

本申请实施例提供一种网络模型结构的搜索方法、装置以及电子设备，以解决现有技术中的一个或多个技术问题。

第一方面，本申请实施例提供了一种网络模型结构的搜索方法，包括：

在仿真环境中，评估满足预设收敛条件的超参数和邻居模型结构生成策略：

在执行搜索任务时，将模拟退火算法的初始参数设置为超参数；

根据邻居模型结构生成策略，生成当前模型结构对应的邻居模型结构；

根据当前模型结构的性能、邻居模型结构的性能以及超参数，得到转移概率；

按照模拟退火算法进行迭代计算，更新超参数和转移概率，得到超参数的预测值和转移概率的预测值；

在超参数的预测值和转移概率的预测值符合搜索停止条件的情况下，停止搜索。

本实施方式中，由于在评估期定义了邻居模型结构生成策略，以及最优的超参数，提高了模拟退火算法对网络模型的搜索问题的效率。

在一种实施方式中，获取满足预设收敛条件的超参数和邻居模型结构生成策略，包括：

对模拟退火算法的全部超参数进行网格划分，得到一维网格，在一维网格中确定满足收敛条件的超参数；

根据当前模型的结构和邻居模型结构之间的网络编码变化策略，选择满足收敛条件的邻居模型结构生成策略；

其中，收敛条件包括满足搜索任务的精度和收敛速度要求。

在一种实施方式中，按照模拟退火算法进行迭代计算，更新超参数和转移概率，得到超参数的预测值和转移概率的预测值，超参数包括退火温度和退火率，包括：

根据退火率更新退火温度，得到退火温度的预测值，根据退火温度的预测值和退火率，得到超参数的预测值；

根据具有超参数的预测值的模拟退火算法的模型，得到预测模型结构的性能；

根据退火温度的预测值、预测模型结构的性能以及邻居模型结构的性能更新转移概率，得到转移概率的预测值。

在一种实施方式中，还包括：