[发明专利]一种基于进化计算的神经网络架构搜索方法和系统

权利要求书

1.一种基于进化计算的神经网络架构搜索方法，其特征在于，包括：

步骤S1：根据目标需求和平台要求，通过目标函数设置目标要求，目标要求包括：期望的准确度、推理时延、搜索空间大小和进化次数；

步骤S2：根据设置的搜索空间大小，基于子网络模块集合随机生成N个无向有环图，作为进化寻优的网络搜索空间；

步骤S3：在启发式信息引导下，结合信息素动态挥发和概率路径选择机制，通过蚁群算法在随机生成的N个无向有环图中搜索N条有向无环图寻优路径，构成候选集；

步骤S4：通过训练和测试获取候选集中N条寻优路径的准确率和推理时延，选取最优结果作为当前最优网络结构；

步骤S5：评估当前网络架构是否达到目标要求，当当前网络架构没有达到预设目标要求，当满足速度和精度要求时，则暂停寻优结果，基于当前最优网络架构的所有子网络模块内部结构实时演化突变，继续迭代直至达到预设目标要求；当满足预设目标要求时，则输出当前最优网络结果，否则退出搜索过程，输出搜索异常；

所述基于进化计算的神经网络架构搜索方法应用于目标检索、自然语言处理、图像识别、语音识别技术领域；

所述步骤S1包括：

所述目标函数公式如下：

s.t.LAT(Net)≤TACC(Net)≥A

其中，目标函数定义为一个多目标搜索；Net表示通过进化算法得到的网络；ACC(Net)表示网络的准确率；LAT(Net)表示网络的推理时延；T表示期望的推理时延；A表示期望的准确率；所述期望的准确率根据预设的目标需求设定；所述期望的推理时延根据移动、嵌入式或通用平台类型设定；

所述步骤S2包括：

所述子网络模块是无向有环图中的结点；子网络模块包括多种类型且具有M个层的子网络，子网络类型可根据目标需求和平台要求扩展子网络模块的类型并进行选择；

子网络的结构包括：多卷积层、ResNet块、深度可分离卷积、具有线性瓶颈的倒残差结构和基于压缩-激发结构的轻量级注意力结构；

所述网络搜索空间包括：所述网络搜索空间包括N个搜索子空间；

其中，表示第i代子网络模块集合，表示第i代中第j个子网络模块，表示第i代搜索空间的边集合，子网络模块之间通过边连接；表示第i代中第j个子网络模块和第k个子网络模块之间的边；表示第i代第n个搜索空间；i表示迭代序号；

所述步骤S3包括：

步骤S3.1：在每一个搜索子空间中任选一点作为起点，选取距离起点最远的结点为终点，初始化蚂蚁数量、信息素强度常数和循环次数；

步骤S3.2：启发信息计算；

其中，η_I,J(t)表示t时刻从结点I到结点J的启发信息；Dep_I,J、Wig_I,J、Con_I,J、Fil_I,J分别表示结点J的深度、宽度、连接度和滤波器数量，ω表示激励因子，0≤ω≤1；奖励机制定义为激励当前最优的网络架构中所有结点；ω值越小，启发式信息η越大，初始网络搜索空间中由于未产生进化，则ω初始值设置为1；

步骤S3.3：概率路径选择；

其中，表示第t时刻蚂蚁m由点I移动到点J的概率；allowed_m表示蚂蚁下一步可以选择的节点；α表示信息素启发因子，表示路径上残留的信息素在寻优过程中的作用，值越大则说明蚂蚁之间的协作能力越强，倾向于选择其它蚂蚁经过的路径；β表示期望值启发因子，表明准确性和推理时延在蚂蚁选择路径时的受重视程度，值越大，状态转移规律越接近贪心规则；τ_I,J(t)表示t时刻点I到点J路径上的信息素；τ_I,S(t)表示点I到allowed_m中任一点路径上的信息素；表示I到allowed_m中任一点路径上的启发信息；

步骤S3.4：信息素动态挥发；

其中，ρ_I,J(t)表示t时刻在I到J路径上的挥发系数；η_I,J(t)表示t时刻I到J路径上的启发信息；表示所有的启发信息，L表示当前网络下的结点总数；

步骤S3.5：信息素增量计算；

其中，Q为信息素强度常量，是蚂蚁在一个循环中在所经过的路径上释放的信息素的总量；η_m表示第m只蚂蚁在此次循环中所受到的启发信息总量；

步骤S3.6：信息素更新；

τ_I,J(t+1)＝(1-ρ)τ_I,J(t)+Δτ_I,J(t,t+1)

其中，ρ是信息素动态挥发系数；表示第m只蚂蚁在本次循环中在路径(I,J)上留下的信息素增量，Δτ_I,J(t,t+1)表示本次循环当中所有经过路径(I,J)的蚂蚁留下的信息素增量；K表示在本次循环中所有经过路径(I,J)的蚂蚁总数；

步骤S3.7：寻优结束判断：当所有搜索子空间的寻优均达到最大循环次数则退出循环，输出所有搜索子空间寻优结果作为当代候选集；否则重复执行步骤S3.2至步骤S3.7，直至达到最大循环次数；

所述步骤S5中演化突变包括：将当前最优网络架构中所有子网络模块中的激励因子ω设置为常数，且0≤ω≤1；同时在突变集合中随机选取变异操作，进化子网络模块内部结构，生成下一代子网络模块，重复执行步骤S2至步骤S5，直至达到预设目标要求。

2.一种基于进化计算的神经网络架构搜索系统，其特征在于，包括：

模块M1：根据目标需求和平台要求，通过目标函数设置目标要求，目标要求包括：期望的准确度、推理时延、搜索空间大小和进化次数；

模块M2：根据设置的搜索空间大小，基于子网络模块集合随机生成N个无向有环图，作为进化寻优的网络搜索空间；

模块M3：在启发式信息引导下，结合信息素动态挥发和概率路径选择机制，通过蚁群算法在随机生成的N个无向有环图中搜索N条有向无环图寻优路径，构成候选集；

模块M4：通过训练和测试获取候选集中N条寻优路径的准确率和推理时延，选取最优结果作为当前最优网络结构；

模块M5：评估当前网络架构是否达到目标要求，当当前网络架构没有达到预设目标要求，当满足速度和精度要求时，则暂停寻优结果，基于当前最优网络架构的所有子网络模块内部结构实时演化突变，继续迭代直至达到预设目标要求；当满足预设目标要求时，则输出当前最优网络结果，否则退出搜索过程，输出搜索异常；

所述基于进化计算的神经网络架构搜索系统应用于目标检索、自然语言处理、图像识别、语音识别技术领域；

所述模块M1包括：

所述目标函数公式如下：

s.t.LAT(Net)≤TACC(Net)≥A

其中，目标函数定义为一个多目标搜索；Net表示通过进化算法得到的网络；ACC(Net)表示网络的准确率；LAT(Net)表示网络的推理时延；T表示期望的推理时延；A表示期望的准确率；所述期望的准确率根据预设的目标需求设定；所述期望的推理时延根据移动、嵌入式或通用平台类型设定；

所述模块M2包括：

所述子网络模块是无向有环图中的结点；子网络模块包括多种类型且具有M个层的子网络，子网络类型可根据目标需求和平台要求扩展子网络模块的类型并进行选择；

子网络的结构包括：多卷积层、ResNet块、深度可分离卷积、具有线性瓶颈的倒残差结构和基于压缩-激发结构的轻量级注意力结构；

所述网络搜索空间包括：所述网络搜索空间包括N个搜索子空间；

其中，表示第i代子网络模块集合，表示第i代中第j个子网络模块，表示第i代搜索空间的边集合，子网络模块之间通过边连接；表示第i代中第j个子网络模块和第k个子网络模块之间的边；表示第i代第n个搜索空间；i表示迭代序号；

所述模块M3包括：

模块M3.1：在每一个搜索子空间中任选一点作为起点，选取距离起点最远的结点为终点，初始化蚂蚁数量、信息素强度常数和循环次数；

模块M3.2：启发信息计算；

其中，η_I,J(t)表示t时刻从结点I到结点J的启发信息；Dep_I,J、Wig_I,J、Con_I,J、Fil_I,J分别表示结点J的深度、宽度、连接度和滤波器数量，ω表示激励因子，0≤ω≤1；奖励机制定义为激励当前最优的网络架构中所有结点；ω值越小，启发式信息η越大，初始网络搜索空间中由于未产生进化，则ω初始值设置为1；

模块M3.3：概率路径选择；

其中，表示第t时刻蚂蚁m由点I移动到点J的概率；allowed_m表示蚂蚁下一步可以选择的节点；α表示信息素启发因子，表示路径上残留的信息素在寻优过程中的作用，值越大则说明蚂蚁之间的协作能力越强，倾向于选择其它蚂蚁经过的路径；β表示期望值启发因子，表明准确性和推理时延在蚂蚁选择路径时的受重视程度，值越大，状态转移规律越接近贪心规则；τ_I,J(t)表示t时刻点I到点J路径上的信息素；τ_I,S(t)表示点I到allowed_m中任一点路径上的信息素；表示I到allowed_m中任一点路径上的启发信息；

模块M3.4：信息素动态挥发；

其中，ρ_I,J(t)表示t时刻在I到J路径上的挥发系数；η_I,J(t)表示t时刻I到J路径上的启发信息；表示所有的启发信息，L表示当前网络下的结点总数；

模块M3.5：信息素增量计算；

其中，Q为信息素强度常量，是蚂蚁在一个循环中在所经过的路径上释放的信息素的总量；η_m表示第m只蚂蚁在此次循环中所受到的启发信息总量；

模块M3.6：信息素更新；

τ_I,J(t+1)＝(1-ρ)τ_I,J(t)+Δτ_I,J(t,t+1)

其中，ρ是信息素动态挥发系数；表示第m只蚂蚁在本次循环中在路径(I,J)上留下的信息素增量，Δτ_I,J(t,t+1)表示本次循环当中所有经过路径(I,J)的蚂蚁留下的信息素增量；K表示在本次循环中所有经过路径(I,J)的蚂蚁总数；

模块M3.7：寻优结束判断：当所有搜索子空间的寻优均达到最大循环次数则退出循环，输出所有搜索子空间寻优结果作为当代候选集；否则重复触发模块M3.2至模块M3.7执行，直至达到最大循环次数；

所述模块M5中演化突变包括：将当前最优网络架构中所有子网络模块中的激励因子ω设置为常数，且0≤ω≤1；同时在突变集合中随机选取变异操作，进化子网络模块内部结构，生成下一代子网络模块，重复触发模块M2至模块M5执行，直至达到预设目标要求。