[发明专利]一种可容错的循环神经网络架构搜索方法及系统

权利要求书

1.一种可容错的循环神经网络架构搜索方法，其特征在于，包括：

1)针对赋予预设的共享权值的目标循环神经网络，随机初始化一个包含多个候选循环神经网络架构的种群作为当前种群；

2)计算当前种群中各个候选循环神经网络架构的正常评估的困惑度ppl_c及注入故障后的困惑度ppl_f，并基于正常评估的困惑度ppl_c及注入故障后的困惑度ppl_f加权计算各个候选循环神经网络架构的奖励R；

3)将当前种群中各个候选循环神经网络架构作为父架构生成新的候选循环神经网络架构，计算各个新的候选循环神经网络架构的正常评估的困惑度ppl_c及注入故障后的困惑度ppl_f，并基于正常评估的困惑度ppl_c及注入故障后的困惑度ppl_f加权计算各个新的候选循环神经网络架构的奖励R；

4)若新的候选循环神经网络架构的奖励R大于当前种群中的最优奖励，则将该新的候选循环神经网络架构加入当前种群，并删除当前种群中最老的候选循环神经网络架构使得种群总数不变；

5)判断迭代次数R_轮次大于等于预设阈值R_最大轮次是否成立，若不成立，则跳转执行步骤3)以继续进行迭代搜索；否则，将当前种群中最优奖励对应的候选循环神经网络架构作为搜索得到的最优循环神经网络架构输出。

2.根据权利要求1所述的可容错的循环神经网络架构搜索方法，其特征在于，所述奖励R的计算函数表达式如下：

R＝(1-α_r)*ppl_c+α_r*ppl_f

上式中，α_r为取值范围为[0,1]之间的预设权重系数，ppl_c表示候选循环神经网络架构的正常评估的困惑度，ppl_f表示候选循环神经网络架构的注入故障后的困惑度。

3.根据权利要求1所述的可容错的循环神经网络架构搜索方法，其特征在于，步骤2)之前要包括针对目标循环神经网络进行训练以生成预设的共享权值的步骤，且在训练过程中针对权值的损失函数的计算函数表达式如下：

L＝(1–α_l)*CE_c+α_l*CE_f

上式中，L表示权值的损失函数，α_l为取值范围为[0,1]之间的预设权重系数，CE_c表示被搜索的循环神经网络架构正常训练下的交叉熵损失，CE_f表示被搜索的循环神经网络架构在故障注入后的交叉熵损失。