[发明专利]一种可容错的循环神经网络架构搜索方法及系统

说明书

本发明公开了一种可容错的循环神经网络架构搜索方法及系统，本发明采用进化算法来进行循环神经网络架构搜索，且通过计算各个新的候选循环神经网络架构的正常评估的困惑度ppl_c及注入故障后的困惑度ppl_f，并基于正常评估的困惑度ppl_c及注入故障后的困惑度ppl_f加权计算各个新的候选循环神经网络架构的奖励R，基于奖励R进行种群更新，从而最终根据这个奖励来鼓励搜索算法不断搜索出高性能、高容错性的最优循环神经网络架构，使得得到的最优循环神经网络架构分别具有很强的计算故障容错性和权值存储故障容错性，找到的最优循环神经网络架构将会在部署到FPGA、ASIC硬件以及基于RRAM的加速器上时具有较好的鲁棒性。

技术领域

本发明涉及循环神经网络(RNN)在硬件平台上的架构优化技术，具体涉及一种可容错的循环神经网络架构搜索方法及系统。

背景技术

循环神经网络(Recurrent Neural Network)是以序列数据输入为主的一类深度神经网络，在自然语言处理，例如语音识别、语言建模、机器翻译等领域有重要的应用。其变种有长短期记忆网络(LSTM)、门控循环单元网络(GRU)等。神经架构搜索(neuralarchitecture search)是AutoML的一个子领域。首先被谷歌公司提出，亚马逊、微软等公司相继跟进。国内也有华为诺亚实验室、小米AI实验室进行了大量的研究工作。神经架构搜索旨在利用大量的算力来代替人类专家设计神经网络架构的工作，并在图像识别、文本预测、物体检测等任务中取得了顶尖的性能。容错(Fault Tolerance)是为了对抗硬件故障而产生的概念。故障产生的原因有很多，包括：接点加固不牢，辐射，温度湿度变化，期间老化等。本篇文章我们关注的硬件主要是用于部署神经网络的加速器。目前主要的神经网络加速器设备包括：FPGA、ASIC和基于RRAM的加速器。其中FPGA和ASIC是基于CMOS电路的硬件设备，而随着CMOS制造工艺越来越小，其对环境噪声敏感性越来越差。基于RRAM的加速器因为制造技术还不成熟，会容易出现硬故障，如SAFs(Stuck-at-Faults)。最传统的容错方式是冗余硬件，但是这会造成面积成本和功耗成本的增加。敏感性分析也是容错的一种方式，通过检测电路中容易出现故障的部分并加以冗余保护来实现容错目的。容错训练(FaultTolerant Training)是针对神经网络的一种容错方式，通过在网络的权值训练中插入故障，从而使得训练好的神经网络具有一定的容错性。

将RNN网络部署到硬件设备的过程中可能遇到的故障，故障可分为两类：计算故障和权值存储故障。计算故障主要会出现在基于CMOS的硬件平台，如FPGA和AISC，这类硬件平台出现软错误的概率远大于硬错误。权值存储故障主要会出现在基于RRAM的加速器上。因此，将神经网络部署到边缘设备上会出现的软错误和硬错误，如何针对将神经网络部署到边缘设备上时进行容错，已成为一项亟待解决的关键技术问题。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种可容错的循环神经网络架构搜索方法及系统，本发明用架构优化来达到提高容错性的目的，从而可实现最终找到高性能、高容错性的循环神经网络架构，从而有效解决将神经网络部署到边缘设备上会出现的软错误和硬错误的问题。

为了解决上述技术问题，本发明采用的技术方案为：

一种可容错的循环神经网络架构搜索方法，包括：

1)针对赋予预设的共享权值的目标循环神经网络，随机初始化一个包含多个候选循环神经网络架构的种群作为当前种群；

2)计算当前种群中各个候选循环神经网络架构的正常评估的困惑度ppl_c及注入故障后的困惑度ppl_f，并基于正常评估的困惑度ppl_c及注入故障后的困惑度ppl_f加权计算各个候选循环神经网络架构的奖励R；