[发明专利]自适应的神经网络训练与推理装置

说明书

本发明公开了自适应的神经网络训练与推理装置，包括深度学习处理引擎阵列、存储模块以及自动更新控制模块，深度学习处理引擎阵列用于执行神经网络的训练与推理；存储模块用于存储神经网络每层的输出数据、每层的激励函数的求导值、每层的权重值以及训练样本；自动更新控制模块用于控制执行前向传播推理，并根据所监测的网络输出控制所述深度学习处理引擎阵列执行反向传播训练以更新神经网络的网络参数。利用上述模块，自适应的神经网络训练与推理装置能够直接在边缘端完成神经网络训练与推理，实现自动更新，能有效地提高深度学习网络的处理性能，降低功耗，并且免去了将训练过程转移至服务器端或云端而产生的额外交互成本。

技术领域

本发明涉及神经网络的技术领域，尤其是涉及自适应的神经网络训练与推理装置。

背景技术

人工智能近年来取得了长足发展，以卷积神经网络为代表的基于深度学习的人工智能技术被广泛的应用，神经网络的构建一般分为训练和推理两个过程，由于训练过程所需要调用数据量和计算量较大，所以一般训练过程会在服务器端或云端进行，而推理过程需要的计算量相比于训练过程低，可以根据需求放在边缘端进行。

所以，现有技术的训练与推理一般是分开部署，即会利用服务器或者云端进行使用大规模数据的训练，待训练完成后再采用所获得的网络参数在靠近数据源的边缘端进行推理并采集数据。但是，如果按照现有技术这种将训练平台与推理平台分开部署的方案，此后应用环境随着时间的变化，网络参数需要进行更新，就要另外重新在服务器端或者云端进行训练，然后采用更新后的网络参数在边缘端重新进行推理及采集数据，由此会引发以下问题：训练与推理整个系统的处理时间变长而导致实时性变差，反应速度迟缓；无法及时地根据环境的变化来更新网络参数进而导致性能和准确度下降；并且考虑到数据和网络参数在云端(服务器端)与边缘端之间的交互成本，整个系统的能效也会降低。

发明内容

有鉴于此，为了解决上述问题，本发明采用了如下的技术方案：

本发明提供了一种自适应的神经网络训练与推理装置，所述自适应的神经网络训练与推理装置包括深度学习处理引擎阵列、存储模块以及自动更新控制模块。其中，所述深度学习处理引擎阵列包括激励函数模块和多个构成阵列的处理单元，用于执行神经网络的训练与推理；所述存储模块用于存储在训练与推理过程中神经网络每层的输出数据、神经网络每层的激励函数的求导值、神经网络每层的权重值以及训练样本，以供所述深度学习处理引擎阵列调用；所述自动更新控制模块用于控制所述深度学习处理引擎阵列执行前向传播推理，并根据所监测的网络输出控制所述深度学习处理引擎阵列执行反向传播训练以更新神经网络的网络参数。

优选地，所述自动更新控制模块包括置信度监测模块、更新次数间隔计数模块以及更新判断模块，其中，所述置信度监测模块用于监测通过计算获得的网络输出的置信度，并向更新判断模块输出所述置信度；所述更新次数间隔计数模块用于监测前次网络参数的更新后神经网络的运行次数，并向更新判断模块输出所述运行次数；所述更新判断模块用于判断所述置信度是否低于第一置信度阈值以及所述运行次数是否大于次数阈值，若所述置信度低于第一置信度阈值或所述运行次数大于次数阈值，控制所述深度学习处理引擎阵列执行反向传播训练以更新神经网络的网络参数。

优选地，所述存储模块包括训练样本存储模块、权重存储模块、数据存储模块、求导存储模块、数据存储控制模块以及权重存储控制模块。其中，所述训练样本存储模块用于存储训练样本；所述数据存储模块用于存储训练与推理过程中神经网络每层的输出数据；所述权重存储控制模块用于存储神经网络每层的权重值；所述求导存储模块用于存储神经网络每层的激励函数的求导值；所述数据存储控制模块用于在所述更新判断模块的控制下调用所述数据存储模块和求导存储模块分别与所述深度学习处理引擎阵列进行数据传输；所述权重存储控制模块用于在所述更新判断模块的控制下调用所述权重存储控制模块供所述深度学习处理引擎阵列进行权重的读写。

优选地，所述深度学习处理引擎阵列还包括激励函数求导模块。