[发明专利]一种全连接神经网络优化方法和装置

说明书

本发明公开一种全连接神经网络优化方法和装置，方法包括：计算各隐藏层与输出层中神经元的输入表达式；计算得到各隐藏层中神经元对输出层各神经元的影响程度表达式；计算各隐藏层神经元对输出层的总影响程度表达式；基于输入样本数据集中的样本数据，计算得到各隐藏层神经元对输出层的总影响程度值；对总影响程度值较小的神经元的输入进行近似处理，即得到优化后的神经网络。本发明通过考察隐藏层中每个神经元对输出信号的影响程度，对影响程度较小的神经元的输入信号进行近似，可在保证输出精度的基础上减少内存占比和功耗开销。

技术领域

本发明涉及人工智能技术领域，特别是一种全连接神经网络优化方法和装置。

背景技术

近几年来，人工智能神经网络的研究工作不断深入，在模式识别、智能机器人、预测估计、生物医学等领域良好地解决了许多现代计算机难以解决的实际问题。

随着科技的发展和社会的需求，人工神经网络的应用越来越广泛。当神经网络处于外太空等恶劣辐射环境下时，会造成神经网络的可靠性降低，最终导致失效，这是一个不可忽视的问题。对神经网络中部分神经元进行加固可以有效地提高其可靠性。

高效的内存和数据访问对于实现神经网络来说至关重要。在小规模神经网络中，通过内存传输最小化可以有效地提高效率，但对于大规模神经网络而言却不适用，因此，高可靠性以及高效内存和数据访问效率仍是目前业内针对大规模神经网络的主要研究目标。

发明内容

本发明的发明构思为：在大多数神经网络中，部分神经元对输出的影响较小，若能在一定程度上放宽这些神经元的计算精度要求，即对这些神经元进行近似计算，则可以在满足输出精度要求的前提下有效地减少内存占比和功耗开销。

因此，本发明的目的是提供一种全连接神经网络优化方法和装置，通过近似存储，在保证输出精度的基础上，减少内存占比和功耗开销。

本发明采取的技术方案为：一种全连接神经网络优化方法，包括：

获取已训练完成的待优化神经网络结构数据及其输入样本数据集；

以输入层的输入为变量，计算得到神经网络中各隐藏层与输出层中各神经元的输入表达式；

基于各神经元的输入表达式，计算得到各隐藏层中各神经元对输出层各神经元的影响程度表达式；

基于各隐藏层神经元对输出层各神经元的影响程度表达式，计算得到各隐藏层神经元对输出层的总影响程度表达式；

基于输入样本数据集中的样本数据，通过各隐藏层神经元对输出层的总影响程度表达式，计算得到各隐藏层神经元对输出层的总影响程度值；

针对总影响程度值较小的神经元，将它们的输入进行近似处理，即得到优化后的神经网络。

所述近似处理可为位宽缩减等现有处理方法。本发明对总影响程度值较小的神经元的输入进行近似处理，可有效减小神经网络的功耗开销。

可选的，方法还包括：对预设数量的总影响程度值较大的神经元的输入进行加固处理。所述加固处理可为三模冗余等现有处理方法。对总影响程度值较大的神经元输入进行加固，可进一步提高神经网络的可靠性。

可选的，方法还包括：根据总影响程度值的从大到小对各隐藏层神经元进行排序；然后对排序中在前的设定m个隐藏层神经元的输入进行加固处理，对排序中在后的设定n个隐藏层神经元的输入进行近似处理。当然，排序操作也可以是从小到大进行排列，此时则总影响程度较大的m个隐藏层神经元在后，总影响程度较小的n个隐藏层神经元在前。m和n的数量可根据隐藏层神经元的总数进行调整。

可选的，待优化神经网络结构包括1个输入层、1个输出层和至少1个隐藏层，各层分别包含多个神经元；所述待优化神经网络结构数据包括神经网络中各层所包含的神经元数量、各神经元的激活函数，以及相邻层神经元之间的权重值。