[发明专利]适合于硬件实现的神经网络参数优化方法、神经网络计算方法和装置

说明书

本发明涉及一种适合于硬件实现的神经网络参数优化方法、神经网络计算方法和装置。根据本发明的适合硬件实现的神经网络参数优化方法可以包括：将神经网络中的现有参数变换成符号化参数和对于每个通道具有单个值的大小参数；再通过剪枝已变换的大小参数而生成优化参数。因此，本发明提供通过在硬件实现中有效地优化卷积神经网络的大量计算及其参数而获得最小的精度损失和最快的计算速度的神经网络参数优化方法、神经网络计算方法及其装置。

技术领域

本发明涉及人工神经网络计算，尤其涉及一种适合于硬件实现的神经网络参数优化方法、神经网络计算方法及装置。

背景技术

近年来，随着人工智能(AI)技术的发展，许多行业已经引入并应用AI技术。

随之而来的是，越来越多应用场景寻求在硬件中实时地实现人工神经网络(例如卷积神经网络)的计算。

然而，由于卷积神经网络存在大量参数和计算量，现有技术中与人工神经网络相关的计算方法在实际应用中并不容易实现。

为了解决这个问题，业界提出在训练过程中忽略多余参数、减少某些参数的量化比特数等参数优化方法，用于在保持准确度的同时减少计算量。

然而，现有技术中涉及的参数优化方法局限于软件实现方式，并不考虑硬件实现。当仅使用这些方法在硬件中实时进行卷积神经网络计算时，存在一定的局限性。

因此，迫切需要一种用于适合于硬件实现的人工神经网络计算的实用且适用的技术。

发明内容

要解决的问题

本发明旨在解决上述问题，且提供了一种神经网络参数优化方法以及神经网络计算方法及其装置，以通过在硬件实现中有效地优化卷积神经网络的大量计算及其参数来实现最小的精度损失和最快的计算速度。

另外，本发明提供了一种神经网络参数优化方法以及神经网络计算方法及其装置，其可以以最小的计算速度损失来校正精度。

解决问题的方案

根据本发明的一个实施例的神经网络参数优化方法包括：将神经网络中的现有参数变换成符号化参数和对于每个通道具有单个值的大小参数，以及通过剪枝已变换的大小参数生成优化参数。

符号化参数可以确定对于现有参数的每个通道的元素方向，而大小参数是通过将权重优化为对于现有参数的每个通道的单个代表值来获得的。

所述变换可以包括通过计算对于现有参数的每个通道元素的绝对值的平均值而生成大小参数。

所述变换可以包括：若构成现有参数的既定元素小于0，则将对应的符号化参数的元素值表示为0，若构成现有参数的既定元素大于或等于0，则将对应的符号化参数的元素值表示为1来生成符号化参数。

剪枝可以包括通过使用对于每个输入通道的大小参数的平均值和大小分布或对于每个输入和输出通道的大小参数的平均值和大小分布来计算参考值；以及将相比于所计算的参考值具有小的值的大小参数设置为零，从而能够省略相应通道的卷积计算。

当使用构成预定层的输入通道的大小参数的平均值和大小分布执行剪枝时，以层特定常数与输入通道的大小参数的平均值的乘积计算参考值。当预定输入通道的大小参数的值小于参考值时，可以通过将相应通道的大小参数的值更改为零来执行剪枝。当使用构成预定层的输入和输出通道的大小参数的平均值和大小分布执行剪枝时，可以以层特定常数与输入和输出通道的大小参数的平均值的乘积计算参考值，当预定输入通道的大小参数的值小于参考值时，可以通过将相应通道的大小参数的值设为零来执行剪枝。

可以根据对于每个层的卷积参数分布来确定层特定常数的值。

神经网络参数优化方法可以进一步包括将神经网络的现有参数变换成尺度参数。