[发明专利]神经网络卷积计算的方法和装置

说明书

本申请提供了一种神经网络卷积运算的方法和装置，神经网络的第i层卷积层包括M个权值通道，M个权值通道被划分为N个权值通道组，该方法包括：从待输入该第i卷积层的数据中获取与第n个权值通道组中的每个权值通道对应的数据通道的数据；将数据输入第i卷积层以及对所输入每个数据通道的数据进行卷积运算，对每个数据通道的卷积运算结果求和；对求和的结果按照第n个权值通道组中每个通道对应的量化系数进行反量化计算；将反量化计算的结果与第n‑1个权值通道组对应的计算结果相加得到第n个权值通道组对应的计算结果。本申请提供的方法，可以减少每次输入到该卷积神经网络的数据量和中间数据的数据量，降低对硬件设备的要求。

技术领域

本申请涉及神经网络领域，更为具体的，涉及一种神经网络卷积计算的方法和装置。

背景技术

深度卷积神经网络在训练完成后拥有几百甚至上千万的参数，例如，卷积神经网络模型参数中包括的权重参数和偏置参数。目前，在卷积神经网络的计算过程中，将待计算的数据全部输入卷积层，然后逐层进行计算。由于现有的卷积神经网络的通道数越来越多，如果同时输入全部数据通道，会导致参数较多并且数据量较大，整个卷积计算过程需要消耗大量的存储和计算资源。随着深度神经网络的发展，需要消耗更大的存储和计算资源，因而难以移植到手机端或者存储芯片中。即使是通过网络将计算结果传输至手机端或者嵌入式芯片中，较高的带宽的占用率往往也成为工程实现的难题。

目前，在卷积神经网络的计算过程中，由于硬件设备(例如计算机装置)的计算能力有限，而且在神经网络的计算过程中，由于输入的待计算的数据较多，而且每一层卷积层的权值通道较多，会产生很多的中间结果，导致对硬件设备的要求过高。对于一些性能不够高的硬件设备来说，过多的输入数据和生成的中间数据可能会造成数据溢出，导致计算出现错误。

发明内容

本申请提供了一种神经网络卷积运算的方法和装置，可以减少每次输入到该卷积神经网络的数据量和生成的中间数据的数据量，降低对卷积计算的硬件设备的要求。

第一方面，提供了一种神经网络卷积运算的方法，该方法由计算机装置执行，该神经网络的第i层卷积层包括M个权值通道，该M个权值通道按照每个权值通道的系数矩阵被划分为N个权值通道组，每个权值通道组中的权值通道的系数矩阵具有相同的量化系数，该M大于等于2，该N小于等于M，该第i层卷积层为该神经网络的任意一个卷积层，该方法包括：从待输入该第i卷积层的数据中获取与第n个权值通道组中的每个权值通道对应的数据通道的数据；将所获取数据通道的数据输入该第i卷积层以及对所输入的每个数据通道的数据进行卷积运算，并对每个数据通道的卷积运算结果求和；对求和的结果按照该第n个权值通道组中每个通道对应的量化系数进行反量化计算；将该反量化计算的结果与第n-1个权值通道组对应的计算结果相加，得到第n个权值通道组对应的计算结果；计算第n+1个权值通道组对应的计算结果，直到待输入该第i卷积层的数据全部计算完毕。

本申请提供的神经网络卷积运算的方法，通过对卷积神经网络的权值通道的系数矩阵进行分组量化，并分组接收相应的输入数据，可以减少每次输入到该卷积神经网络的数据量，减少卷积计算的计算量和得到的中间数据的数据量，从而降低了对卷积计算的硬件设备的要求。

在第一方面一种可能的实现方式中，该方法还包括：对该第i卷积层的每个权值通道的系数矩阵中的系数取绝对值最大的值；确定每个权值通道的系数矩阵的绝对值最大值所落入的值域区间，在该计算机装置中预设有多段值域区间，每个值域区间表示一段连续的数据，且该每个值域区间的数据不重叠；根据所确定的值域区间将该M个权值通道分成N组，并确定每个分组对应的量化系数；根据每组权值通道的量化系数对每组权值通道的每个权值通道的系数矩阵进行量化。

在第一方面一种可能的实现方式中，该根据所确定的值域区间将该M个权值通道分成N组，包括：将所确定的具有相同值域区间的权值通道分为一组，得到L组权值通道；将该L组权值通道按照该值域区间的大小顺序分为N组。在该实现方式中，