[发明专利]基于GPU的计算二值神经网络卷积的方法及装置

权利要求书

1.一种基于GPU的计算二值神经网络卷积的方法，其特征在于，包括：

获取根据二值神经网络执行卷积操作的计算请求；

根据所述计算请求，开启GPU上的至少一个线程块，其中，每个线程块包括多个线程；

基于两级分块策略，确定所述至少一个线程块中每个线程块的计算区域范围，并确定每个线程块所包括的线程的计算区域范围；

所述至少一个线程块中的每个线程块内的各个线程执行计算过程，得到计算结果；

根据每个线程块内的各个线程得到的所述计算结果，确定相应的线程块的输出结果；被执行卷积操作的输入数据的物理数据布局为：所述输入数据在通道数维度分为多组，每组包括连续的b位，同一组中的位在物理存储空间上是连续的，相邻的组在所述物理存储空间上是不相邻的；其中b与所述GPU的显存位宽一致。

2.如权利要求1所述的方法，其特征在于，所述计算过程包括：

使用异或操作模拟XNOR操作的行为对所述输入数据进行计算，并使用popcount指令计算异或操作得到的结果中为1的位的数量，作为所述计算结果。

3.如权利要求2所述的方法，其特征在于，所述根据每个线程块内的各个线程得到的所述计算结果，确定相应的线程块的输出结果包括：

利用投票函数对每个线程块内的各个线程得到的所述计算结果进行统计，如果所述计算结果中为1的位的数量大于为0的位的数量，则确定所述线程对应的判定结果为正，否则所述线程对应的判定结果为负；

将各个线程的所述判定结果整合成一个整数，得到相应的线程块的输出结果。

4.如权利要求1至3任一项所述的方法，其特征在于，所述两级分块策略包括：高层分块策略和低层分块策略，

所述基于两级分块策略，确定所述至少一个线程块中每个线程块的计算区域范围，并确定每个线程块所包括的线程的计算区域范围，包括：

基于所述高层分块策略，确定所述每个线程块的计算区域范围，并进一步根据所述低层分块策略，确定所述每个线程块所包括的线程的计算区域范围。

5.如权利要求4所述的方法，其特征在于，所述高层分块策略依赖于所述GPU的共享内存的总量限制，所述低层分块策略依赖于所述GPU的寄存器的数量限制以及最大化指令级别的并行。

6.如权利要求1所述的方法，其特征在于，在所述确定相应的线程块的输出结果之后，还包括：

将所述输出结果存储在物理存储空间中，其中，所述输出结果的物理数据布局为：所述输出结果在通道数维度分为多组，每组包括连续的b位，同一组中的位在所述物理存储空间上是连续的，相邻的组在所述物理存储空间上是不相邻的；其中b与所述GPU的显存位宽一致。

7.如权利要求1所述的方法，其特征在于，还包括：在所述每个线程块执行计算过程时，将输入数据载入共享内存中。

8.一种基于GPU的计算二值神经网络卷积的装置，其特征在于，包括：

获取模块，用于获取根据二值神经网络执行卷积操作的计算请求；

开启模块，用于根据所述获取模块获取的所述计算请求，开启GPU上的至少一个线程块，其中，每个线程块包括多个线程；

确定模块，用于基于两级分块策略，确定所述至少一个线程块中每个线程块的计算区域范围，并确定每个线程块所包括的线程的计算区域范围；

计算模块，用于所述至少一个线程块中的每个线程块内的各个线程执行计算过程，得到计算结果；

统计模块，用于根据每个线程块内的各个线程得到的所述计算结果，确定相应的线程块的输出结果；被执行卷积操作的输入数据的物理数据布局为：所述输入数据在通道数维度分为多组，每组包括连续的b位，同一组中的位在物理存储空间上是连续的，相邻的组在所述物理存储空间上是不相邻的；其中b与所述GPU的显存位宽一致。