[发明专利]基于GPU的卷积神经网络批归一化处理方法

权利要求书

1.一种基于GPU的卷积神经网络批归一化处理方法，所述卷积神经网络包括多个训练通道，所述GPU包括多个计算单元，其特征在于，所述批归一化处理方法包括：

获取输入的训练数据集，所述训练数据集包括多个与所述多个训练通道一一对应的训练数据子集；

判断所述训练数据子集的数据规模是否超过预定阈值；

在所述训练数据子集的数据规模未超过预定阈值时，所述训练数据子集被分配并缓存至所述GPU的一个计算单元上，所述计算单元对分配到的所述训练数据子集进行批归一化；

在所述训练数据子集的数据规模超过预定阈值时，所述训练数据子集被分配并缓存至所述GPU的至少两个计算单元上，所述至少两个计算单元对分配到的所述训练数据子集进行批归一化。

2.如权利要求1所述的卷积神经网络批归一化处理方法，其特征在于，所述预定阈值与所述GPU的一个计算单元的片上高速存储的存储容量相匹配。

3.如权利要求1所述的卷积神经网络批归一化处理方法，其特征在于，所述计算单元对分配到的所述训练数据子集进行批归一化包括：

根据公式计算所述训练数据子集的均值，其中，m为所述训练数据子集所包括的训练数据的数量，x_i为所述训练数据子集中的第i个训练数据；

根据公式计算所述训练数据子集的方差；

基于计算出的所述训练数据子集的均值和方差，根据公式实施对所述训练数据子集的归一化处理；

根据公式对经过归一化处理后的训练数据子集中的每个训练数据进行偏移操作，其中，γ、β为偏移参数。

4.如权利要求1所述的卷积神经网络批归一化处理方法，其特征在于，所述至少两个计算单元对分配到的所述训练数据子集进行批归一化包括：

所述至少两个计算单元中的各所述计算单元分别计算出分配到的训练数据的局部和值及局部平方和值；

基于各所述计算单元计算出的所述局部和值和所述局部平方和值，计算出所述训练数据子集的总和值和总平方和值；

根据公式及公式分别计算出所述训练数据子集的均值及方差，其中，m为所述训练数据子集所包括的训练数据的数量，Sum为所述训练数据子集的总和值，squareSum为所述训练数据子集的总平方和值；

基于计算出的所述训练数据子集的均值和方差，根据公式实施对所述训练数据子集的归一化处理，其中，x_i为所述训练数据子集中的第i个训练数据；

根据公式对经过归一化处理后的训练数据子集中的每个训练数据进行偏移操作，其中，γ、β为偏移参数。

5.如权利要求4所述的卷积神经网络批归一化处理方法，其特征在于，所述基于各所述计算单元计算出的所述局部和值和所述局部平方和值，计算出所述训练数据子集的总和值和总平方和值包括：

在全局存储器中设置和值累加器和平方和值累加器，并将所述和值累加器和所述平方和值累加器的初始值置为零；

各所述计算单元通过原子操作分别将各自计算出的所述局部和值、所述局部平方和值累加至所述值累加器、所述平方和值累加器，以获得所述训练数据子集的总和值和总平方和值。

6.如权利要求4所述的卷积神经网络批归一化处理方法，其特征在于，在计算出所述训练数据子集的均值及方差后，还包括：通过插入内存栅栏实现对GPU的各所述计算单元的同步。