[发明专利]深度学习加速的方法和设备及深度神经网络

权利要求书

1.一种深度学习加速的方法，包括：

将深度神经网络的权重和偏差随机地初始化为n位定点数；

将所述深度神经网络中计算量大于预定第一阈值的层中的数据削减为m位定点数，其中m和n为整数且m<n，且保持其余层中的数据为n位定点数；以及

对削减后的深度神经网络进行训练，直至收敛。

2.根据权利要求1所述的方法，还包括：对初始化后的深度神经网络进行初步训练，达预定轮数，

其中，所述削减针对初步训练后的深度神经网络来执行。

3.根据权利要求2所述的方法，在所述初步训练和所述训练中，当数据溢出时，根据所述数据的大小来自动调整所述数据的定点数格式。

4.根据权利要求3所述的方法，其中，当数据溢出时自动调整所述数据的定点数格式包括：

i)判定所述数据是否超出当前的定点数格式所能表达的范围；

ii)如果判定出所述数据超出当前的定点数格式所能表达的范围，则通过使当前的定点数格式的整数部的位数增加1且小数部的位数减小1来更新定点数格式；

iii)重复执行上述操作i)和ii)，直至所述数据未超出更新后的定点数格式所能表达的范围且更新后的定点数格式的小数部的位数大于等于预定第二阈值，此时用更新后的定点数格式表示所述数据，或者直至更新后的定点数格式的小数部的位数小于预定第二阈值；

iv)当更新后的定点数格式的小数部的位数小于预定第二阈值时，增加小数部的位数，从而增加m的值；以及

v)重复执行上述操作i)至iv)，直至所述数据未超出更新后的定点数格式所能表达的范围且更新后的定点数格式的小数部的位数大于等于预定第二阈值，此时用更新后的定点数格式表示所述数据。

5.根据权利要求1至4中任一项所述的方法，其中，在所述训练期间，在反向传播中利用梯度下降法来求解在前向传播中计算的损失项的极值。

6.根据权利要求5所述的方法，其中，在反向传播中，首先按照预定比例放大所述损失项，然后在更新权重和偏差之前，按照所述预定比例缩小梯度。

7.根据权利要求1至4中任一项所述的方法，其中，在所述训练中，在其小数部的位数不同的数据之间执行运算之前，根据数据的小数部的位数之差来对数据执行数据精度转换。

8.根据权利要求1至4中任一项所述的方法，其中，在所述初始化中，根据所述数据所归属的所述深度神经网络中的参数的类型来为所述数据设定相应的定点数格式。

9.一种深度学习加速的设备，包括：

初始化装置，被配置成将深度神经网络的权重和偏差随机地初始化为n位定点数；

削减装置，被配置成将所述深度神经网络中计算量大于预定第一阈值的层中的数据削减为m位定点数，其中m和n为整数m<n，且保持其余层中的数据为n位定点数；以及

训练装置，被配置成对削减后的深度神经网络进行训练，直至收敛。

10.一种深度神经网络，包括：

输入层，接收要由所述深度神经网络处理的数据；

输出层，输出由所述深度神经网络处理后的结果；以及

多个隐藏层，耦接在所述输入层与所述输出层之间并且根据所述深度神经网络所要实现的功能来设计，

其中，所述深度神经网络根据权利要求1至8中任一项所述的方法来进行训练。