[发明专利]深度学习加速的方法和设备及深度神经网络

说明书

本发明公开了一种深度学习加速的方法和设备及深度神经网络。所述方法包括：将深度神经网络的权重和偏差随机地初始化为n位定点数；将深度神经网络中计算量大于预定的第一阈值的层中的数据削减为m位定点数，其中m和n为整数且m<n，且保持其余层中的数据为n位定点数；以及对削减后的深度神经网络进行训练，直至收敛。

技术领域

本发明涉及一种深度学习加速的方法和设备及深度神经网络。

背景技术

由于深度神经网络对复杂数据模型的特征提取能力，基于深度学习的方法在大量实际应用中已经实现了非常好的性能。深度神经网络通常采用单精度浮点或双精度浮点格式数据来训练和推理神经网络。单精度浮点和双精度浮点数据操作需要使用CPU或GPU上的浮点处理单元。因此，深度学习所使用的硬件、能耗、速度和内存占用受限于单精度浮点和双精度浮点数据格式。

NVIDIA通过把单精度浮点压缩到半精度浮点来加速处理时间和降低内存使用。与单精度浮点相比，半精度浮点在内存中占用了16个字节，牺牲了数据精度以追求内存占用更少，速度更快。NVIDIA和微软定义了半精度浮点类型，并把半精度浮点类型应用到GeForce FX产品中。在Suyog Gupta等人的“有限数值精度的深度学习(Deep Learningwith Limited Numerical Precision)”中，使用随机舍入的策略来限定浮点数据精度，并训练深度神经网络。

虽然现有技术中已存在通过减小数据的表达精度来加速深度学习的方法，但仍期望提供其他深度学习加速的方法。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，该概述并不是关于本发明的穷举性概述，它并非意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为后文的具体实施方式部分的铺垫。

鉴于以上提出的问题，本发明提出了一种新的定点位数削减方法来降低定点位冗余以达到加速深度神经网络的训练和推理速度。

根据本发明的一方面，提供一种深度学习加速的方法，包括：将深度神经网络的权重和偏差随机地初始化为n位定点数；将所述深度神经网络中计算量大于预定第一阈值的层中的数据削减为m位定点数，其中m和n为整数且m<n，且保持其余层中的数据为n位定点数；以及对削减后的深度神经网络进行训练，直至收敛。

根据本发明的另一方面，提供一种深度学习加速的设备，包括：初始化装置，被配置成将深度神经网络的权重和偏差随机地初始化为n位定点数；削减装置，被配置成将所述深度神经网络中计算量大于预定第一阈值的层中的数据削减为m位定点数，其中m和n为整数且m<n，且保持其余层中的数据为n位定点数；以及训练装置，被配置成对削减后的深度神经网络进行训练，直至收敛。

根据本发明的又一方面，提供了一种深度神经网络，包括：输入层，接收要由所述深度神经网络处理的数据；输出层，输出由所述深度神经网络处理后的结果；以及多个隐藏层，耦接在所述输入层与所述输出层之间并且根据所述深度神经网络所要实现的功能来设计，其中，所述深度神经网络根据本发明的深度学习加速的方法来进行训练。

根据本发明的再一方面，还提供了一种计算机可读存储介质，所述存储介质包括机器可读的程序代码，当在信息处理设备上执行所述程序代码时，所述程序代码使得所述信息处理设备执行根据本发明的上述方法。

根据本发明的再一方面，还提供了一种程序。所述程序包括机器可执行的指令，当在信息处理系统上执行所述指令时，所述指令使得所述信息处理系统执行根据本发明的上述方法。

通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明