[发明专利]一种数据处理方法及装置

说明书

本申请实施例提供了一种深度神经网络量化方法及装置，深度神经网络量化方法可以包括：获取深度神经网络中的待量化数据层，其中，待量化数据层包括参数层和/或激活量；根据待量化数据层中各待量化数据与预设阈值的大小关系，将待量化数据层划分为小值区域及大值区域，其中，小值区域中的各待量化数据小于大值区域中的各待量化数据；分别对小值区域中各待量化数据以及大值区域中各待量化数据进行量化，得到量化后的待量化数据层。通过本方案，可以实现同时满足高精度及高动态范围的需求，提高DNN的运算性能。

技术领域

本申请涉及机器学习技术领域，特别是涉及一种深度神经网络量化方法及装置。

背景技术

DNN(Deep Neural Network，深度神经网络)作为机器学习研究中的一个新兴领域，通过模仿人脑的机制来解析数据，是一种通过建立和模拟人脑进行分析学习的智能模型。目前，例如CNN(Convolutional Neural Network，卷积神经网络)、RNN(RecurrentNeural Network，循环神经网络)、LSTM(Long Short Term Memory，长短期记忆网络)等DNN已在目标检测与分割、行为检测与识别、语音识别等方面得到了很好的应用。

传统的DNN一般采用双精度或单精度浮点数据的乘/加操作来实现网络基本单元的运算，随着参与运算的数据量越来越多，使得DNN的计算量越来越大，这样，给实现DNN的硬件资源带来巨大压力。

为了减少硬件资源的压力，需要对DNN的各数据层(包括参数层和激活量)进行定点化压缩，将数据层中的各数据量化至统一的较低比特数。但是，由于数据层中数据的分布具有长尾特性，将所有数据量化至统一的比特数，无法同时满足高精度及高动态范围的需求，导致DNN的运算性能较差。

发明内容

本申请实施例的目的在于提供一种深度神经网络量化方法及装置，以实现同时满足高精度及高动态范围的需求，提高DNN的运算性能。具体技术方案如下：

第一方面，本申请实施例提供了一种深度神经网络量化方法，所述方法包括：

获取深度神经网络中的待量化数据层，其中，所述待量化数据层包括参数层和/或激活量；

根据所述待量化数据层中各待量化数据与预设阈值的大小关系，将所述待量化数据层划分为小值区域及大值区域，其中，所述小值区域中的各待量化数据小于所述大值区域中的各待量化数据；

分别对所述小值区域中各待量化数据以及所述大值区域中各待量化数据进行量化，得到量化后的待量化数据层。

可选的，所述根据所述待量化数据层中各待量化数据与预设阈值的大小关系，将所述待量化数据层划分为小值区域及大值区域，包括：

将所述待量化数据层中小于或等于预设阈值的待量化数据划分为小值区域，并将所述待量化数据层中大于所述预设阈值的待量化数据划分为大值区域；

或者，

将所述待量化数据层中小于所述预设阈值的待量化数据划分为小值区域，并将所述待量化数据层中大于或等于所述预设阈值的待量化数据划分为大值区域。

可选的，所述分别对所述小值区域中各待量化数据以及所述大值区域中各待量化数据进行量化，包括：

将所述小值区域中各待量化数据量化至第一预设比特数，并将所述大值区域中各待量化数据量化至第二预设比特数，其中，所述第二预设比特数大于或等于所述第一预设比特数。

可选的，所述根据所述待量化数据层中各待量化数据与预设阈值的大小关系，将所述待量化数据层划分为小值区域及大值区域，包括：

将所述待量化数据层中小于或等于预设阈值的待量化数据划分为小值区域，并将所述待量化数据层中大于所述预设阈值的待量化数据划分为大值区域；