[发明专利]一种应用于神经网络芯片的预测方法和预测装置

权利要求书

1.一种应用于神经网络芯片的预测方法，其特征在于，所述预测方法应用于图像识别或语音识别领域，所述方法包括：

在神经网络训练过程中，对当前层的M个输出数据进行划分，得到所述当前层的M个输出数据分布区间，其中，所述神经网络包括输入层和输出层，所述输入层的输入数据包括图像的像素值；

对所述当前层的M个输出数据分布区间中的每个输出数据分布区间内的输出数据进行统计，得到所述每个输出数据分布区间内的输出数据的数量占所述M个输出数据的总体数量的比率；

基于所述M个输出数据分布区间对应的比率和预设的比特宽度，对所述当前层的M个输出数据进行比特宽度约束，得到所述M个输出数据分布区间中的N个分布区间的第一起始比特和第一终止比特，其中所述比特宽度为所述第一终止比特与所述第一起始比特之间的距离，所述N个分布区间对应的比率满足预设规则；以及

在神经网络预测过程中，基于所述第一起始比特和所述第一终止比特，对所述当前层的M个输出数据进行比特宽度约束，以实现所述神经网络芯片的预测，对图像或语音进行识别；

其中，所述对当前层的M个输出数据进行划分，得到所述当前层的M个输出数据分布区间，包括：

以2的n次方为界，对所述当前层的M个输出数据进行划分，得到所述当前层的M个输出数据分布区间，其中n为整数，

其中，所述方法还包括：

以2的n次方为界，对所述当前层的M个权重数据进行划分，得到所述当前层的M个权重数据分布区间，其中n为整数；

对所述当前层的M个权重数据分布区间中的每个权重数据分布区间内的权重数据进行统计，得到所述每个权重数据分布区间内的权重数据的数量占所述M个权重数据的总体数量的比率；

基于所述M个权重数据分布区间对应的比率和预设的比特宽度，对所述当前层的M个权重数据进行比特宽度约束，得到所述M个权重数据分布区间中的N个分布区间的第二起始比特和第二终止比特，其中所述比特宽度为所述第二终止比特与所述第二起始比特之间的距离，所述N个分布区间对应的比率满足预设规则；以及

在神经网络预测过程中，基于所述第二起始比特和所述第二终止比特，对所述当前层的M个权重数据进行比特宽度约束，以实现所述神经网络芯片的预测；

其中，所述方法还包括：

以2的n次方为界，对所述当前层的M个偏置数据进行划分，得到所述当前层的M个偏置数据分布区间，其中n为整数；

对所述当前层的M个偏置数据分布区间中的每个偏置数据分布区间内的偏置数据进行统计，得到所述每个偏置数据分布区间内的偏置数据的数量占所述M个偏置数据的总体数量的比率；

基于所述M个偏置数据分布区间对应的比率和预设的比特宽度，对所述当前层的M个偏置数据进行比特宽度约束，得到所述M个偏置数据分布区间中的N个分布区间的第三起始比特和第三终止比特，其中所述比特宽度为所述第三终止比特与所述第三起始比特之间的距离，所述N个分布区间对应的比率满足预设规则；以及

在神经网络预测过程中，基于所述第三起始比特和所述第三终止比特，对所述当前层的M个偏置数据进行比特宽度约束，以实现所述神经网络芯片的预测；

其中，所述当前层为卷积层，所述方法还包括：

在神经网络训练过程中，对神经网络的输入层的M个输入数据进行数据预处理，得到所述输入层的M个输出数据，将所述输入层的M个输出数据作为所述卷积层的M个输入数据；以及

对所述卷积层的M个输入数据进行卷积，得到所述卷积层的M个输出数据。

2.根据权利要求1所述的预测方法，其特征在于，所述当前层为激活层，所述方法还包括：

对所述激活层的M个输入数据进行激活，得到所述激活层的M个输出数据。

3.根据权利要求1所述的预测方法，其特征在于，所述当前层为池化层，所述方法还包括：

对所述池化层的M个输入数据进行采样，得到所述池化层的M个输出数据。

4.根据权利要求1所述的预测方法，其特征在于，所述当前层为全连接层，所述方法还包括：

对所述全连接层的M个输入数据进行分类，得到所述全连接层的M个输出数据。

5.根据权利要求1所述的预测方法，其特征在于，所述预设的比特宽度在1比特到32比特的范围内。