[发明专利]一种神经网络模型处理方法和装置

权利要求书

1.一种神经网络模型处理方法，包括：

获取待处理任务；

将所述待处理任务发送给第一计算单元和第二计算单元进行处理，其中，所述第一计算单元上运行有第一神经网络模型，所述第一神经网络模型为基于浮点数据和浮点运算规则的模型；所述第二计算单元上运行有第二神经网络模型，所述第二神经网络模型为将所述第一神经网络模型转换为基于定点数据和定点运算规则后得到的模型。

2.根据权利要求1所述的方法，其中，将所述待处理任务发送给所述第一计算单元和所述第二计算单元进行处理包括：

将所述待处理任务中的待处理对象分为多个块，其中，所述多个块的大小相同或者不同；将所述多个块的一部分块发送至第一计算单元进行处理；将所述多个块中的另一部分块发送至第二计算单元进行处理。

3.根据权利要求1所述的方法，其中，将所述待处理任务发送给所述第一计算单元和所述第二计算单元进行处理包括：

将所述待处理任务发送给所述第一计算单元和所述第二计算单元中的一个计算单元进行处理，在所述一个计算单元处理所述待处理任务过程中，将所述待处理任务从所述一个计算单元切换至所述第一计算单元和所述第二计算单元中的另一个计算单元进行处理；或者，

将所述待处理任务的一部分发送给所述第一计算单元和所述第二计算单元中的一个计算单元进行处理，将所述待处理任务的另一部分发给所述第一计算单元和所述第二计算单元中的另一个计算单元进行处理。

4.根据权利要求1所述的方法，其中，在获取所述待处理任务之前，还包括：

获取训练完毕之后的第一神经网络模型的卷积层的参数，其中，所述第一神经网络模型包括多个卷积层；

根据所述第一神经网络模型的卷积层的参数得到所述第二神经网络模型的卷积层的参数，并对第二神经网络模型的卷积层的部分或全部参数进行重新训练；

对所述第二神经网络模型的卷积层的参数进行量化，其中，所述量化用于将用浮点表示的参数转化为用定点表示，进行量化的参数包括未经过训练的参数以及重新训练后得到的参数。

5.根据权利要求4所述的方法，其中，根据所述第一神经网络模型的卷积层的参数得到所述第二神经网络模型的卷积层的参数包括：

从所述第一神经网络模型中的卷积层的卷积中获取待配置给所述第二神经网络模型对应卷积的参数，并对获取到的参数进行拆分得到多个数值，其中，所述多个数值的和等于所述参数的值；

对所述第二神经网络模型的卷积层进行卷积扩充，其中，所述第二神经网络中未扩充前存在的卷积为原始卷积，扩充的卷积为扩充卷积；

将所述多个数值一一配置给所述原始卷积和所述扩充卷积。

6.根据权利要求5所述的方法，其中，获取待配置给所述第二神经网络模型对应卷积的参数，并对获取到的参数进行拆分得到多个数值包括：

获取绝对值满足预定条件的参数；将绝对值满足所述预定条件的参数进行拆分，其中，所述预定条件包括以下至少之一：绝对值最大的前预定数量个参数进行拆分、绝对值大于第一阈值的参数进行拆分；和/或，

将获取到的参数通过界面显示给用户；接收所述用户根据所述界面选择的参数，将所述用户选择的参数进行拆分。

7.根据权利要求5所述的方法，其中，将所述多个数值一一配置给所述原始卷积和所述扩充卷积包括：

将所述多个数值一一配置给所述原始卷积对应的槽和扩充卷积的槽，其中，所述参数包括卷积的权重和/或偏置，扩充卷积后的权重cw的维数为{nout+cnout,nin+cnin,k,k}，扩充卷积后的偏置cb的维数为{nout+cnout}，nout为当前卷积层输出通道数量，nin为与当前卷积层输入通道数量，cnout为所述当前卷积层的扩充卷积的通道数量，cnin为与所述当前卷积层相邻的上一层卷积层扩充卷积的通道数量，k为卷积核的尺寸，将cw[i,:,:,:]和/或cb[i]称为槽，i＝0,1,2,...,nout+cnout；配置了所述数值的所述扩充卷积的槽为所述原始卷积对应的槽的征用槽。