[发明专利]数据处理方法、装置、电子设备以及存储介质

权利要求书

1.一种数据处理方法，包括：

从存储介质中读取待处理对象关于目标神经网络层的激活矩阵，以及，读取所述目标神经网络层的参数矩阵；所述激活矩阵的数值精度为第一精度；所述参数矩阵的数值精度为第二精度；所述第二精度低于所述第一精度；

采用至少一个内核将所述激活矩阵分离为第一矩阵和第二矩阵，并从所述参数矩阵中获取与所述第一矩阵对应的第三矩阵，以及与所述第二矩阵对应的第四矩阵；其中，所述第一矩阵采用所述第一精度，所述第二矩阵采用所述第二精度，所述第一矩阵基于所述激活矩阵中的非离群通道构建，所述第二矩阵基于所述激活矩阵中的离群通道构建；

对所述第一矩阵和所述第三矩阵执行矩阵乘积操作，得到第一处理结果；以及，

对所述第二矩阵和所述第四矩阵执行矩阵乘积操作，得到第二处理结果；

将所述第一处理结果和所述第二处理结果进行融合，得到所述目标神经网络层对所述激活矩阵的数据处理结果。

2.根据权利要求1所述的方法，其中，所述采用至少一个内核将所述激活矩阵分离为第一矩阵和第二矩阵，并从所述参数矩阵中获取与所述第一矩阵对应的第三矩阵，以及与所述第二矩阵对应的第四矩阵，包括：

采用所述第一内核从所述激活矩阵中筛选出离群通道，并确定所述离群通道的标记，以构建所述第一矩阵；

采用第二内核按所述离群通道的标记，从所述激活矩阵中提取出所述离群通道，并基于所述离群通道构建所述第二矩阵；以及，

采用所述第二内核按所述离群通道的标记，从所述参数矩阵中提取出与所述第二矩阵对应的参数值，以构建所述第四矩阵；

其中，所述参数矩阵为所述第三矩阵。

3.根据权利要求2所述的方法，其中，采用第一内核构建所述第一矩阵，包括：

采用所述第一内核启动L个线程块block，并在每个线程块内发射q个线程，其中：L小于或等于所述激活矩阵的总行数，q小于或等于激活矩阵中同一行包含的激活值数，且每个block负责所述激活矩阵中的至少一行激活值，每个线程负责至少一个激活值；

针对所述激活矩阵中的每行的激活值，采用对应的block执行以下操作：

基于所述block确定所述行的激活值的最大值；

控制所述block内的每个线程，基于所述最大值将所述行的激活值内所述线程负责的激活值量化为所述第二精度，并将所述离群通道对应的激活值设置为默认值，以得到所述第一矩阵。

4.根据权利要求2或3所述的方法，其中，采用所述第一内核从所述激活矩阵中筛选出离群通道，并确定所述离群通道的标记，包括：

针对所述第一内核中的每个线程，在所述线程负责的激活值中，存在任一激活值大于预设阈值的情况下，由所述线程将所述任一激活值所在的列标识编码为离群通道的标记，以使得所述离群通道的标记占用目标数量的比特位。

5.根据权利要求4所述的方法，其中，所述将任一激活值所在的列标识编码为离群通道的标记，包括：

将所述离群通道在所述激活矩阵中的列标识编码为占用1个比特的第一目标值；

其中，非离群通道在所述激活矩阵中的列标识保持为占用1个比特的第二目标值。

6.根据权利要求2-5中任一项所述的方法，其中，所述采用第二内核按所述离群通道的标记，从所述激活矩阵中提取出所述离群通道，并基于所述离群通道构建所述第二矩阵，包括：

采用所述第二内核启动指定数量的线程，并分配所述指定数量的线程中的m个线程分别执行以下操作：

从所述激活矩阵中抽取出所述离群通道中与所述线程对应的激活值；

将所述激活值按序存储到所述第二矩阵中；

其中，m为所述激活矩阵中每列包含的激活值的数量。