[发明专利]一种矩阵运算方式的选择方法、装置、设备以及存储介质

权利要求书

1.一种矩阵运算方式的选择方法，其特征在于，包括：

识别神经网络所处的候选硬件环境；其中所述候选硬件环境包括CPU、AVX、SSE以及昇腾设备中至少一种；

从至少一种候选硬件环境中确定目标硬件环境，并确定所述目标硬件所对应的目标矩阵运算方式；

采用所述目标矩阵运算方式对所述神经网络进行运算。

2.根据权利要求1所述的方法，其特征在于，若所述候选硬件环境包括至少两种，则从至少一种候选硬件环境中确定目标硬件环境，包括：

根据候选硬件环境的优先级，从至少两种候选硬件环境中确定目标硬件环境。

3.根据权利要求1所述的方法，其特征在于，若所述目标硬件环境为CPU，则所述采用所述目标矩阵运算方式对所述神经网络进行运算，包括：

对于所述神经网络的每一层，将该层的上一层的输出矩阵作为该层的输入矩阵；

对于所述输入矩阵的每一行向量，遍历该层的权重矩阵的列向量；

对于每一列向量，分别计算该行向量的元素与该列向量的对应元素的乘积，并将各乘积相加，得到该行向量和该列向量的点积；

将各所述点积分别与偏置值相加，得到该层的输出矩阵的元素。

4.根据权利要求1所述的方法，其特征在于，若目标硬件环境为AVX或SSE，则所述采用所述目标矩阵运算方式对所述神经网络进行运算，包括：

对于所述神经网络的每一层，将该层的上一层的输出矩阵作为该层的输入矩阵；

对于所述输入矩阵的每一行向量，遍历该层的权重矩阵的列向量；

对于每一列向量，将该行向量和该列向量传递给AVX或SSE，得到该行向量与该列向量的点积；

将各所述点积分别与偏置值相加，得到该层的输出矩阵。

5.根据权利要求1所述的方法，其特征在于，若所述目标硬件环境为昇腾设备，则所述采用所述目标矩阵运算方式对所述神经网络进行运算，包括：

对于所述神经网络的每一层，将该层的上一层的输出矩阵作为该层的输入矩阵；

根据所述输入矩阵，构建第一矩阵，并根据该层的权重矩阵构建第二矩阵；

将所述第一矩阵、所述第二矩阵和偏置向量从主机内存复制到昇腾设备的内存中；

调用矩阵乘算子，对所述第一矩阵、所述第二矩阵和所述偏置向量进行计算，得到该层的输出矩阵。

6.根据权利要求1所述的方法，其特征在于，所述识别神经网络所处候选硬件环境之后，还包括：

根据用户配置信息，识别神经网络是否处于设定硬件环境；

若是，则将所述设定硬件环境对应的矩阵运算方式作为目标矩阵运算方式。

7.根据权利要求6所述的方法，其特征在于，还包括：

若识别到神经网络没有处于所述设定硬件环境，则向用户展示错误信息。

8.一种矩阵运算方式的选择装置，其特征在于，包括：

候选环境识别模块，用于识别神经网络所处的候选硬件环境；其中所述候选硬件环境包括CPU、AVX、SSE以及昇腾设备中至少一种；

目标确定模块，用于从至少一种候选硬件环境中确定目标硬件环境，并确定所述目标硬件所对应的目标矩阵运算方式；

运算模块，用于采用所述目标矩阵运算方式对所述神经网络进行运算。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的矩阵运算方式的选择方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的矩阵运算方式的选择方法。