[发明专利]一种AI芯片的运行方式的确定方法和装置

权利要求书

1.一种人工智能AI芯片的运行方式的确定方法，其特征在于，所述方法包括：

获得目标神经网络模型；

获得AI芯片支持的运行方式的不同组合，其中，每种组合中包括：所述目标神经网络模型中的各个网络层的运行方式；每个网络层的运行方式包括：所述AI芯片中执行该网络层的算法的计算单元，和/或，所述AI芯片中的计算单元执行该网络层的算法时采用的数据存储格式；使得所述AI芯片基于所述不同组合，用所述目标神经网络模型对第一预设测试数据进行多次处理；

获得所述AI芯片每次对所述第一预设测试数据处理完成所用的第一处理时长；

选择第一处理时长最短的组合中包括的运行方式，确定为基于所述目标神经网络模型对数据进行处理时，所述AI芯片的运行方式；

所述获得AI芯片支持的运行方式的不同组合，包括：

确定所述目标神经网络模型中符合第一预设条件的网络层，作为第一网络层；

获得所述第一网络层支持的运行方式的不同子组合；其中，每种子组合中包括：各个第一网络层的运行方式；

获得所述目标神经网络模型中的各个非第一网络层的预设运行方式；

对所述第一网络层支持的运行方式的不同子组合，和所述各个非第一网络层的预设运行方式进行组合，得到AI芯片支持的运行方式的不同组合；

所述确定所述目标神经网络模型中符合第一预设条件的网络层，作为第一网络层，包括：

按照网络层连接的先后顺序，确定所述目标神经网络模型中前第二数目个网络层，作为第二网络层；

确定所述第二网络层中不符合第二预设条件的网络层，作为第一网络层；

所述获得所述目标神经网络模型中的各个非第一网络层的预设运行方式，包括：

确定所述第二网络层中符合所述第二预设条件的卷积层和/或全连接层，作为第三网络层；

获得所述第三网络层支持的运行方式；使得所述AI芯片基于所述第三网络层支持的运行方式，用所述第三网络层对第二预设测试数据进行多次处理；

获得所述AI芯片每次对所述第二预设测试数据处理完成所用的第二处理时长；

选择第二处理时长最短的运行方式，确定为所述第三网络层的预设运行方式；

确定所述目标神经网络模型中的各个非第一网络层中，除所述第三网络层以外的网络层的预设运行方式为指定运行方式。

2.根据权利要求1所述的方法，其特征在于，所述确定所述目标神经网络模型中符合第一预设条件的网络层，作为第一网络层，包括：

按照网络层连接的先后顺序，确定所述目标神经网络模型中前第一数目个网络层，作为第一网络层。

3.根据权利要求1所述的方法，其特征在于，所述第二预设条件包括以下至少之一：

输入通道个数为第三数目；

卷积核个数为第四数目。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述第一网络层为卷积层和/或全连接层。

5.根据权利要求1所述的方法，其特征在于，在所述选择第一处理时长最短的组合中包括的运行方式，确定为基于所述目标神经网络模型对数据进行处理时，所述AI芯片的运行方式之后，所述方法还包括：

生成网络模型文件，以使所述AI芯片按照所述网络模型文件对非测试数据进行处理；其中，所述网络模型文件包括所述目标神经网络模型，以及，所述目标神经网络模型中各个网络层，与所述第一处理时长最短的组合中包括的运行方式的对应关系。