[发明专利]模型处理方法及相关设备

权利要求书

1.一种模型处理方法，其特征在于，应用于终端侧设备，所述终端侧设备包括至少一个硬件计算设备，所述方法包括：

获取第一神经网络模型；

根据所述第一神经网络模型和预设算子结构进行模型转换，得到第二神经网络模型，所述至少一个硬件计算设备可推理运算所述第二神经网络模型；

将所述第二神经网络模型的算子分配给所述至少一个硬件计算设备中的至少一个设备，以使所述硬件计算设备运行所分配的算子；

对确定了每个算子的硬件计算设备属性的所述第二神经网络模型进行序列化处理，得到序列化模型文件；

保存所述序列化模型文件。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一神经网络模型和预设算子结构进行模型转换，得到第二神经网络模型，包括：

根据所述第一神经网络模型和第一算子列表，确定所述终端侧设备可运行所述第一神经网络模型，所述第一算子列表保存有所述终端侧设备的可支持算子名称和算子描述的对应关系；

根据所述第一神经网络模型和所述预设算子结构得到所述第二神经网络模型。

3.根据权利要求1所述的方法，其特征在于，所述将所述第二神经网络模型的算子分配给所述至少一个硬件计算设备中的至少一个设备，包括：

对所述第二神经网络模型进行模型优化，得到优化模型；

将所述优化模型的算子分配给所述至少一个硬件计算设备中的至少一个设备。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述将所述第二神经网络模型的算子分配给所述至少一个硬件计算设备中的至少一个设备，包括：

根据模型运行需求信息将所述第二神经网络模型的算子分配所述至少一个硬件计算设备中的至少一个设备。

5.根据权利要求4所述的方法，其特征在于，所述根据模型运行需求信息将所述第二神经网络模型的算子分配所述至少一个硬件计算设备中的至少一个设备，包括：

遍历所述第二神经网络模型的算子以及所述终端侧设备的至少一个硬件计算设备；根据当前遍历的硬件计算设备的第二算子列表，确定当前遍历的硬件计算设备可运行当前遍历的算子，获取当前遍历的硬件计算设备的执行能力信息，所述第二算子列表保存有所述当前遍历的硬件计算设备的可支持算子名称和算子描述的对应关系；

根据遍历得到的所述执行能力信息和模型运行需求信息，确定所述第二神经网络模型的每个算子的硬件计算设备属性，算子的硬件计算设备属性为满足所述模型运行需求信息确定的模型运行需求的硬件计算设备；

根据所述硬件计算设备属性将所述第二神经网络模型的算子分配给与所述硬件计算设备属性对应的硬件计算设备。

6.根据权利要求5所述的方法，其特征在于，所述根据所述硬件计算设备属性将所述第二神经网络模型的算子分配给与所述硬件计算设备属性对应的硬件计算设备，包括：

根据所述硬件计算设备属性对所述第二神经网络模型进行模型优化，得到优化模型；

根据所述硬件计算设备属性将所述优化模型的算子分配给与所述硬件计算设备属性对应的硬件计算设备。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

对所述优化模型进行序列化处理，得到序列化模型文件；

保存所述序列化模型文件。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

对所述序列化模型文件进行反序列化处理，得到所述第二神经网络模型或所述优化模型；

根据所述硬件计算设备属性将所述第二神经网络模型的算子或所述优化模型的算子分配给与所述硬件计算设备属性对应的硬件计算设备。

9.根据权利要求1、2、3、5、6、7或8所述的方法，其特征在于，所述方法还包括：

获取经所述硬件计算设备编译后的模型；

保存所述编译后的模型。