[发明专利]一种用于神经网络模型推理跨平台的部署方法及架构

权利要求书

1.一种用于神经网络模型推理跨平台的部署方法，其特征在于，所述方法包括：

对数据进行统一处理；

基于所加载的神经网络模型，确定神经网络模型推理，将统一处理后的数据输入到所述神经网络模型推理中；

根据神经网络模型推理，调用神经网络模型推理中的适用于平台的至少一个算子后，执行；

输出得到神经网络模型推理的解析结果。

2.如权利要求1所述的方法，其特征在于，所述对数据进行统一处理包括：

识别所述数据的数据类型；

为所述数据设置对应数据类型的数据类型标识。

3.如权利要求1所述的方法，其特征在于，所述根据神经网络模型推理，调用神经网络模型推理中的适用于平台的对应算子包括：

识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有一个待处理算子；

针对每一个待处理算子，访问设置的算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子。

4.如权利要求3所述的方法，其特征在于，所述识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有一个待处理算子还包括：

识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有的一个待处理算子，与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同或不同；

针对每一个待处理算子，访问设置的算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子还包括：

针对当前待处理算子，当与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同时，从所述算子库中提取相同待处理算子对应的，适用于平台的算子。

5.如权利要求1所述的方法，其特征在于，所述在访问设置的算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子之前，还包括：

获取待处理算子对应的，适用于平台的算子中的平台通用子算子；

设置待处理算子对应的，适用于平台的算子中的平台适配子算子；

将所获取的平台通用子算子与平台适配子算子结合，形成待处理算子对应的，适用于平台的算子；

将待处理算子对应的，适用于平台的算子存储到设置的算子库中。

6.一种用于神经网络模型推理跨平台的部署架构，其特征在于，包括：数据接口模块、推理模块及输出解析模块，其中，

所述数据接口模块，用于对数据进行统一处理后，输入到所述推理模块确定的神经网络模型推理中；

所述推理模块，用于基于所加载的神经网络模型，确定神经网络模型推理；根据神经网络模型推理，调用神经网络模型推理中的适用于平台的至少一个算子后，执行；

所述输出解析模块，用于输出得到的神经网络模型推理的解析结果。

7.如权利要求6所述的部署架构，其特征在于，所述数据接口模块中具有至少一个不同的数据类型子接口模块，用于识别所述数据的数据类型，为所述数据设置对应数据类型的数据类型标识。

8.如权利要求6所述的部署架构，其特征在于，所述推理模块，包括公共接口及算子库，其中，

所述公共接口，用于识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有一个待处理算子；针对每一个待处理算子，访问所述算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子，执行；

所述算子库，用于存储至少一个适用于平台的算子，接受所述公共接口的访问后，将待处理算子对应的，适用于平台的算子，提供给所述公共接口。

9.如权利要求8所述的部署架构，其特征在于，所述公共接口，还用于识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有的一个待处理算子，与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同或不同；

所述公开接口，还用于针对当前待处理算子，当与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同时，从所述算子库中提取相同待处理算子对应的，适用于平台的算子。

10.如权利要求8所述的部署架构，其特征在于，所述算子库，还用于获取待处理算子对应的，适用于平台的算子中的平台通用子算子；设置待处理算子对应的，适用于平台的算子中的平台适配子算子；将所获取的平台通用子算子与平台适配子算子结合，形成待处理算子对应的，适用于平台的算子；将待处理算子对应的，适用于平台的算子进行存储。