[发明专利]一种用于神经网络模型推理跨平台的部署方法及架构

说明书

本发明公开了一种用于神经网络模型推理跨平台的部署方法及架构，本发明实施例提供的部署方法中，首先对数据进行统一处理；然后基于所加载的神经网络模型，确定神经网络模型推理，将统一处理后的数据输入到所述神经网络模型推理中；再次，根据神经网络模型推理，调用神经网络模型推理中的适用于平台的至少一个算子后，执行；最后，输出得到神经网络模型推理的解析结果。因此，本发明实施例在平台部署神经网络模型推理时，对神经网络模型推理进行了算子碎片化处理，而并不是直接将完整的神经网络模型推理进行部署，由于针对不同平台的神经网络模型推理中的相同算子可以被灵活使用，甚至是复用，所以实现了跨异构平台部署神经网络模型推理。

技术领域

本发明涉及人工智能技术，特别涉及一种用于神经网络模型推理跨平台的部署方法及架构。

背景技术

随着人工智能技术的发展，神经网络的应用也越来越广泛。为了支持神经网络的应用，各大厂商都在生产可以运行神经网络的芯片，特别是运行深度神经网络的芯片，诸如中央处理器(CPU，Central Processing Unit)、图形处理器(GPU，Graphics ProcessingUnit)、神经网络训练的处理器(TPU,Tensor Processing Unit)、机器学习处理器(MLU，Machine Learning Unit)或ARM处理器等。在这里，深度神经网络为有很多隐藏层的神经网络，又被称为深度前馈网络(DFN)或多层感知机(MLP)。

当一芯片支持的平台要运行神经网络时，则在所述平台上部署具有该神经网络模型推理，将数据输入到该神经网络模型推理中执行即可实现。神经网络模型推理仅针对一芯片支持的平台，对于异构芯片支持的平台，则由于所采用的处理器架构不同及所采用的神经网络模型的类型不同等原因，而导致了神经网络模型推理无法跨平台实现。即使是实现同一任务的神经网络模型推理，也有差异，无法跨平台实现，需要单独部署，使得神经网络在异构平台上的部署不方便，给神经网络的广泛应用带来障碍。

发明内容

有鉴于此，本发明实施例提供了一种用于神经网络模型推理跨平台的部署方法，该方法能够跨异构平台部署神经网络模型推理。

本发明实施还提供一种用于神经网络模型推理跨平台的部署架构，该架构能够跨异构平台部署神经网络模型推理。

本发明实施例是这样实现的：

一种用于神经网络模型推理跨平台的部署方法，所述方法包括：

对数据进行统一处理；

基于所加载的神经网络模型，确定神经网络模型推理，将统一处理后的数据输入到所述神经网络模型推理中；

根据神经网络模型推理，调用神经网络模型推理中的适用于平台的至少一个算子后，执行；

输出得到神经网络模型推理的解析结果。

较佳地，所述对数据进行统一处理包括：

识别所述数据的数据类型；

为所述数据设置对应数据类型的数据类型标识。

较佳地，所述根据神经网络模型推理，调用神经网络模型推理中的适用于平台的对应算子包括：

识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有一个待处理算子；

针对每一个待处理算子，访问设置的算子库，从所述算子库中提取待处理算子对应的，适用于平台的算子。

较佳地，所述识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有一个待处理算子还包括：

识别神经网络模型推理中包括至少一个推理节点，每个推理节点具有的一个待处理算子，与所述神经网络模型推理中的其他推理节点所具有的待处理算子相同或不同；