[发明专利]神经网络模型运行方法及装置、以及存储介质

说明书

本发明公开了一种神经网络模型运行方法及装置、以及存储介质。其中，该方法包括：根据前向计算框架的软件环境和硬件环境确定待运行神经网络模型的目标计算模式，其中，前向计算框架设置有至少一种计算模式，用于运行神经网络模型；根据目标计算模式在前向计算框架中运行待运行神经网络模型。本发明解决了由于相关技术中只包含前向计算功能的计算框架硬件兼容性差，计算速度慢，而导致神经网络训练模型运行效率低的技术问题。

技术领域

本发明涉及神经网络领域，具体而言，涉及一种神经网络模型运行方法及装置、以及存储介质。

背景技术

现在的深度学习计算框架有两类，一类是同时包括反向传播和前向计算功能的计算框架，目前此类框架数量少，复杂度高，主要有Tensorflow、Caffe、MxNet、PyTorch等。另一类是只包含前向计算功能的计算框架，不包括反向传播功能，无法用来训练模型，主要是用于实际产品中部署模型并提供相应的前向计算功能。

同时具有反向传播和前向计算功能的框架如Tensorflow、Caffe、MxNet、PyTorch等功能复杂，灵活性很高，可以用于训练网络模型，也可用于部署模型。

只包含前向计算功能的计算框架有NCNN、FeatherCNN、MACE、CoreML等。其中NCNN和FeatherCNN仅支持CPU计算，主要针对移动端CPU进行优化，在PC端速度较慢，MACE支持移动端CPU和GPU、DSP计算，PC端仅支持Linux系统，且无其他优化。

Tensorflow、Caffe、MxNet、PyTorch等框架功能复杂，硬件兼容性差，使用GPU进行计算时只能使用CUDA库，而CUDA库仅支持英伟达一家生产的显卡。部署到客户端时，这些框架体积庞大，占用较大的存储空间，计算速度也较慢。

NCNN和FeatherCNN仅支持CPU计算，主要针对移动端CPU进行优化，在PC端速度较慢，MACE支持移动端CPU和GPU、DSP计算，PC端仅支持Linux系统，且无其他优化。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种神经网络模型运行方法及装置、以及存储介质，以至少解决由于相关技术中只包含前向计算功能的计算框架硬件兼容性差，计算速度慢，而导致神经网络训练模型运行效率低的技术问题。

根据本发明实施例的一个方面，提供了一种神经网络模型运行方法，包括：根据前向计算框架的软件环境和硬件环境确定待运行神经网络模型的目标计算模式，其中，所述前向计算框架设置有至少一种计算模式，用于运行神经网络模型；根据所述目标计算模式在所述前向计算框架中运行所述待运行神经网络模型。

进一步地，所述前向计算框架中设置有以下至少一种计算模式：CPU模式、DirectX模式、OpenCL模式。

进一步地，根据前向计算框架的软件环境和硬件环境确定待运行神经网络模型的目标计算模式包括：获取所述前向计算框架的软件环境参数以及硬件环境参数；根据所述软件环境参数以及所述硬件环境参数与所述前向计算框架中的计算模式进行匹配；根据匹配结果确定对应的目标计算模式。

进一步地，所述前向计算框架中设置有通用层，其中：所述通用层中包括与所述待运行神经网络模型对应的至少一个计算层，所述至少一个计算层中包括与所述计算模式对应的计算核心，其中，所述计算核心中包括所述计算层对应的计算层参数。

进一步地，根据所述计算模式在所述前向计算框架中运行所述待运行神经网络模型包括：基于所述计算模式根据各个所述计算层之间的关联关系依次调用所述计算层中的计算层参数；根据所述计算层参数对所述待运行神经网络模型的输入数据进行预处理；根据所述待运行神经网络模型的权重参数对经过预处理的输入数据进行计算，得到计算结果；根据所述关联关系将所述计算结果输出至相邻计算层。