[发明专利]神经网络模型推理方法、装置、电子设备及可读介质

说明书

本发明提供了一种神经网络模型推理方法、装置、电子设备及可读介质，涉及神经网络的技术领域，其中方法包括获取待识别图片；采用流水线方法对待识别图片进行预处理；将预先训练好的神经网络模型加载到神经网络推理加速引擎中；采用加载后的神经网络推理加速引擎对预处理后的待识别图片进行推理，得到推理结果。本发明采用流水线方法对图片预处理进行并行处理，充分利用了CPU资源，提高了推理性能，采用神经网络推理加速引擎推理加速引擎,提升了神经网络模型推理速度。

技术领域

本发明涉及神经网络技术领域，尤其是涉及一种神经网络模型推理方法、装置、电子设备及可读介质。

背景技术

在家装设计领域中，目前采用ResNet-50在基于深度学习框架PyTorch对图片进行推理，随着推理图片数量的增加，推理时间也较长，平均每张图片的推理时间达到了18ms，推理效率低下。因此，亟需提升神经网络的推理性能。

发明内容

本发明的目的在于提供神经网络模型推理方法、装置、电子设备及可读介质，能够有效降低图片的推理时间，提高推理性能。

第一方面，本发明实施例提供的一种神经网络模型推理方法，包括：

获取待识别图片；

采用流水线方法对待识别图片进行预处理；

将预先训练好的神经网络模型加载到神经网络推理加速引擎中；

采用加载后的神经网络推理加速引擎对预处理后的待识别图片进行推理，得到推理结果。

本实施例采用流水线方法对图片预处理进行预处理，充分利用了CPU资源，提高了推理性能，同时采用神经网络推理加速引擎，提升了神经网络模型推理速度；本实施例能够有效降低图片的推理时间，提高推理性能，有效节约服务器成本，有利于人工智能在家装领域进一步推广使用。

在可选的实施方式中，采用流水线方法对待识别图片进行预处理的步骤包括：

将对同一张待识别图片的预处理任务划分成多个处理阶段，为每个处理阶段创建相对应的进程，将创建的进程按预设顺序构建成流水线队列；

根据构建的流水线队列并发处理待识别图片。

在可选的实施方式中，所述神经网络模型为残差网络模型；所述流水线方法为pipeline方法，所述推理加速引擎为TensorRT。

在可选的实施方式中，将预先训练好的神经网络模型加载到神经网络推荐加速引擎中的步骤包括：

将残差网络模型转换为TensorRT支持的解析模型，得到解析后的残差网络模型；

创建TensorRT引擎，并将解析后的残差网络模型加载到TensorRT引擎中，得到TensorRT推理加速引擎。

第二方面，本发明实施例提供的一种神经网络模型推理装置，包括：

获取模块，用于获取待识别图片；

预处理模块，用于采用流水线方法对待识别图片进行预处理；

加速模块，用于将预先训练好的神经网络模型加载到神经网络推理加速引擎中；

推理模块，用于采用加载后的神经网络推理加速引擎对预处理后的待识别图片进行推理，得到推理结果。

在可选的实施方式中，预处理模块包括：

构建模块，用于将对同一张待识别图片的预处理任务划分成多个处理阶段，为每个处理阶段创建相对应的进程，将创建的进程按预设顺序构建成流水线队列；

并发处理模块，用于根据构建的流水线队列并发处理待识别图片。