[发明专利]一种面向深度学习模型的端到端图片推理系统

说明书

本发明公开了一种面向深度学习模型的端到端图片推理系统，属于深度学习技术领域。本发明的面向深度学习模型的端到端图片推理系统包括图片解码模块、图片预处理模块、多级推理引擎模块和数据输出模块：图片解码模块将图片解码成同一格式，完成解码后的图片以指针形式保存在服务器存储器的内存中；图片预处理模块为将完成图像解码后，将多线程处理的图片按批进行标准化操作；多级推理引擎模块对图片中的信息进行分析，在各级推理引擎模块间进行数据传输时，传递内存指针；数据输出模块为在完成图片解析后，对结果进行展示、发送或保存。该发明的面向深度学习模型的端到端图片推理系统可以减少开发工作量，具有很好的推广应用价值。

技术领域

本发明涉及深度学习技术领域，具体提供一种面向深度学习模型的端到端图片推理系统。

背景技术

目前基于深度学习进行图片分析，一般包括如下步骤：

(1)基于TensorFlow或者PyTorch等框架进行深度学习模型训练，可以得到如图像分类网络模型ResNet，DenseNet或者目标检测网络模型如YOLO，Faster RCNN等，保存的模型权重文件均为各个框架下模型文件的格式，只能在各个框架下进行读取。当需要将两个不同框架的模型用于分析同一张图片时，如用TensorFlow进行目标检测，用PyTorch进行图像分类，要将两个模型结合在一起，需要在系统中安装多个框架。遇到框架不兼容的问题时，需要在同一框架下重新开发并训练深度学习网络模型，非常影响开发效率。

(2)当有图片需要进行解析时，需要根据图片位置，如网络图片或者本地图片，选择图片解码工具，不同解码工具解析图片后的格式可能会存在不一致的情况，如一般的图片处理工具会将图片解码为RGB格式，而OpenCV会将图片解码为BGR格式。完成图片解码后，需要对图片进行预处理送到深度学习模型中，而深度学习模型的标准化参数是固定的，不同的格式会影响深度学习模型图片预处理的效率。

(3)多级推理引擎衔接：使用深度学习模型进行图片解析时，需要分析的目标一般会经过多个深度卷积神经网络模型进行分析。比如车牌识别分析，需要首先对图片中的车辆进行目标检测，然后对车辆目标范围内进行车牌检测，确定了车牌在图片中的位置后，进行车牌字符识别最终完成车牌图片分析。一般来说，各个推理模型之间传递数据时都有从GPU到CPU的拷贝和从CPU到GPU的拷贝的过程，多次拷贝会影响处理效率。

(4)输出结果：完成图片解析后，将解析结果从服务器发送到客户端或者云端，以及将解析结果标记到图片上展示给客户。

上述步骤存在明显的缺陷，有待进一步的改进。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种可以方便开发人员在开发时只需专注于构建所需的深度学习模型，而不需要从头开始设计，减少开发工作量的面向深度学习模型的端到端图片推理系统。

为实现上述目的，本发明提供了如下技术方案：

一种面向深度学习模型的端到端图片推理系统，包括图片解码模块、图片预处理模块、多级推理引擎模块和数据输出模块：

图片解码模块将图片解码成同一格式，完成解码后的图片以指针形式保存在服务器存储器的内存和显存中，并建立匹配关系；

图片预处理模块为将完成图像解码后，将多线程处理的图片按批进行标准化操作，并处理为网络模型所需的输入形式；

多级推理引擎模块对图片中的信息进行分析，在各级推理引擎模块间进行数据传输时，传递内存指针；

数据输出模块为在完成图片解析后，对结果进行展示、发送或保存。

其中图片预处理模块为将完成图像解码后，在GPU上将多线程处理的图片按批进行标准化操作进行加速，并转换为网络模型所需的输入形式；

本发明中采用一级推理引擎和二级推理引擎。