[发明专利]一种面向深度学习模型的端到端图片推理系统

权利要求书

1.一种面向深度学习模型的端到端图片推理系统，其特征在于：包括图片解码模块、图片预处理模块、多级推理引擎模块和数据输出模块：

图片解码模块将图片解码成同一格式，完成解码后的图片以指针形式保存在服务器存储器的内存和显存中，并建立匹配关系；

图片预处理模块为将完成图像解码后，将多线程处理的图片按批进行标准化操作，并处理为网络模型所需的输入形式；

多级推理引擎模块对图片中的信息进行分析，在各级推理引擎模块间进行数据传输时，传递内存指针；

数据输出模块为在完成图片解析后，对结果进行展示、发送或保存。

2.根据权利要求1所述的面向深度学习模型的端到端图片推理系统，其特征在于：所述图片解码模块为基于硬件加速的图片加速模块，提供基于硬件的完全图片加速图片解码，将图片解码成同一格式。

3.根据权利要求2所述的面向深度学习模型的端到端图片推理系统，其特征在于：通过所述图片解码模块记录图片的显存指针和内存指针，并建立指针间的对应关系。

4.根据权利要求3所述的面向深度学习模型的端到端图片推理系统，其特征在于：图片解码模块在进行图片解码时，将所需的插件组合构建解码工作流水线。

5.根据权利要求4所述的面向深度学习模型的端到端图片推理系统，其特征在于：所述图片预处理模块将图片数据按网络所需基于硬件加速的方式进行标准化操作，并处理为网络所需的输入形式。

6.根据权利要求5所述的面向深度学习模型的端到端图片推理系统，其特征在于：所述多级推理引擎模块支持所有主流深度学习框架训练出来的模型，对深度学习框架训练出的模型进行网络解析及网络层优化。

7.根据权利要求6所述的面向深度学习模型的端到端图片推理系统，其特征在于：图片数据在多级推理引擎模块之间传输时，传递各存储器内存中的指针及匹配关系。

8.根据权利要求7所述的面向深度学习模型的端到端图片推理系统，其特征在于：所述数据传输模块内置Kafka、MQTT和AMQP代理协议，将结果从服务器发送到客户端或云端进行结果展示。