[发明专利]一种深度学习推理运算方法及中间件

权利要求书

1.一种深度学习推理运算方法，其特征在于，所述方法由安装有推理中间件的硬件平台执行，所述硬件平台具有不同推理运算库，所述方法包括：

根据不同的硬件平台，从所述推理中间件中读取不同的推理加速方案，所述推理中间件集成多种推理加速方案；

确定目标推理运算库；

读取推理运算中间件配置文件；

判断推理运算中间件相关配置是否正确，若是，则判断当前配置的目标推理运算库在该环境下是否支持，若是，则判断模型文件是否支持转换成目标推理运算库，若是，则判断配置的量化级别在目标推理运算库上是否支持量化，若是，则对模型文件中的模型进行量化；

对模型进行转换，将量化后的模型转换成目标推理运算库上可运行的模型；

初始化所述目标推理运算库作为当前使用的推理运算库；

调用当前使用的推理运算库，对数据进行推理运算；

输出推理运算的结果。

2.如权利要求1所述的方法，其特征在于，调用当前使用的推理运算库，对数据进行推理运算的具体方式为：

针对所述当前使用的推理运算库，对相关数据进行预处理及格式转换；

调用所述当前使用的推理运算库，对转换完成的数据进行推理运算；

将推理运算后得到的结果的数据结构转换为推理中间件对外接口统一的数据结构。

3.如权利要求1所述的方法，其特征在于，所述当前使用的推理运算库，具体通过以下方式确定：

初始化所述推理中间件时，按预设的优先级判断推理运算库是否存在，首次找到的推理运算库为所述目标推理运算库。

4.如权利要求1所述的方法，其特征在于，所述对模型文件进行转换，包括：

判断当前调用的模型文件的种类；

判断深度学习支持引擎的版本号；

根据所述模型文件的种类，解析模型文件中的参数，根据所述深度学习支持引擎的版本号将模型文件中的参数进行转换；

将转换后的参数重新写入模型定义文件。

5.如权利要求4所述的方法，其特征在于，所述对所述模型文件进行转换，还包括：

对于所述深度学习支持引擎不支持的模型算法层，将二次开发的推理运算库在，解析模型文件中的参数时进行注册。