[发明专利]推理库的部署方法、装置和电子设备

权利要求书

1.一种推理库的部署方法，包括：

获取推理引擎所在硬件环境的配置信息，并基于所述配置信息，生成推理库请求命令；

执行所述请求命令生成推理库请求并发送给服务器；

接收所述服务器反馈的与所述硬件环境匹配的目标推理库的数据包；

根据所述数据包在所述硬件环境上部署所述目标推理库。

2.根据权利要求1所述的推理库的部署方法，其中，所述根据所述数据包在所述硬件环境上部署所述目标推理库之后，还包括：

响应于所述推理引擎的格式与深度学习模型的格式不匹配，对所述深度学习模型的格式进行转换。

3.根据权利要求2所述的推理库的部署方法，其中，所述对所述深度学习模型的格式进行转换，包括：

基于所述推理引擎的第一格式信息和所述深度学习模型的第二格式信息，生成模型转换程序；

执行所述模型转换程序，对所述深度学习模型的格式进行转换。

4.根据权利要求3所述的推理库的部署方法，其中，所述基于所述推理引擎的第一格式信息和所述深度学习模型的第二格式信息，生成模型转换程序，包括：

从配置文件中读取所述第一格式信息和所述第二格式信息；

将所述第一格式信息和所述第二格式信息写入模型转换程序模板内，以生成所述模型转换程序。

5.根据权利要求3所述的推理库的部署方法，其中，所述基于所述推理引擎的第一格式信息和所述深度学习模型的第二格式信息，生成模型转换程序，包括：

从配置文件中读取所述第一格式信息和所述第二格式信息的存储位置；

将所述存储位置写入模型转换程序模板内，以生成所述模型转换程序。

6.根据权利要求2所述的推理库的部署方法，其中，还包括：

基于所述深度学习模型的模型参数和所述目标推理库的配置信息，构建验证数据；

基于所述验证数据，生成可执行文件并执行；

其中，所述可执行文件用于验证所述深度学习模型在所述目标推理库下的推理速度。

7.根据权利要求2所述的推理库的部署方法，其中，还包括：

基于所述深度学习模型的模型参数和所述目标推理库的配置信息，获取匹配的接口程序模板；

将所述深度学习模型的标识信息和所述目标推理库的标识信息，写入所述匹配的接口程序模板，以生成匹配的调用接口程序。

8.一种推理库的部署装置，包括：

获取模块，用于获取推理引擎所在硬件环境的配置信息，并基于所述配置信息，生成推理库请求命令；

请求模块，用于执行所述请求命令生成推理库请求并发送给服务器；

接收模块，用于接收所述服务器反馈的与所述硬件环境匹配的目标推理库的数据包；

部署模块，用于根据所述数据包在所述硬件环境上部署所述目标推理库。

9.根据权利要求8所述的推理库的部署装置，其中，还包括：转换模块，用于：

响应于所述推理引擎的格式与深度学习模型的格式不匹配，对所述深度学习模型的格式进行转换。

10.根据权利要求9所述的推理库的部署装置，其中，所述转换模块，包括：

生成单元，用于基于所述推理引擎的第一格式信息和所述深度学习模型的第二格式信息，生成模型转换程序；

转换单元，用于执行所述模型转换程序，对所述深度学习模型的格式进行转换。

11.根据权利要求10所述的推理库的部署装置，其中，所述生成单元，具体用于：

从配置文件中读取所述第一格式信息和所述第二格式信息；

将所述第一格式信息和所述第二格式信息写入模型转换程序模板内，以生成所述模型转换程序。