[发明专利]一种模型部署方法、装置、系统及电子设备

权利要求书

1.一种模型部署方法，其特征在于，包括：

获取待部署至目标设备的原始模型及目标设备；

对所述原始模型进行剪枝及量化处理，得到中间模型；

根据所述目标设备将所述中间模型转换为目标模型，并将所述目标模型部署至所述目标设备。

2.如权利要求1所述的模型部署方法，其特征在于，获取待部署的目标设备的原始模型具体包括：

接收用户通过web浏览器发送的压缩任务包；

对所述压缩任务包进行解压，得到配置文件和模型文件；

根据所述配置文件对所述模型文件进行验证，若验证成功，则获取所述原始模型。

3.如权利要求2所述的模型部署方法，其特征在于，对所述原始模型进行剪枝及量化处理，得到中间模型具体包括：

调用所述原始模型中的剪枝接口对所述原始模型进行剪枝；

加载剪枝后的所述原始模型，将所述原始模型的权重从FP32调整为FP16或INT8；

将剪枝和权重调整后的所述原始模型进行转换，得到中间模型；所述中间模型为ONNX模型。

4.如权利要求3所述的模型部署方法，其特征在于，所述目标设备包括CPU、GPU或AI芯片，所述目标模型包括Openvino模型和Tensorrt模型；所述方法包括：

若所述配置文件中包括配置版本，则根据所述配置版本选用不同的应用容器引擎，并启动一个GPU节点，以实现将ONNX模型转换为Tensorrt模型，并将Tensorrt模型部署于GPU；

若所述配置文件中不包括配置版本，则选用一CPU应用容器引擎，并启动一个CPU节点，以实现将ONNX模型转换为Openvino模型，并将Openvino模型部署于CPU。

5.如权利要求4所述的模型部署方法，其特征在于，将所述目标模型部署至所述目标设备之后，所述方法还包括：

根据所述配置文件随机生成数据集；

根据所述数据集和质量红线对剪枝后的所述原始模型、量化后的所述原始模型以及目标模型进行模型评估，得到最佳模型。

6.一种模型部署装置，其特征在于，包括：

获取单元，用于获取待部署至目标设备的原始模型及目标设备；

模型处理单元，用于对所述原始模型进行剪枝及量化处理，得到中间模型；

模型部署单元，用于根据所述目标设备将所述中间模型转换为目标模型，并将所述目标模型部署至所述目标设备。

7.如权利要求6所述的模型部署装置，其特征在于，所述模型处理单元具体用于：

调用所述原始模型中的剪枝接口对所述原始模型进行剪枝；

加载剪枝后的所述原始模型，将所述原始模型的权重从FP32调整为FP16或INT8；

将剪枝和权重调整后的所述原始模型进行转换，得到中间模型；所述中间模型为ONNX模型。

8.如权利要求6或7所述的模型部署装置，其特征在于，所述装置还包括模型评估单元，用于：

接收用户上传的配置文件；

根据所述配置文件随机生成数据集；

根据所述数据集和质量红线对剪枝后的所述原始模型、量化后的所述原始模型以及目标模型进行模型评估，得到最佳模型。

9.一种电子设备，其特征在于，所述电子设备包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-5任一项所述的方法步骤。

10.一种模型部署系统，包括相互通信的web客户端、模型部署装置及目标设备，其特征在于，所述模型部署装置如权利要求6所述。