[发明专利]一种模型推理优化方法和装置

说明书

本发明属于计算机技术领域，提供一种模型推理优化方法、装置及电子设备，所述方法包括：获取待推理优化的原始模型，并将其转化为具有预设标准格式的标准模型；基于模型特点以及预设策略，选择多种优化方式中的至少一种进行推理优化。从而基于模型特点减小数据在模型中处理所需的时间消耗，提升模型推理的速度。

技术领域

本发明属于计算机技术领域，更具体的是涉及一种模型推理优化方法、装置、电子设备及计算机可读介质。

背景技术

随着计算机网络技术的发展，有越来越多应用场景(比如，图像识别、语音识别等)需要构建人工智能(Artificial Intelligence，AI)模型。这就需要大量的数据对模型进行训练，再对训练好的模型进行推理，最后才能将模型应用于生产环境中。而现有技术中，模型推理的速度缓慢，影响模型应用。

发明内容

(一)要解决的技术问题

本发明旨在解决模型推理速度慢的技术问题。

(二)技术方案

为解决上述技术问题，本发明的一方面提出一种模型推理优化方法，所述方法包括如下步骤：

获取待推理优化的原始模型，并将其转化为具有预设标准格式的标准模型；

基于模型特点以及预设策略，选择多种优化方式中的至少一种进行推理优化。

根据本发明一种优选实施方式，所述多种优化方式包括以下优化方式中的一种或几种：计算图优化，算子优化，精度优化，显存内存的分配优化。

根据本发明一种优选实施方式，所述基于模型特点以及预设策略，选择多种优化方式中的至少一种进行推理优化，包括：

对所述标准模型，默认逐一采用所述多种优化方式进行推理优化；当基于模型特点，所述预设策略不允许进行所述多种优化方式中的某种优化方式时，跳过该种优化方式，继续执行后续优化方式；

其中可选地，所述预设策略根据模型历史优化的效果设置；

其中可选地，所述预设策略包括：

对所述标准模型的某部分进行算子融合时，如果优化后存在超过阈值的不利影响，放弃对该部分的算子优化；

当模型执行的平台不支持某个精度时，不进行该精度的优化；根据任务对模型精度的敏感度，设置精度优化的策略；

对于有历史优化记录的模型，配置该模型或者该模型的某一层的优化方式包括：历史优化记录中模型精度无改变的优化方式；

可选的，所述计算图优化包括：检测所述标准模型中的常量输入，并删除该常量输入的入口；

所述算子优化包括：将标准模型中第i-1层的算子与第i层的算子进行融合，得到新的算子；

所述精度优化包括：所述半精度和INT8优化，具体包括：将标准模型的权重精度转换为预设精度进行模型运算；

所述显存内存的分配优化包括：根据标准模型的计算量配置对应的推理所需要显存空间；

优选地，对所述标准模型，默认按以下顺序逐一执行优化：计算图优化、算子优化、精度优化、显存内存的分配优化；

可选地，所述标准格式包括：ONNX格式。

根据本发明一种优选实施方式，所述方法还包括：利用推理引擎继续对经过优化的所述模型进行推理优化；

根据本发明一种优选实施方式，所述待优化模型为图像处理模型，所述对经过优化的所述模型进行推理优化包括：