[发明专利]一种模型推理优化方法和装置

权利要求书

1.一种模型推理优化方法，其特征在于，所述方法包括如下步骤：

获取待推理优化的原始模型，并将其转化为具有预设标准格式的标准模型；

基于模型特点以及预设策略，选择多种优化方式中的至少一种进行推理优化。

2.根据权利要求1所述的模型推理优化方法，其特征在于，所述多种优化方式包括以下优化方式中的一种或几种：计算图优化，算子优化，精度优化，显存内存的分配优化。

3.根据权利要求1所述的模型推理优化方法，其特征在于，所述基于模型特点以及预设策略，选择多种优化方式中的至少一种进行推理优化，包括：

对所述标准模型，默认逐一采用所述多种优化方式进行推理优化；当基于模型特点，所述预设策略不允许进行所述多种优化方式中的某种优化方式时，跳过该种优化方式，继续执行后续优化方式；

其中可选地，所述预设策略根据模型历史优化的效果设置；

其中可选地，所述预设策略包括：

对所述标准模型的某部分进行算子融合时，如果优化后存在超过阈值的不利影响，放弃对该部分的算子优化；

当模型执行的平台不支持某个精度时，不进行该精度的优化；根据任务对模型精度的敏感度，设置精度优化的策略；

对于有历史优化记录的模型，配置该模型或者该模型的某一层的优化方式包括：历史优化记录中模型精度无改变的优化方式；

可选的，所述计算图优化包括：检测所述标准模型中的常量输入，并删除该常量输入的入口；

所述算子优化包括：将标准模型中第i-1层的算子与第i层的算子进行融合，得到新的算子；

所述精度优化包括：所述半精度和INT8优化，具体包括：将标准模型的权重精度转换为预设精度进行模型运算；

所述显存内存的分配优化包括：根据标准模型的计算量配置对应的推理所需要显存空间；

优选地，对所述标准模型，默认按以下顺序逐一执行优化：计算图优化、算子优化、精度优化、显存内存的分配优化；

可选地，所述标准格式包括：ONNX格式。

4.根据权利要求1所述的模型推理优化方法，其特征在于，所述方法还包括：利用推理引擎继续对经过优化的所述模型进行推理优化。

5.根据权利要求1所述的模型推理优化方法，其特征在于，所述待优化模型为图像处理模型，所述对经过优化的所述模型进行推理优化包括：

解析并接收客户端请求，根据客户端请求中的预处理函数将客户端请求中的图像信息处理为所述图像处理模型输入的数据格式；

加载经过推理优化的图像处理模型，并将处理后的图像信息输入所述经过推理优化的图像处理模型，输出推理后的图像数据；

根据客户端请求中的后处理函数将推理后的图像数据处理为向客户端返回的数据结构；

可选地，所述解析并接收客户端请求包括：解析客户端请求中的图像信息，所述图像信息包括：尺寸信息和图像实际的数据流；匹配所述尺寸信息和图像实际的数据流；根据匹配结果判断图像信息是否传输正确；若传输正确，接收所述客户端请求；

可选地，所述预处理函数对图像信息进行数据类型转换和数据通道顺序转换，得到所述图像处理模型输入的数据格式；

可选地，接收客户端请求时，将收集时间内累加批次数为预设批次数目的多个客户端请求合并成一个批次的客户端请求接收。

6.一种模型推理优化方法，其特征在于，所述方法包括如下步骤：

配置不同任务模型对应的基本类和派生类；所述基本类包含对应任务模型的预处理函数，所述派生类包含对应任务模型的后处理函数；

根据当前任务所在任务模型选取对应基本类中的预处理函数和对应派生类中的后处理函数；

基于当前任务待处理的图像信息、选取的预处理函数和后处理函数生成客户端请求；

将所述客户端请求发送至服务端；

其中，服务端通过所述预处理函数将图像信息处理为模型输入的数据格式，服务端通过所述后处理函数将推理后的数据处理为向客户端返回的数据结构。