[发明专利]一种复杂模型的优化方法、装置、设备及可读介质

权利要求书

1.一种复杂模型的优化方法，其特征在于，包括以下步骤：

对复杂模型进行预转换并通过结构图显示，筛选并标定不支持算子；

根据标定的所述不支持算子对所述复杂模型进行截断，得到基于所述不支持算子的截断模型和基于支持算子的原生模型；以及

将所述截断模型和所述原生模型在不同的环境下分别运行，并将结果进行联合推理，

所述根据标定的所述不支持算子对所述复杂模型进行截断包括：

不断增加所述不支持算子之间的OP数目，测试并记录模型计算性能；

根据性能最优原则选择合适的连续OP数目，记录两个部分中间的切分节点作为模型的截断节点，并基于所述截断节点进行截断。

2.根据权利要求1所述的复杂模型的优化方法，其特征在于，对复杂模型进行预转换包括：

使用转换工具将复杂模型转换为运行于预设类型模型的预设格式；

在转换过程中，将不支持的算子进行筛选和记录。

3.根据权利要求2所述的复杂模型的优化方法，其特征在于，使用转换工具将复杂模型转换为运行于预设类型模型的预设格式包括：

使用trtexec/TFTRT工具将复杂模型转换为运行于TensorRT模型的TensorRT-plan格式。

4.根据权利要求1所述的复杂模型的优化方法，其特征在于，将所述截断模型和所述原生模型在不同的环境下分别运行包括：

将基于所述不支持算子的截断模型放于TensorFlow框架中执行。

5.根据权利要求1所述的复杂模型的优化方法，其特征在于，将所述截断模型和所述原生模型在不同的环境下分别运行包括：

将基于支持算子的原生模型转换为TensorRT-plan格式，并放于TensorRT中执行。

6.根据权利要求1所述的复杂模型的优化方法，其特征在于，将结果进行联合推理包括：

将截断的节点转换为常量，并通过节点打印的形式求取所述常量。

7.一种复杂模型的优化装置，其特征在于，包括：

筛选模块，配置用于对复杂模型进行预转换并通过结构图显示，筛选并标定不支持算子；

截断模块，配置用于根据标定的所述不支持算子对所述复杂模型进行截断，得到基于所述不支持算子的截断模型和基于支持算子的原生模型；以及

耦合模块，配置用于将所述截断模型和所述原生模型在不同的环境下分别运行，并将结果进行联合推理，

所述截断模块还配置用于：不断增加所述不支持算子之间的OP数目，测试并记录模型计算性能；根据性能最优原则选择合适的连续OP数目，记录两个部分中间的切分节点作为模型的截断节点，并基于所述截断节点进行截断。

8.一种计算机设备，其特征在于，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-6任意一项所述方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任意一项所述方法的步骤。