[发明专利]模型使用方法及装置

说明书

本公开提供一种模型使用方法及装置。所述模型使用方法应用于终端，所述终端内置有深度学习模型，终端根据一段运行时间内深度学习模型中多个算子的使用信息，对多个算子中的使用关联的算子进行组合，以减少深度学习模型中的算子的数量，获得组合后的第一深度学习模型。相比于组合前的深度学习模型，组合后的深度学习模型中的算子数量较少，因此减少了模型推理过程中，将算子的执行结果置于内存中和从内存中读取算子的执行结果供其他算子使用的次数，从而加快了模型的推理速度，缩短了模型的推理时间。

技术领域

本公开涉及计算机通信技术领域，尤其涉及一种模型使用方法及装置。

背景技术

在构建出深度学习模型后对深度学习模型进行训练，将训练后的深度学习模型部署在终端内。

目前通过给终端配置高性能的硬件资源来优化深度学习模型的推理速度。现有的优化模型的推理速度的方式较为单一。

发明内容

为克服相关技术中存在的问题，本公开提供了一种模型使用方法及装置。

根据本公开实施例的第一方面，提供了一种模型使用方法，应用于终端，所述终端内置有深度学习模型，所述方法包括：

获取一段运行时间内所述深度学习模型中多个算子的使用信息，所述多个算子包括使用关联的算子；

在确定所述使用关联的算子的使用信息满足预设信息条件后，按照所述使用关联的算子的使用顺序，对所述使用关联的算子进行组合，获得组合后的第一深度学习模型；

响应于满足所述第一深度学习模型的使用条件，使用所述第一深度学习模型。

可选地，所述确定所述使用关联的算子的使用信息满足预设信息条件，包括以下至少一项：

确定所述使用关联的算子的使用频率大于或等于预设频率；

确定所述使用关联的算子的使用次数大于或等于预设次数。

可选地，所述使用关联的算子的复杂度不同；所述在确定所述使用关联的算子的使用信息满足预设信息条件后，按照所述使用关联的算子的使用顺序，对所述使用关联的算子进行组合，包括：

在确定使用关联的且复杂度不同的算子的使用信息满足所述预设信息条件后，按照所述使用关联的且复杂度不同的算子的使用顺序，对所述使用关联的且复杂度不同的算子进行组合。

可选地，所述使用关联的算子包括两个复杂度不同的算子，复杂度高的算子先于复杂度低的算子使用；所述在确定使用关联的且复杂度不同的算子的使用信息满足所述预设信息条件后，按照所述使用关联的且复杂度不同的算子的使用顺序，对所述使用关联的且复杂度不同的算子进行组合，包括：

在确定所述两个复杂度不同的算子的使用信息满足所述预设信息条件后，按照所述复杂度高的算子先于所述复杂度低的算子的顺序，对所述两个复杂度不同的算子进行组合。

可选地，所述多个算子中的一个算子与其他多个算子关联；所述方法还包括：

在所述一个算子和所述其他多个算子中的一部分已发生组合的情况下，响应于所述一个算子和所述其他多个算子中的另一部分的使用信息满足所述预设信息条件，对目标深度学习模型中的所述一个算子和所述其他多个算子中的另一部分进行组合，获得组合后的第二深度学习模型，所述目标深度学习模型是基于所述深度学习模型获得的、其中所述一个算子和其后使用的算子未发生组合的模型；

响应于满足所述第二深度学习模型的使用条件，使用所述第二深度学习模型。

可选地，所述目标深度学习模型包括未发生组合的所述深度学习模型。

根据本公开实施例的第二方面，提供了一种模型使用装置，应用于终端，所述终端内置有深度学习模型，所述装置包括：