[发明专利]一种推理服务模型的运行方法及装置

说明书

本发明实施例提供了一种推理服务的运行方法和装置，所述方法包括：依次向预设的推理服务输入多个对象数量的待推理对象集合；获取所述推理服务处理多个所述待推理对象集合的运行效率参数；采用所述运行效率参数，确定所述推理服务的运行效率，将所述推理服务的运行效率处于峰值时，所述推理服务对应的对象数量配置为目标对象数量；采用所述目标对象数量，向所述推理服务输入待推理对象集合。本发明实施例的推理服务的运行方法，通过确定运行效率处于峰值时，所述推理服务对应的目标对象数量，并采用所述目标对象数量，向所述推理服务输入待推理对象集合，使所述推理服务保持在较好的运行效率下，节约所述推理服务消耗的处理器资源，并具有更快的待推理对象处理速度。

技术领域

本发明涉及深度学习技术领域，特别是涉及一种推理服务模型的运行方法以及一种推理服务模型的运行装置。

背景技术

推理服务通常指采用训练完成的深度学习模型提供推理预测功能服务的程序对象。例如，推理服务可以用于提供个性化推荐、智能搜索，数据分类、热点预测等功能。所述推理服务可以包括预处理模块、模型版本管理模块、服务接口封装模块、以及推理服务模型。推理服务模型为一训练完成的深度学习模型。推理服务模型在运行时，需要获取外部输入的待推理数据，待推理数据经过深度学习模型处理后，得到推理结果。

一般来说，推理服务模型在运行过程中，需要大量利用处理器的计算资源。随着推理服务的需求增加，推理服务模型每次需要处理更多数据，推理服务模型的运行效率会相应地变化。为了适应推理服务的需求，需要更加有效地利用处理器的计算资源，并提高推理服务模型的运行效率。

发明内容

本发明实施例的目的在于提供一种推理服务的运行方法以及一种推理服务的运行装置，以实现提高推理服务模型的运行效率。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种推理服务模型的运行方法，包括：

获取多个预设的待推理对象集合，其中，不同的所述待推理对象集合中包含的对象数量不同；

依次向预设的推理服务模型输入所述待推理对象集合，其中，向所述推理服务模型的输入的顺序是先输入包含对象数量最少的待推理对象集合；

获取所述推理服务模型在处理各个所述待推理对象集合的状态下的运行效率参数；

将目标运行效率参数对应的待推理对象集合的对象数量，配置为目标对象数量，所述目标运行效率参数为各个所述运行效率参数中的最优参数；

向所述推理服务模型输入包含所述目标对象数量的待推理对象集合。

可选地，所述运行效率参数，包括：延时值、吞吐量以及处理器利用率。

可选地，所述将目标运行效率参数对应的待推理对象集合的对象数量，配置为目标对象数量包括：

采用如下公式，计算所述对象数量的数值相邻的两个待推理对象集合的延时值之间的延时值增速G_L；

其中，L₁为两个待推理对象集合中，对象数量更少的待推理对象集合对应的延时值；L₂为两个待推理对象集合中，对象数量更多的待推理对象集合对应的延时值；

采用如下公式，计算所述对象数量的数值相邻的两个待推理对象集合的吞吐量之间的吞吐量增速G_T；

其中，T₁为两个待推理对象集合中，对象数量更少的待推理对象集合对应的吞吐量；T₂为两个待推理对象集合中，对象数量更多的待推理对象集合对应的吞吐量；