[发明专利]推理框架的执行方法、装置及存储介质

说明书

本发明提供一种推理框架的执行方法、装置及存储介质。其中，执行方法包括：第一终端响应于应用程序的启动指令，向策略中心服务器发送策略请求，策略中心服务器根据策略请求和历史运行数据，确定第一终端执行推理框架的策略，策略中心服务器向第一终端发送策略响应，该策略响应用于指示第一终端采用主进程或者独立进程执行推理框架，终端根据策略响应执行推理框架。上述方法可动态配置第一终端的执行策略，确保第一终端执行推理框架的稳定性。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种推理框架的执行方法、装置及存储介质。

背景技术

随着人工智能技术的不断发展，人工智能在移动终端的应用越来越普遍。许多公司都推出了移动端的推理框架，例如TensorFlow lite、Core ML、Caffe、NCNN、MACE、MNN等，在该推理框架上建立不同应用类型的推理模型，用于图像检测、声音识别等。

安卓终端的推理框架通过Java本地接口(Java Native Interface,JNI)调用native库代码执行推理过程，推理框架执行推理过程可以包括以下五个环节：初始化、前处理、执行推理、后处理、回收资源。上述任何一个环节出现崩溃，将导致安卓应用崩溃。目前的方案是通过独立进程执行推理过程，实现主进程和独立进程的隔离，从而防止用户主进程崩溃。

然而，在上述方案中，执行推理过程时，涉及主进程和独立进程之间的数据传输，且在数据传输前需要对数据进行序列化或者反序列化处理，如果待处理的数据量较大时，终端的执行时间较长，影响终端的处理性能。

发明内容

本发明提供一种推理框架的执行方法、装置及存储介质，实现动态调整终端推理框架的运行策略，提升终端执行推理框架的稳定性。

本发明的第一方面提供一种推理框架的执行方法，该方法应用于终端侧，包括：响应于应用程序的启动指令，向策略中心服务器发送策略请求；接收所述策略中心服务器返回的策略响应，所述策略响应用于指示所述第一终端执行所述推理框架的策略，所述策略包括主进程执行策略或者独立进程执行策略；根据所处策略响应执行所述推理框架。

可选的，所述策略请求包括设备标识和/或机型标识。

在一种可能的实现方式中，所述根据所述策略响应执行所述推理框架之前，还包括：根据所述策略响应更新缓存策略，所述缓存策略是所述策略中心服务器最近一次指示的所述第一终端执行所述推理框架的策略。

在一种可能的实现方式中，若在预设时段内未接收到所述策略中心服务器返回的策略响应，所述方法还包括：确定本地是否存在所述缓存策略；若确定存在所述缓存策略，根据所述缓存策略执行所述推理框架；或者，若确定不存在所述缓存策略，根据所述第一终端默认的执行策略执行所述推理框架。

在一种可能的实现方式中，执行所述推理框架的过程中，还包括：向所述策略中心服务器上报运行数据，所述运行数据用于指示所述策略中心服务器所述第一终端执行所述推理框架的运行状态。

可选的，所述运行数据包括设备标识、机型标识、操作类型以及所述操作类型的操作时间。

本发明的第二方面提供一种推理框架的执行方法，该方法应用于服务器侧，包括：接收第一终端发送的策略请求；根据所述策略请求和历史运行数据，确定所述第一终端执行所述推理框架的策略，所述策略包括主进程执行策略或者独立进程执行策略；向所述第一终端发送策略响应，所述策略响应用于指示所述第一终端执行所述推理框架的策略。

可选的，所述历史运行数据包括所述第一终端上报的历史运行数据；或者，所述第一终端上报的历史运行数据以及其他终端上报的历史运行数据；其中，所述其他终端是与所述第一终端具有相同机型标识的终端。

可选的，所述策略请求包括设备标识和/或机型标识。