[发明专利]经由预测模型控制边缘设备上部署的深度学习模型的性能

权利要求书

1.一种系统，包括处理器，所述处理器用于：

接收数据输入和来自预测模型的、部署在资源受限的边缘设备上的DL模型的预测性能；

基于所述数据输入和所述预测性能来修改所述DL模型的控制输入；以及

将所述控制输入发送到部署的DL模型以修改所述DL模型的性能。

2.根据权利要求1所述的系统，其中，所述处理器基于性能估计和所述预测模型的输出之间的预测误差来训练所述预测模型，其中，所述预测模型的输出基于训练输入，并且所述性能估计基于所述训练输入和所述DL模型的输出。

3.根据权利要求1所述的系统，其中，所述预测性能包括运行时性能、内存使用、电池消耗、准确度或其任意组合。

4.根据权利要求1所述的系统，其中，所述处理器响应于检测到所述输入数据的变化超过阈值，基于所述预测性能来修改所述控制输入。

5.根据权利要求1所述的系统，其中，所述处理器响应于检测到所述DL模型的故障，基于所述预测性能来修改所述控制输入。

6.根据权利要求1所述的系统，其中，所述控制输入被修改以在指定的时间范围内优化预定义的性能标准。

7.根据权利要求1所述的系统，其中，所述处理器将在数据缓冲器、所部署的模型和所述预测模型之间切换所述控制输入的接收。

8.一种计算机实施的方法，包括：

经由处理器监控输入数据和来自预测模型的DL模型的预测性能；

基于所述输入数据和所述DL模型的预测性能，经由所述处理器修改控制输入；以及

经由所述处理器将修改后的控制输入发送到所述DL模型。

9.根据权利要求8所述的计算机实施的方法，其中，响应于检测到所述输入数据的变化超过阈值变化，修改所述控制输入。

10.根据权利要求8所述的计算机实施的方法，其中，响应于检测到所述DL模型的预测性能的变化，修改所述控制输入。

11.根据权利要求8所述的计算机实施的方法，其中，修改所述控制输入包括修改所述DL模型的参数，以在指定的时间范围内优化预定义的性能标准。

12.根据权利要求8所述的计算机实施的方法，包括响应于检测到所述DL模型的预测性能的变化或所述DL模型的故障而生成警报。

13.根据权利要求8所述的计算机实施的方法，包括基于性能估计和所述预测模型的预测性能之间的预测误差来训练所述预测模型，其中，所述性能估计基于所部署的模型的训练输入和输出性能特征，并且所述预测模型的预测性能基于所述训练输入和所述性能估计。

14.根据权利要求13所述的计算机实施的方法，其中，基于所述预测误差来修改所述预测模型，直到所述预测误差不超过阈值误差。

15.一种用于控制部署的DL模型的计算机程序产品，所述计算机程序产品包括其中含有程序代码的计算机可读存储介质，其中，所述计算机可读存储介质不是瞬时信号本身，所述程序代码可由处理器执行以使所述处理器：

监控输入数据和来自预测模型的DL模型的预测性能；

基于所述输入数据和所述DL模型的预测性能来修改控制输入；以及

将修改后的控制输入发送到所述DL模型。

16.根据权利要求15所述的计算机程序产品，还包括用于响应于检测到所述输入数据的变化超过阈值而基于所述预测性能来修改所述控制输入的可由处理器执行的程序代码。