[发明专利]一种基于端云协同的视频目标检测跟踪调度方法及系统

说明书

本申请公开了一种基于端云协同的视频目标检测跟踪调度方法及系统，方法包括：获取当前待测视频帧；以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，任务调度模型包括状态空间，决策空间及其奖励函数；利用模型预测控制算法计算执行多个调度策略的奖励值，选择奖励值最高的调度策略作为下一步的调度策略。本申请能够根据跟踪误差、预测带宽和能耗变化数据，使用模型预测控制算法生成检测跟踪调度策略，以实现对移动端视频帧检测与跟踪的调度，并拥有更高的检测精度和更低的能耗。

技术领域

本申请涉及目标跟踪技术领域，尤其涉及一种基于端云协同的视频目标检测跟踪调度方法及系统。

背景技术

随着5G时代的到来，无人驾驶，AR设备、VR设备，智能家居等移动端应用开始逐渐涌现，视频帧检测对于这些应用是不可或缺的，例如在十字路口的摄像头检测到行人闯红灯，可以通过警示灯给汽车驾驶者发出一个信号，避免交通事故的发生。在驾驶，旅游等方面，基于AR视频的应用发展前景广阔，这些应用要求移动设备能够准确、连续和实时地检测和跟踪物体。然而，由于大多数移动端设备计算资源和电池寿命有限，无法满足日益复杂的应用需求。端云协同被认为是解决这个关键问题的有效计算范式。资源受限的移动设备可以通过无线传输将任务分配到云端，然后云端服务器进行计算并返回计算结果。需要注意的是，端云协同计算并非完全替代技术成熟的传统云计算，而是将本地与云端结合，通过利用本地计算和云计算各自不同的特性进行协同工作。针对移动端的视频检测任务，任务卸载技术是一个重要的技术手段，将计算密集型的检测任务卸载到云端，可以有效的扩展移动设备的计算能力。然而移动端和云端之间的带宽和信道条件往往是不稳定的，检测任务会受到网络延迟和抖动等条件的影响。当网络状况较差时，云计算反而会使移动端应用无法正常工作。与此同时，设备能耗对于移动端设备是至关重要的指标。

目前在端云协同方面的研究主要有以下两种方法：一种是将检测任务卸载到云端的目标检测系统，本地来跟踪这些视频帧，使用固定调度控制策略对检测和跟踪任务进行调度，该类方法缺乏对网络状况的适应性，同时忽略了视频中场景变化速度，容易产生大量的漏检，从而导致检测精度降低；另一种方法是将检测任务和跟踪任务都放在本地执行，使用基于关键帧检测的调度控制策略来保持检测精度，然而，上述方法不能有效地利用云端资源，对移动端设备的电能储备要求高，无法达到减少能耗提升设备使用时长的目标。

发明内容

本申请实施例提供了一种基于端云协同的视频目标检测跟踪调度方法及系统，能够根据跟踪误差、预测带宽和能耗变化数据，使用模型预测控制算法生成检测跟踪调度策略，以实现对移动端视频帧检测与跟踪的调度，拥有更高的检测精度和更低的能耗。

有鉴于此，本申请第一方面提供了一种基于端云协同的视频目标检测跟踪调度方法，所述方法包括：

获取当前待测视频帧；

以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，所述任务调度模型包括状态空间，决策空间及其奖励函数；

利用模型预测控制算法计算执行多个调度策略的奖励值，选择所述奖励值最高的所述调度策略作为下一步的调度策略，所述调度策略包括将所述当前待测视频帧发送至本地进行检测、发送至云端进行检测或者直接发送至目标跟踪模块进行检测。

可选的，在所述以用户体验指标为优化目标，将当前网络预测带宽，视频帧跟踪误差和设备能耗输入构建好的任务调度决策模型中，所述任务调度模型包括状态空间，决策空间及其奖励函数，之前还包括：

建立考虑视频帧检测精度，视频帧跟踪误差以及设备能耗的所述用户体验指标。

可选的，所述用户体验指标为：