[发明专利]一种在线视频分析方法、系统、介质及设备

说明书

本发明公开了一种在线视频分析方法及系统，该方法包括以下步骤：根据上一时隙的识别精确度以及当前时刻的网络状况，利用在线学习算法确定接下来一个时隙中，触发边缘目标识别的视频帧差阈值；在处理每帧画面前，计算出其与上一帧之间的差距，和先前决定好的阈值进行比较，来决定当前帧在设备端还是传输到边缘进行处理；如果在设备端处理，则利用光流法计算出平均运动矢量，对物体进行简单追踪；如果在边缘端处理，则利用卷积神经网络对整个画面进行目标识别。利用本发明能够在真实应用中根据视频内在特性和边缘网络环境不断调整阈值的设置，在保证满足视频处理实时性的前提下，最大化目标识别的长期精确度。

技术领域

本发明涉及视频分析，特别是一种设备端追踪、边缘端识别的在线视频分析方法、系统、介质及设备。

背景技术

近年来，移动增强现实设备、配备摄像头的智能手机等数量迅速增加，虽然这些设备应用广泛，但由于其体积的限制，一般来说，只能进行有限的计算，用于基本的视频分析。然而，在视频分析的许多典型应用场景中，实时视频流一般都需要快速的处理。例如，实时增强现实应用就要求视频处理应用尽快对所拍摄到画面中的不同对象快速地分类与定位。

然而，对于实时的视频流，在线地检测和识别其中的所有物体并非易事。其中的难点主要体现在这三个方面：第一点就是设备的有限资源的消耗与临近边缘的视频传输消耗之间的折衷；第二点是边缘网络带宽的动态变化可能会对视频处理过程的总时延带来不可控的影响；最后一点是随着时间增加，设备端物体追踪的误差也会增加。

具体来说，在线物体检测面临以下多重挑战：首先，在设备上进行目标检测需要耗费大量计算资源，然而将任务转移到边缘上执行又需要花费大量的传输时间，这就需要整个应用在每一帧是在设备端进行追踪还是传输到边缘端进行处理之间权衡。更具体地说，由于视频的处理是计算密集型的，往往有很高的资源需求，全部部署在设备端容易导致长时间的执行延迟。例如，YOLO、Faster-RCNN和Mask-RCNN等复杂的卷积神经网络，每一帧的检测往往需要数百毫秒，那么这对于24fps以上的视频就无法做到处理的实时性。同时，将目标追踪的计算卸载到附近的边缘会导致相关帧的传输，所产生的传输时延也不可忽略。

因此，为了平衡设备上的计算和边缘网络上的视频传输，可以将设备端的物体跟踪和边缘协同的目标识别相结合，然而该方案设计时一个主要的难点是将画面上传到边缘端进行处理的频率受到边缘网络环境动态变化的限制。例如，分辨率高于1920x1080的高质量视频中，每帧大小是几兆字节或更多，上传一次便会造成几十毫秒的传输延迟。又由于峰值带宽通常比最低带宽高几倍，因此用于边缘推理的相应视频数据的传输延迟随时间变化很大。

而对于实时视频分析来说，无论是设备端的追踪还是边缘端的分析和视频传输在内的总延迟应该得到有力的保证。否则，许多帧可能需要排队处理，会导致网络拥塞，视频处理的性能下降，破坏用户的体验。因此，如何设计一个有效的在线算法来避免这样的情况发生仍是一个具有挑战性的问题。

此外，在线设备上进行物体追踪所产生的偏差只能在进行过一次边缘端矫正后才能发现，这阻碍了我们在算法运行的过程中进行有效的在线决策。也就是说，为了降低边缘协同推理的频率，应该倾向于在两个连续帧之仅通过追踪方法得到的物体位置和真实位置偏差较大，才请求附近边缘的帮助。然而，在对视频进行实际推理之前，两个连续帧之间的物体跟踪偏差是未知的。

现有的研究不足以解决上述的挑战。先前的研究主要可以被分为三类，其中一类作品研究了边缘协同的设备端处理，以降低检测复杂性和延迟，而另一类则关注视频处理的神经网络如何在设备和边缘之间进行划分；其余的研究则侧重于然而，他们中很少有人考虑到在有约束的延迟和动态边缘网络下的框架的在线边缘辅助设备推理，并在理论上保证性能。

发明内容

发明目的：本发明的目的是提供一种高精度、高效率的设备端追踪、边缘端识别的在线视频分析方法、系统、介质及设备。

技术方案：本发明提供了一种在线视频分析方法，包括以下步骤：