[发明专利]一种在线视频分析方法、系统、介质及设备

权利要求书

1.一种在线视频分析方法，其特征在于，所述方法包括以下步骤：

(1)利用设备所处边缘网络当前时刻的带宽以及目标识别任务在上一时隙的精确度信息以及时延信息计算出帧差阈值；

(2)使用光流法计算出当前帧和上一帧之间的帧差，作为所有物体运动速度大小的衡量标准；

(3)判断帧差是否大于所述帧差阈值，如果是，则将画面上传到边缘端进行处理，如果否，则直接在设备端进行追踪；

(4)如果在设备端进行追踪，则利用光流法计算出的像素点偏移量的平均值作为物体的运动矢量，再结合每个物体在上一帧画面中的位置计算出当前位置。

2.根据权利要求1所述的方法，其特征在于，所述步骤(1)具体为：

(1.1)利用该时隙开始的网络带宽信息，得到该时隙内处理所有帧所需的时间为：

其中F_t代表时隙t中所有帧的集合，指示变量I_f,t在帧f被上传到边缘上的时候为1，在帧f仅在设备端处理的时候为0；代表在时隙t中，一帧画面在设备上处理所需的时间；代表一帧画面在边缘上处理的时间，包括传输时延和卷积神经网络的推断时延；

(1.2)利用上一时隙所有上传到边缘上帧的精确度信息作为优化目标：

其中代表时刻t帧f的groundtruth中所有锚框的集合，代表边缘端得到的目标识别的结果的精确度，代表设备端得到的结果的精确度；

(1.3)最后，将1.2中最大化精确度作为优化目标，1.1中处理时间不超过一个时隙的总时间作为约束，求解出I_f,t的实数解，然后利用得到的一个时隙中所有帧的I_f,t之和，得到应该上传的帧的数量F，再取之前一个时隙中帧差最大的F帧中帧差最小的值作为最后阈值θ的解。

3.根据权利要求1所述的方法，其特征在于，所述步骤(2)具体为：

(2.1)对于每个像素点(x_i,y_j)，计算出该像素点的运动矢量

(2.2)求出所有像素点运动矢量的欧式长度之后求其总和：

将该值作为当前帧和上一帧之间的帧差。

4.根据权利要求1所述的方法，其特征在于，所述步骤(3)具体为：

(3.1)若步骤(2.2)中计算所得的帧差值大于步骤(1.3)中所计算的阈值θ，则触发边缘目标识别模块，将整帧画面上传到邻近边缘，通过卷积神经网络进行目标检测任务处理，同时将该帧在边缘处理得到的结果作为groundtruth，以此为最高精确度标准记录该帧于设备处理结果的精确度，可用如下公式表示：

其中，为时隙t中的帧f里每一个锚框的真实位置的集合，而则代表推断得出的该帧的所有锚框的位置集合；和分别表示在边缘端和设备端得到的锚框的精确度，所述精确度以最大IoU来表示；否则在设备端直接进行处理；

(3.2)如果步骤(2.2)中计算所得的值小于或等于步骤(1.3)中所计算的阈值θ，则直接在设备端处理当前帧。

5.根据权利要求1所述的方法，其特征在于，所述步骤(4)具体为：

(4.1)取所有锚框的集合B_pred(f)，对于其中每个锚框b＝(x_b1,y_b1),(x_b2,y_b2)，取其中所有的像素点的运动矢量的平均值作为锚框内物体移动的方向和距离；

(4.2)锚框沿平移到新位置b’＝(x_b1+x_b,y_b1+y_b),(x_b2+x_b,y_b2+y_b)。