[发明专利]一种基于深度学习的运动矢量计算方法及装置

权利要求书

1.一种基于深度学习的运动矢量计算方法，包括如下步骤：

步骤S1，利用训练好的深度神经网络，基于深度学习识别出视频图像中的指定物体的标记信息；

步骤S2，根据识别出的前后帧图像中所述指定物体的标记信息，估算出所述指定物体的运动矢量(MV)；

步骤S3，将步骤S2估算得到的运动矢量(MV)信息通过利用M×N窗口扩展，根据扩展后的每个运动矢量(MV)的绝对差值和(SAD)，确定精细化处理后的运动矢量(MV’)；

步骤S4，将经步骤S3得到的精细化处理后的运动矢量(MV’)应用到3DRS，从而得到最终的插值运动矢量。

2.如权利要求1所述的一种基于深度学习的运动矢量计算方法，其特征在于：于步骤S1中，所述标记信息包括物体所在区域大小、所在区域的中心坐标以及该区域对应该物体的置信度。

3.如权利要求2所述的一种基于深度学习的运动矢量计算方法，其特征在于：于步骤S1中，若对当前帧图像未检测出所述指定物体，则根据前两帧检测到的所述指定物体的标记信息，通过时域滤波的方法，估算所述指定物体标记信息，并给估算出的所述物体的置信度信息加入惩罚。

4.如权利要求3所述的一种基于深度学习的运动矢量计算方法，其特征在于：于步骤S2中，根据通过步骤S1得到的当前帧和前一帧指定物体的标记信息中的中心坐标，将两帧中指定物体的中心坐标直接相减，估算得到所述指定物体的运动矢量(MV)信息。

5.如权利要求4所述的一种基于深度学习的运动矢量计算方法，其特征在于，步骤S3进一步包括：

步骤S300，在M×N窗口内运用全搜索法扩展运动矢量(MV)，将步骤S2计算得到的运动矢量(MV)扩展成M×N个运动矢量(MV)；

步骤S301，分别计算每个运动矢量(MV)对应的绝对差值和(SAD)，所述绝对差值和(SAD为当前运动矢量(MV)对应前后两帧像素差值的绝对值的和。

步骤S302，根据与步骤S2中计算出的运动矢量(MV)的差异性大小，给每个绝对差值和(SAD)值增加不同的惩罚，取对应绝对差值和(SAD)最小的运动矢量(MV)作为应用到3DRS的最终的精细化处理后的运动矢量(MV’)。

6.如权利要求5所述的一种基于深度学习的运动矢量计算方法，其特征在于：于步骤S4中，对于所述指定物体所在区域内的每个块，将精细化处理后的运动矢量(MV’)替换掉3DRS候选矢量中的全局MV，并根据物体标记信息中包含的置信度信息，降低该全局MV的惩罚，得到最终的插值运动矢量。

7.一种基于深度学习的运动矢量计算方法，包括如下步骤：

图像识别单元，用于利用训练好的深度神经网络，基于深度学习识别出视频图像中的指定物体的标记信息；

MV信息估算单元，用于根据识别出的前后帧图像中所述指定物体的标记信息，估算出所述指定物体的运动矢量(MV)；

精细化处理单元，用于将MV信息估算单元估算得到的运动矢量(MV)信息通过利用M×N窗口扩展，根据扩展后的每个运动矢量(MV)的绝对差值和(SAD)，确定精细化处理后的运动矢量(MV’)；

运动矢量计算单元，用于将经所述精细化处理单元处理后的运动矢量(MV’)应用到3DRS，从而得到最终的插值运动矢量。

8.如权利要求7所述的一种基于深度学习的运动矢量计算方法，其特征在于：若所述图像识别单元对当前帧图像中未检测出所述指定物体，则根据前两帧检测到的所述指定物体的标记信息，通过时域滤波的方法，估算所述指定物体标记信息，并给估算出的所述物体的置信度信息加入惩罚。