[发明专利]一种基于深度学习的运动矢量计算方法及装置

说明书

本发明公开了一种基于深度学习的运动矢量计算方法及装置，所述方法包括如下步骤：步骤S1，利用训练好的深度神经网络，基于深度学习识别出视频图像中的指定物体的标记信息；步骤S2，根据识别出的前后帧图像中所述指定物体的标记信息，估算出所述指定物体的运动矢量MV；步骤S3，将步骤S2估算得到的运动矢量MV信息通过利用M×N窗口扩展，根据扩展后的每个运动矢量MV的绝对差值和SAD，确定精细化处理后的运动矢量MV’；步骤S4，将经步骤S3精细化处理后的运动矢量MV’应用到3DRS，从而得到最终的插值运动矢量MV。

技术领域

本发明涉及数字图像处理、深度学习以及人工智能技术领域，特别是涉及一种基于深度学习的运动矢量计算方法及装置。

背景技术

MEMC(Motion Estimation Motion Compensation，运动预测运动补偿)技术是FRC(Frame Rate Conversion，帧率转换)领域一项重要的插值技术，它在提升图像的流畅度的同时，对于提升图像运动清晰度也起到了至关重要的作用。经实验研究，最终图像质量的好坏主要取决于MV(Motion Vector，运动矢量)计算的正确性，部分取决于MC(MotionCompensation，运动补偿)插值的好坏。考虑到商用价值，MV计算既要保证高准确度，也要考虑工程实现，传统3DRS(3-Dimension Recursive Search,三维递归搜索)计算MV的方法一直以来备受业界关注和欢迎。但是3DRS也有它的弊端，做好3DRS的前提是物体有惯性，物体足够大，且物体为刚体。所以对于一些特殊场景，如复杂运动，物体运动速度较快，以及物体比较小时等场景，3DRS计算遇到了较大的障碍。

由于当前受大家比较喜爱的足球，篮球网球，乒乓球等体育赛事项目，人眼比较关注的球类和运动员在大部分场景速度都比较大，且物体比较小，违背了传统3DRS要求的物体足够大的要求，所以对于这些场景传统的3DRS很难做好，经常在视频图像中出现小物体的mv估计错误，导致在此区域的补偿图像效果非常糟糕，如虚影，重影现象等，眼睛看起来特别不舒服。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于深度学习的运动矢量计算方法及装置，以克服传统3DRS技术在小物体计算上存在的不足，解决视频图像中小物体图像区域中的各种画质问题。

为达上述目的，本发明提出一种基于深度学习的运动矢量计算方法，包括如下步骤：

步骤S1，利用训练好的深度神经网络，基于深度学习识别出视频图像中的指定物体的标记信息；

步骤S2，根据识别出的前后帧图像中所述指定物体的标记信息，估算出所述指定物体的运动矢量(MV)；

步骤S3，将步骤S2估算得到的运动矢量(MV)信息通过利用M×N窗口扩展，根据扩展后的每个运动矢量(MV)的绝对差值和(SAD)，确定精细化处理后的运动矢量(MV’)；

步骤S4，将经步骤S3得到的精细化处理后的运动矢量(MV’)应用到3DRS，从而得到最终的插值运动矢量。

优选地，于步骤S1中，所述标记信息包括物体所在区域大小、所在区域的中心坐标以及该区域对应该物体的置信度。

优选地，于步骤S1中，若对当前帧图像未检测出所述指定物体，则根据前两帧检测到的所述指定物体的标记信息，通过时域滤波的方法，估算所述指定物体标记信息，并给估算出的所述物体的置信度信息加入惩罚。

优选地，于步骤S2中，根据通过步骤S1得到的当前帧和前一帧指定物体的标记信息中的中心坐标，将两帧中指定物体的中心坐标直接相减，估算得到所述指定物体的运动矢量(MV)信息。

优选地，步骤S3进一步包括：

步骤S300，在M×N窗口内运用全搜索法扩展运动矢量(MV)，将步骤S2计算得到的运动矢量(MV)扩展成M×N个运动矢量(MV)；