[发明专利]一种视频数据处理方法和装置

说明书

本发明涉及一种视频数据处理方法和装置，涉及图像处理技术领域。该方法包括：将当前帧图像输入特征提取网络，以得到所述当前帧图像的特征图；确定所述当前帧图像与历史帧图像之间的光流信息，根据所述光流信息将历史帧图像的特征图与所述当前帧图像的特征图进行空间对齐处理；其中，所述历史帧图像为视频中与所述当前帧图像相邻的一帧或多帧图像；对所述当前帧图像的特征图与空间对齐处理后的历史帧图像的特征图进行融合处理，以得到融合后的特征图；对所述融合后的特征图进行目标关键点检测，以得到目标关键点检测结果。通过以上步骤，能够解决由于视频中广泛存在的运动模糊、遮挡等问题造成检测算法的性能急剧下降、目标检测结果不准确的问题。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种视频数据处理方法和装置。

背景技术

人体关键点检测研究的是如何对图像中人体的各个关键点进行准确地识别与定位，它是动作识别、人机交互等诸多计算机视觉应用的基础。

随着深度学习的发展，深度神经网络被应用在人体关键点检测上，并且大大提高了人体关键点检测的准确率。当前，根据是否需要先检测全局人体可将人体关键点检测算法分为“自底向上”和“自顶向下”两种。其中，“自底向上”算法不需要先检测图像中的全局人体，它是直接利用神经网络先检测图像中可能存在的关键点，之后对这些关键点进行聚类、去除冗余连接，最后将每一个检测到的关键点匹配到具体的一个人。“自顶向下”算法需要先采用faster rcnn、yolo等通用目标检测算法检测出图像中的每一个全局人体，然后根据得到的检测框对图像进行剪裁，从而将一幅多人图像剪裁成多幅单人图像，之后再对每一幅单人图像再进行关键点检测。

在实现本发明的过程中，本发明的发明人发现：无论是“自底向上”还是“自顶向下”算法，当前的研究多集中在单帧图像方面。在现有技术中，处理视频数据时大都只是简单的将视频分解为若干帧，再利用单帧检测算法进行逐帧处理，即将视频中的每一帧作为独立的图像处理。这种简单、粗暴的处理方式没有利用帧间的时域信息，无法解决视频中广泛存在的运动模糊、遮挡等问题。当视频中的某一帧存在运动模糊或者遮挡时，单帧检测算法的性能会急剧下降。

因此，针对以上不足，需要提供一种新的视频数据处理方法和装置，以提高视频中目标的检测准确性。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是解决现有利用单帧检测算法对视频进行逐帧处理时由于视频中广泛存在的运动模糊、遮挡等问题造成检测算法的性能急剧下降、目标检测结果不准确的问题。

(二)技术方案

为了解决上述技术问题，一方面，本发明提供了一种视频数据处理方法。

本发明的视频数据处理方法包括：将当前帧图像输入特征提取网络，以得到所述当前帧图像的特征图；确定所述当前帧图像与历史帧图像之间的光流信息，根据所述光流信息将历史帧图像的特征图与所述当前帧图像的特征图进行空间对齐处理；其中，所述历史帧图像为视频中与所述当前帧图像相邻的一帧或多帧图像；对所述当前帧图像的特征图与空间对齐处理后的历史帧图像的特征图进行融合处理，以得到融合后的特征图；对所述融合后的特征图进行目标关键点检测，以得到目标关键点检测结果。

可选地，所述确定所述当前帧图像与历史帧图像之间的光流信息包括：将所述当前帧图像与历史帧图像输入光流信息提取网络，以得到所述当前帧图像与历史帧图像之间的光流信息；其中，所述光流信息提取网络基于卷积神经网络构建。

可选地，所述根据所述光流信息将历史帧图像的特征图与所述当前帧图像的特征图进行空间对齐处理包括：通过双线性插值将对所述历史帧图像与所述当前帧的光流信息进行缩放，以使缩放后的光流信息与所述特征图的尺寸相同；根据缩放后的光流信息对历史帧图像的特征图与所述当前帧图像的特征图进行空间对齐。