[发明专利]一种视频数据处理方法和装置

权利要求书

1.一种视频数据处理方法，其特征在于，所述方法包括：

将当前帧图像输入特征提取网络，以得到所述当前帧图像的特征图；

确定所述当前帧图像与历史帧图像之间的光流信息，根据所述光流信息将历史帧图像的特征图与所述当前帧图像的特征图进行空间对齐处理；其中，所述历史帧图像为视频中与所述当前帧图像相邻的一帧或多帧图像；

对所述当前帧图像的特征图与空间对齐处理后的历史帧图像的特征图进行融合处理，以得到融合后的特征图；

对所述融合后的特征图进行目标关键点检测，以得到目标关键点检测结果。

2.根据权利要求1所述的方法，其特征在于，所述确定所述当前帧图像与历史帧图像之间的光流信息包括：

将所述当前帧图像与历史帧图像输入光流信息提取网络，以得到所述当前帧图像与历史帧图像之间的光流信息；其中，所述光流信息提取网络基于卷积神经网络构建。

3.根据权利要求1所述的方法，其特征在于，所述根据所述光流信息将历史帧图像的特征图与所述当前帧图像的特征图进行空间对齐处理包括：

通过双线性插值将对所述历史帧图像与所述当前帧的光流信息进行缩放，以使缩放后的光流信息与所述特征图的尺寸相同；根据缩放后的光流信息对历史帧图像的特征图与所述当前帧图像的特征图进行空间对齐。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

在所述对所述当前帧图像的特征图与空间对齐处理后的历史帧图像的特征图进行融合处理之前，根据所述光流信息提取网络输出的尺度场对所述空间对齐后的历史帧图像的特征图进行细化处理。

5.根据权利要求4所述的方法，其特征在于，所述对所述当前帧图像的特征图与空间对齐处理后的历史帧图像的特征图进行融合处理，以得到融合后的特征图包括：

将当前帧图像的特征图与细化处理后的历史帧图像的特征图输入时域特征融合网络，以得到融合后的特征图。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述对所述融合后的特征图进行目标关键点检测，以得到目标关键点检测结果之后，根据所述目标关键点检测结果对目标的姿态进行估计。

7.一种视频数据处理装置，其特征在于，所述装置包括：

特征提取模块，用于将当前帧图像输入特征提取网络，以得到所述当前帧图像的特征图；

特征对齐模块，用于确定所述当前帧图像与历史帧图像之间的光流信息，根据所述光流信息将历史帧图像的特征图与所述当前帧图像的特征图进行空间对齐处理；其中，所述历史帧图像为视频中与所述当前帧图像相邻的一帧或多帧图像；

融合处理模块，用于对所述当前帧图像的特征图与空间对齐处理后的历史帧图像的特征图进行融合处理，以得到融合后的特征图；

检测模块，用于对所述融合后的特征图进行目标关键点检测，以得到目标关键点检测结果。

8.根据权利要求7所述的装置，其特征在于，所述特征对齐模块确定所述当前帧图像与历史帧图像之间的光流信息包括：

所述特征对齐模块将所述当前帧图像与历史帧图像输入光流信息提取网络，以得到所述当前帧图像与历史帧图像之间的光流信息；其中，所述光流信息提取网络基于卷积神经网络构建。

9.根据权利要求7所述的装置，其特征在于，所述特征对齐模块根据所述光流信息将历史帧图像的特征图与所述当前帧图像的特征图进行空间对齐处理包括：

所述特征对齐模块通过双线性插值将对所述历史帧图像与所述当前帧的光流信息进行缩放，以使缩放后的光流信息与所述特征图的尺寸相同；所述特征对齐模块根据缩放后的光流信息对历史帧图像的特征图与所述当前帧图像的特征图进行空间对齐。

10.根据权利要求8所述的装置，其特征在于，所述特征对齐模块，还用于根据所述光流信息提取网络输出的尺度场对所述空间对齐后的历史帧图像的特征图进行细化处理。