[发明专利]视频人体关键点检测方法、装置、计算机设备和存储介质

权利要求书

1.一种视频人体关键点检测方法，其特征在于，所述方法包括：

提取待检测视频中的多帧待检测图像；

获取多帧所述待检测图像之间的光流场，以及获取各所述待检测图像的特征图；

根据所述光流场将所述特征图融合，得到所述待检测图像的增强特征图；

将所述增强特征图输入预设神经网络，得到所述待检测图像中的人体关键点；

所述待检测图像包括当前帧图像和至少一个历史帧图像；所述提取待检测视频中的多帧待检测图像的步骤，包括：

提取所述待检测视频中的当前帧图像；

提取所述待检测视频中至少一个历史帧图像，所述历史帧图像的取帧时刻位于所述当前帧图像之前且与所述当前帧图像相邻；

所述获取多帧所述待检测图像之间的光流场，以及获取各所述待检测图像的特征图的步骤，包括：

获取所述当前帧图像和所述历史帧图像之间的光流场；

获取所述当前帧图像的当前特征图，以及获取所述历史帧图像的历史特征图；

所述获取所述当前帧图像和所述历史帧图像之间的光流场的步骤，包括：

将所述当前帧图像和所述历史帧图像输入预设神经光流网络，得到所述当前帧图像和所述历史帧图像之间的光流场，还得到尺度场；其中，所述尺度场与所述特征图维度相同；

所述根据所述光流场将所述特征图融合，得到所述待检测图像的增强特征图的步骤，包括：

根据所述光流场将所述历史特征图向所述当前特征图对齐，得到对齐特征图；

将所述对齐特征图和所述尺度场相乘得到细化特征图；

将所述细化特征图和所述当前特征图进行时域融合，得到所述增强特征图。

2.一种视频人体关键点检测装置，其特征在于，所述装置包括：

图像提取模块，用于提取待检测视频中的多帧待检测图像；

光流特征提取模块，用于获取多帧所述待检测图像之间的光流场，以及获取各所述待检测图像的特征图；

图像增强模块，用于根据所述光流场将所述特征图融合，得到所述待检测图像的增强特征图；

关键点检测模块，用于将所述增强特征图输入预设神经网络，得到所述待检测图像中的人体关键点；

所述待检测图像包括当前帧图像和至少一个历史帧图像；所述图像提取模块执行的操作，包括：

提取所述待检测视频中的当前帧图像；

提取所述待检测视频中至少一个历史帧图像，所述历史帧图像的取帧时刻位于所述当前帧图像之前且与所述当前帧图像相邻；

所述光流特征提取模块执行的操作，包括：

获取所述当前帧图像和所述历史帧图像之间的光流场；

获取所述当前帧图像的当前特征图，以及获取所述历史帧图像的历史特征图；

所述光流特征提取模块通过以下方式获取所述当前帧图像和所述历史帧图像之间的光流场：

将所述当前帧图像和所述历史帧图像输入预设神经光流网络，得到所述当前帧图像和所述历史帧图像之间的光流场，还得到尺度场；其中，所述尺度场与所述特征图维度相同；

所述图像增强模块执行的操作，包括：

根据所述光流场将所述历史特征图向所述当前特征图对齐，得到对齐特征图；

将所述对齐特征图和所述尺度场相乘得到细化特征图；

将所述细化特征图和所述当前特征图进行时域融合，得到所述增强特征图。

3.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1所述方法的步骤。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1所述的方法的步骤。