[发明专利]视频人体关键点检测方法、装置、计算机设备和存储介质

说明书

本发明涉及一种视频人体关键点检测方法，包括：提取待检测视频中的多帧待检测图像；获取多帧所述待检测图像之间的光流场，以及获取各所述待检测图像的特征图；根据所述光流场将所述特征图融合，得到所述待检测图像的增强特征图；将所述增强特征图输入预设神经网络，得到所述待检测图像中的人体关键点。通过提取多帧图像之间的光流场，对待检测图像进行增强，进而提高视频关键点检测的准确率。

技术领域

本发明涉及图像处理领域，特别是涉及一种视频人体关键点检测方法、装置、计算机设备和存储介质。

背景技术

人体关键点检测研究的是如何对图像中人体的各个关键点准确地识别和定位，它是动作识别、人机交互等诸多计算机视觉应用的基础。

目前视频人体关键点检测上通常采用“自底向上”和“自顶向下”两种方法，但这两种算法都只是简单的将视频分解为若干帧，再利用单帧的处理算法进行逐帧处理，没有利用帧间的时域信息，导致人体关键点检测准确率较低。

发明内容

本发明的目的在于提供一种视频人体关键点检测方法、装置、计算机设备和可读存储介质，可以有效提高视频中人体关键点检测的准确性。

本发明的目的通过如下技术方案实现：

一种视频人体关键点检测方法，所述方法包括：

提取待检测视频中的多帧待检测图像；

获取多帧所述待检测图像之间的光流场，以及获取各所述待检测图像的特征图；

根据所述光流场将所述特征图融合，得到所述待检测图像的增强特征图；

将所述增强特征图输入预设神经网络，得到所述待检测图像中的人体关键点。

在一个实施例中，所述待检测图像包括当前帧图像和至少一个历史帧图像；所述提取待检测视频中的多帧待检测图像的步骤，包括：

提取所述待检测视频中的当前帧图像；

提取所述待检测视频中至少一个历史帧图像，所述历史帧图像的取帧时刻位于所述当前帧图像之前且与所述当前帧图像相邻。

在一个实施例中，所述获取多帧所述待检测图像之间的光流场，以及获取各所述待检测图像的特征图的步骤，包括：

获取所述当前帧图像和所述历史帧图像之间的光流场；

获取所述当前帧图像的当前特征图，以及获取所述历史帧图像的历史特征图。

在一个实施例中，所述获取所述当前帧图像和所述历史帧图像之间的光流场的步骤，包括：

将所述当前帧图像和所述历史帧图像输入预设神经光流网络，得到所述当前帧图像和所述历史帧图像之间的光流场。

在一个实施例中，所述根据所述光流场将所述特征图融合，得到所述待检测图像的增强特征图的步骤，包括：

根据所述光流场将所述历史特征图向所述当前特征图对齐，得到对齐特征图；

将所述对齐特征图和所述当前特征图进行时域融合，得到所述增强特征图。

在一个实施例中，所述获取所述当前帧图像和所述历史帧图像之间的光流场的步骤，包括：

将所述当前帧图像和所述历史帧图像输入预设神经光流网络，得到所述当前帧图像和所述历史帧图像之间的光流场，还得到尺度场；其中，所述尺度场与所述特征图维度相同。

在一个实施例中，所述根据所述光流场将所述特征图融合，得到所述待检测图像的增强特征图的步骤，包括：

根据所述光流场将所述历史特征图向所述当前特征图对齐，得到对齐特征图；