[发明专利]一种关键点识别方法、装置、电子设备及存储介质

说明书

本发明实施例提供了一种关键点识别方法、装置、电子设备及存储介质，上述方法包括：获得包含目标对象多个预设关键点的目标可见光图像；以及获得包含多个光捕球图像的目标红外图像；基于目标红外图像包含的各个光捕球图像的位置信息，确定目标红外图像的特征，作为光捕特征；提取目标可见光图像的特征，作为非光捕特征；将光捕特征和非光捕特征进行融合，得到融合特征；将融合特征输入预先训练的关键点识别模型，得到目标对象的各个预设关键点的标识和位置信息，作为识别结果。采用本发明实施例提供的方法，实现了在简化对关键点识别的处理之下，提高了关键点识别的准确率。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种关键点识别方法、装置、电子设备及存储介质。

背景技术

人体关键点识别是通过从给定的图像中定位人体关键部位，例如头部、颈部、肩部、手部等部位。人体关键点识别是动作识别以及异常行为检测等技术的实现基础。

目前，对人体关键点进行识别，有很多技术。例如：仅通过图像处理技术，对视频画面中目标对象的关键点进行识别，或通过光捕技术对目标对象的关键点进行识别。其中，由于人体的脚踝和手腕等运动幅度较大的关键部位在视频画面中可能比较模糊，因此，仅通过图像处理技术对视频画面中的人体关键点进行识别，对于这些运动幅度较大的人体关键点是比较难以识别的，会导致人体关键点识别的准确率较低。

现有技术基于图像处理技术对人体关键点进行识别，对可见光图像，例如RGB(red、green、blue，红、绿、蓝)图像中包含的目标对象的关键点进行识别。然而，由于可见光图像受环境影响较大，图像质量不稳定，容易影响关键点识别的精度。例如，针对低对比度的可见光图像中包含的目标对象进行关键点识别，由于图像对比度较低，图像中目标对象不够清晰，会导致识别结果的准确率降低。

仅通过光捕技术对目标对象的关键点进行识别的方式主要应用于影视制作中，其识别过程需要在专业的摄影棚中完成，但这种方式虽然识别精度较高，但是成本也比较高，并且需要对多路视频图像进行处理，算法复杂，对使用场景的要求较高。

发明内容

本发明实施例的目的在于提供一种关键点识别方法、装置、电子设备及存储介质，用以在简化对关键点识别的处理之下，提高关键点识别的准确率。

为了达到上述目的，本发明实施例提供了一种关键点识别方法，包括：

获得非红外摄像头所采集的视频图像中包含目标对象多个预设关键点的图像帧，作为目标可见光图像；以及获得红外摄像头所采集的视频图像中包含多个光捕球图像的图像帧，作为目标红外图像；所述目标对象被预先部署有多个光捕球，其中，每个光捕球对应所述目标对象多个预设关键点中的一个指定关键点；

基于所述目标红外图像包含的各个光捕球图像的位置信息，确定所述目标红外图像的特征，作为光捕特征；

将所述光捕特征和所述目标可见光图像的各个颜色通道的色值矩阵进行融合，得到融合特征；

将所述融合特征输入预先训练的关键点识别模型，得到目标对象的各个预设关键点的标识和位置信息，作为识别结果；其中，所述关键点识别模型为基于训练样本集进行训练得到的，所述训练样本集包含：多个样本对象的融合特征，以及各个样本对象的多个预设关键点的标识和位置信息。

进一步的，所述基于所述目标红外图像包含的各个光捕球图像的位置信息，确定所述目标红外图像的特征，作为光捕特征，包括：

确定所述目标红外图像包含的各个光捕球图像的位置信息；

根据所述目标红外图像包含的各个光捕球图像的位置信息，生成指定关键点对应的第一红外特征矩阵；

生成k-n个零矩阵，作为多个预设关键点中非指定关键点对应的第二红外特征矩阵，第一红外特征矩阵与第二红外特征矩阵的维度相同，k为目标对象的预设关键点的数量，n为光捕球的数量；