[发明专利]一种关键点识别方法、装置、电子设备及存储介质

权利要求书

1.一种关键点识别方法，其特征在于，包括：

获得非红外摄像头所采集的视频图像中包含目标对象多个预设关键点的图像帧，作为目标可见光图像；以及获得红外摄像头所采集的视频图像中包含多个光捕球图像的图像帧，作为目标红外图像；所述目标对象被预先部署有多个光捕球，其中，每个光捕球对应所述目标对象多个预设关键点中的一个指定关键点；

基于所述目标红外图像包含的各个光捕球图像的位置信息，确定所述目标红外图像的特征，作为光捕特征；

将所述光捕特征和所述目标可见光图像的各个颜色通道的色值矩阵进行融合，得到融合特征；

将所述融合特征输入预先训练的关键点识别模型，得到目标对象的各个预设关键点的标识和位置信息，作为识别结果；其中，所述关键点识别模型为基于训练样本集进行训练得到的，所述训练样本集包含：多个样本对象的融合特征，以及各个样本对象的多个预设关键点的标识和位置信息。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标红外图像包含的各个光捕球图像的位置信息，确定所述目标红外图像的特征，作为光捕特征，包括：

确定所述目标红外图像包含的各个光捕球图像的位置信息；

根据所述目标红外图像包含的各个光捕球图像的位置信息，生成指定关键点对应的第一红外特征矩阵；

生成k-n个零矩阵，作为多个预设关键点中非指定关键点对应的第二红外特征矩阵，第一红外特征矩阵与第二红外特征矩阵的维度相同，k为目标对象的预设关键点的数量，n为光捕球的数量；

将第一红外特征矩阵和第二红外特征矩阵进行拼接得到的拼接特征矩阵，作为光捕特征。

3.根据权利要求2所述的方法，其特征在于，所述各个光捕球图像的位置信息为：各个光捕球图像的位置坐标；

所述确定所述目标红外图像包含的各个光捕球图像的位置信息，包括：

提取所述目标红外图像的像素矩阵；

将所述像素矩阵中，像素值低于预设像素阈值的像素点的像素值确定为0，得到目标像素矩阵；

确定所述目标像素矩阵的连通区域，每个所述连通区域对应一个光捕球图像；

针对每个所述连通区域，将该连通区域中像素值最大的像素点的位置坐标，确定为该连通区域对应的光捕球图像的位置坐标。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标红外图像包含的各个光捕球图像的位置信息，生成指定关键点对应的第一红外特征矩阵，包括：

根据所述目标红外图像包含的各个光捕球图像的位置坐标，针对每个光捕球图像，生成以该光捕球图像的位置坐标为中心，以预设距离为半径，且呈高斯分布的图像，作为该光捕球图像的先验热度图；

分别提取各个先验热度图的热度值矩阵，作为各个指定关键点对应的第一红外特征矩阵。

5.根据权利要求3所述的方法，其特征在于，所述将第一红外特征矩阵和第二红外特征矩阵进行拼接得到的拼接特征矩阵，作为光捕特征，包括：

根据所述目标对象的各个预设关键点，以及部署于目标对象的各个光捕球，生成k维的光捕球部署向量；k维的光捕球部署向量的每个元素对应目标对象的一个预设关键点，其中，光捕球部署向量的各个元素中，与预设关键点中的指定关键点相对应的元素的值为1，与预设关键点中的非指定关键点相对应的元素的值为0；

针对所述光捕球部署向量，将所述光捕球部署向量中值为1的元素替换为指定关键点对应的第一红外特征矩阵，将所述光捕球部署向量中值为0的元素替换为非指定关键点对应的第二红外特征矩阵，得到先验热度图组矩阵，作为光捕特征；所述先验热度图组矩阵为w×h×k维的矩阵，先验热度图的矩阵为w×h的矩阵，其中，w为先验热度图的矩阵的长，h为先验热度图的矩阵的宽。

6.根据权利要求5所述的方法，其特征在于，所述将所述光捕特征和所述目标可见光图像的各个颜色通道的色值矩阵进行融合，得到融合特征，包括：

将所述先验热度图组矩阵，与所述目标可见光图像的各个颜色通道的色值矩阵进行拼接，得到融合矩阵，作为融合特征，所述融合矩阵为w×h×(k+m)维的矩阵，m为可见光图像的颜色通道的数量。