[发明专利]3D热力图生成的方法、系统、存储介质及电子设备

权利要求书

1.一种3D热力图生成的方法，其特征在于，在目标场景中包括至少一个深度摄像头，所述目标场景中还包括标记物，所述标记物包括多层，所述方法包括：

周期性从深度摄像头录制的RGB视频和深度视频获取RGB图像和对应的深度图像；

根据所述RGB图像、所述深度图像以及所述深度摄像头相对于所述目标场景的空间坐标，获取每个周期关键点在所述目标场景中的空间坐标；

根据每个周期的关键点的空间坐标，判断所述关键点是否对应所述目标场景中的标记物；

如果不是，则将所述关键点舍弃；

如果是，根据每个周期的关键点的空间坐标，确定所述关键点对应的所述标记物的层，以热力标记每个周期的关键点在对应层位置处的空间坐标，生成所述目标场景的3D热力图，所述3D热力图用于显示所述目标场景中的所述标记物的各个层处的热力情况；

其中，根据所述RGB图像、所述深度图像以及所述深度摄像头相对于所述目标场景的空间坐标，获取关键点在所述目标场景中的空间坐标，包括：

基于行人检测算法，从所述RGB图像中标记行人框；

根据所述行人框以及人体关键点检测算法，提取行人的五个指尖和手腕的RGB图像坐标；

根据所述五个指尖和手腕的RGB图像坐标，计算出手掌的中心或重心，将所述中心或者重心的RGB图像坐标作为关键点的RGB图像坐标；基于所述RGB图像坐标获取所述关键点的深度坐标；

基于所述关键点的RGB图像坐标、深度坐标以及所述深度摄像头相对于所述目标场景的空间坐标，获取所述关键点在所述目标场景中的空间坐标；

其中，基于所述关键点的RGB图像坐标、深度坐标以及所述深度摄像头相对于所述目标场景的空间坐标，获取所述关键点在所述目标场景中的空间坐标包括：

在获取到所述关键点的深度坐标后，基于所述深度坐标中该关键点的深度值以及预设值的距所述深度摄像头距离与每像素点实际距离的对照表，确定所述关键点到所述深度摄像头的实际距离；

根据以下公式计算出关键点在目标场景中的空间坐标：

其中，

其中，表示该关键点在深度坐标系中的深度值，表示在该深度时每像素点的实际距离，x、y、z分别表示该关键点在目标场景的空间坐标系XYZ中的空间坐标，表示该摄像头在摄像头坐标系X1Y1Z1中镜头朝向的方向与X1、Y1和Z1的夹角，其中Z1与Z平行方向相反，X1与X平行，Y1与Y平行，其中，深度坐标系代表所述关键点的深度值所在的坐标系，其中摄像头的镜头朝向在RGB图像中形成了中心点，所述RGB图像处于图像坐标系X2Y2中，关键点与所述中心点在X2和Y2上的距离分别为w和h。

2.如权利要求1所述的方法，其特征在于，当在目标场景中包括多个深度摄像头时，基于所述深度摄像头相对于所述目标场景的空间坐标，包括：

获取所述深度摄像头的标识；

根据所述标识查找所述深度摄像头相对于所述目标场景的空间坐标。

3.如权利要求1所述的方法，其特征在于，基于每个周期的关键点的空间坐标，生成所述目标场景的3D热力图，包括：

3D重建所述目标场景，以获取所述目标场景的3D图像；

在所述3D图像中以热力标记每个周期的关键点的空间坐标，生成所述目标场景的3D热力图。