[发明专利]一种基于位置偏移的事件相机人体姿态估计方法及系统

权利要求书

1.一种基于位置偏移的事件相机人体姿态估计方法，其特征在于，包括以下步骤：

S1、将事件相机获取的人体姿态事件流建立图像帧，得到多帧事件图像；在每帧事件图像的时间窗内，求取所有关节点的平均位置，并创建每个关节点的热图；

S2、基于堆叠沙漏网络建立人体姿态估计模型，利用事件图像和对应的关节点热图对人体姿态估计模型进行训练；

S3、基于高分辨率网络建立人体姿态修正模型，将所有关节点的热图和对应的事件图像串联输入到人体姿态修正模型进行训练；

S4、将待检测事件图像输入到训练好的人体姿态估计模型，得到初始人体姿态；将初始人体姿态和待检测事件图像串联输入到训练好的人体姿态修正模型，得到关节点的位置偏移特征图；将位置偏移特征图上采样并与初始人体姿态相加，得到最终的2D人体姿态；

利用事件相机获取多视角的人体姿态事件流，进而得到多视角的2D人体姿态，通过多视角的2D人体姿态得到3D人体姿态，具体包括：

S501、利用多视角的2D人体姿态得到所有关节点的二维坐标；

S502、利用投影矩阵将每个视角的关节点二维坐标转换为三维坐标，利用投影矩阵得到每个视角下该事件相机的3D位置；

S503、对每个类别的关节点，每个视角下该事件相机的3D位置和该视角下该类别关节点的三维坐标形成一条射线，多个视角得到该类别关节点的多条射线；

S504、利用最小二乘法，从该类别关节点的三维坐标中，找出距离该类别关节点的多条射线最近的点，即为该类别关节点的3D位置，进而得到3D人体姿态。

2.根据权利要求1所述的基于位置偏移的事件相机人体姿态估计方法，其特征在于，在每帧事件图像的时间窗内，求取所有关节点的平均位置具体包括：

S101、将每帧事件图像时间窗内的事件流建立图像帧，得到多张子事件图像；

S102、计算每张子事件图像中所有关节点的位置；

S103、分别求取每个关节点的平均位置，作为该帧事件图像中关节点的位置。

3.根据权利要求1或2所述的基于位置偏移的事件相机人体姿态估计方法，其特征在于，建立图像帧具体为：将一段时间里相应的事件进行累积，并以二进制图像进行表达。

4.根据权利要求1所述的基于位置偏移的事件相机人体姿态估计方法，其特征在于，利用2D人体姿态得到所有关节点的二维坐标，利用投影矩阵将关节点二维坐标转换为三维坐标，得到3D人体姿态。

5.根据权利要求1或4所述的基于位置偏移的事件相机人体姿态估计方法，其特征在于，利用投影矩阵将关节点二维坐标转换为三维坐标具体如下：

式中，(u，v)为关节点二维坐标，(X，Y，Z)为关节点三维坐标，p为投影矩阵。

6.根据权利要求5所述的基于位置偏移的事件相机人体姿态估计方法，其特征在于，利用投影矩阵得到每个视角下该事件相机的3D位置具体如下：

P＝(Q|c₄)

C＝Q^-1c₄

式中，Q为3×3的矩阵，c₄为P矩阵的第四列，C为相机位置。

7.根据权利要求1所述的基于位置偏移的事件相机人体姿态估计方法，其特征在于，创建每个关节点的热图具体包括：为每个关节点创建一个标签图像，将关节点位置的像素设置为1，其余像素点设置为0，使用高斯模糊对每个标签图像进行平滑处理，得到对应的热图。

8.一种用于实现权利要求1所述的基于位置偏移的事件相机人体姿态估计方法的基于位置偏移的事件相机人体姿态估计系统，其特征在于，包括：

关节点热图模块，用于将事件相机获取的人体姿态事件流建立图像帧，得到多帧事件图像；在每帧事件图像的时间窗内，求取所有关节点的平均位置，并创建每个关节点的热图；

人体姿态估计模块，用于基于堆叠沙漏网络建立人体姿态估计模型，利用事件图像和对应的关节点热图对人体姿态估计模型进行训练；

人体姿态修正模块，用于基于高分辨率网络建立人体姿态修正模型，将所有关节点的热图和对应的事件图像串联输入到人体姿态修正模型进行训练；

人体姿态检测模块，用于将待检测事件图像输入到训练好的人体姿态估计模型，得到初始人体姿态；将初始人体姿态和待检测事件图像串联输入到训练好的人体姿态修正模型，得到关节点的位置偏移特征图；将位置偏移特征图上采样并与初始人体姿态相加，得到最终的2D人体姿态；

利用事件相机获取多视角的人体姿态事件流，进而得到多视角的2D人体姿态，通过多视角的2D人体姿态得到3D人体姿态，具体包括：

S501、利用多视角的2D人体姿态得到所有关节点的二维坐标；

S502、利用投影矩阵将每个视角的关节点二维坐标转换为三维坐标，利用投影矩阵得到每个视角下该事件相机的3D位置；

S503、对每个类别的关节点，每个视角下该事件相机的3D位置和该视角下该类别关节点的三维坐标形成一条射线，多个视角得到该类别关节点的多条射线；

S504、利用最小二乘法，从该类别关节点的三维坐标中，找出距离该类别关节点的多条射线最近的点，即为该类别关节点的3D位置，进而得到3D人体姿态。