[发明专利]一种基于位置偏移的事件相机人体姿态估计方法及系统

说明书

本发明公开了一种基于位置偏移的事件相机人体姿态估计方法及系统，该方法包括：将事件相机获取的人体姿态事件流建立图像帧，在每帧事件图像的时间窗内，求取所有关节点的平均位置，并创建每个关节点的热图；基于堆叠沙漏网络建立人体姿态估计模型，基于高分辨率网络建立人体姿态修正模型，利用事件图像和热图进行训练；将待检测事件图像输入到人体姿态估计模型，得到初始人体姿态；将初始人体姿态和待检测事件图像串联输入到人体姿态修正模型，得到关节点的位置偏移特征图；将位置偏移特征图上采样并与初始人体姿态相加，得到最终的人体姿态。本发明引入事件相机来获取人体姿态图像，利用基于位置偏移的人体姿态修正网络进行修正，提高精度。

技术领域

本发明属于计算机视觉目标检测技术领域，具体涉及一种基于位置偏移的事件相机人体姿态估计方法及系统。

背景技术

人体姿态估计，是利用图像特征来估计人体各个部位在图像中的具体位置，对描述人体姿态、预测人体行为等起着至关重要的作用，且在动作识别、人机交互、增强现实等领域获得了广泛应用。然而，传统相机拍摄的图像是基于固定帧率捕获的一系列静态帧，存在着大量数据冗余、运动模糊以及受光照变化影响较大等缺点，会影响人体姿态估计的精度。

发明内容

本发明解决的技术问题是提供一种基于位置偏移的事件相机人体姿态估计方法及系统，解决传统相机拍摄的图像存在数据冗余、运动模糊以及受光照变化影响较大等缺点，而影响人体姿态估计精度的问题。

本发明采用的技术方案为：一种基于位置偏移的事件相机人体姿态估计方法，包括以下步骤：

S1、将事件相机获取的人体姿态事件流建立图像帧，得到多帧事件图像；在每帧事件图像的时间窗内，求取所有关节点的平均位置，并创建每个关节点的热图；

S2、基于堆叠沙漏网络建立人体姿态估计模型，利用事件图像和对应的关节点热图对人体姿态估计模型进行训练；

S3、基于高分辨率网络建立人体姿态修正模型，将所有关节点的热图和对应的事件图像串联输入到人体姿态修正模型进行训练；

S4、将待检测事件图像输入到训练好的人体姿态估计模型，得到初始人体姿态；将初始人体姿态和待检测事件图像串联输入到训练好的人体姿态修正模型，得到关节点的位置偏移特征图；将位置偏移特征图上采样并与初始人体姿态相加，得到最终的2D人体姿态。

进一步地，在每帧事件图像的时间窗内，求取所有关节点的平均位置具体包括：

S101、将每帧事件图像时间窗内的事件流建立图像帧，得到多张子事件图像；

S102、计算每张子事件图像中所有关节点的位置；

S103、分别求取每个关节点的平均位置，作为该帧事件图像中关节点的位置。

进一步地，建立图像帧具体为：将一段时间里相应的事件进行累积，并以二进制图像进行表达。

进一步地，利用2D人体姿态得到所有关节点的二维坐标，利用投影矩阵将关节点二维坐标转换为三维坐标，得到3D人体姿态。

进一步地，利用事件相机获取多视角的人体姿态事件流，进而得到多视角的2D人体姿态，通过多视角的2D人体姿态得到3D人体姿态。

进一步地，通过多视角的2D人体姿态得到3D人体姿态具体包括：

S501、利用多视角的2D人体姿态得到所有关节点的二维坐标；

S502、利用投影矩阵将每个视角的关节点二维坐标转换为三维坐标，利用投影矩阵得到每个视角下该事件相机的3D位置；

S503、对每个类别的关节点，每个视角下该事件相机的3D位置和该视角下该类别关节点的三维坐标形成一条射线，多个视角得到多条射线；