[发明专利]针对目标对象的视觉跟踪方法、装置、系统、设备和介质

权利要求书

1.一种针对目标对象的视觉跟踪方法，包括：

根据事件相机采集的事件数据，确定执行体操类运动的目标对象的运动信息；

响应于根据所述运动信息确定所述目标对象的运动满足视觉跟踪条件，获取针对所述目标对象在至少两个视角下同步采集的视频数据；以及

根据所述视频数据，生成描述所述目标对象所执行的体操类运动的待播放数据。

2.根据权利要求1所述的方法，还包括：

对所述视频数据中的目标对象进行姿态识别，得到所述待播放数据所描述的体操类运动的动作信息；以及

将所述动作信息和所述待播放数据关联地存储。

3.根据权利要求2所述的方法，其中，所述对所述视频数据中的目标对象进行姿态识别，得到所述待播放数据所描述的体操类运动的动作信息包括：

根据所述视频数据中在所述至少两个视角下同步采集的各时间点的视频帧，确定所述目标对象在所述各时间点的三维关键点信息；以及

根据所述三维关键点信息，确定所述目标对象在所述各时间点的姿态信息；以及

根据所述目标对象在所述各时间点的姿态信息，确定所述动作信息。

4.根据权利要求3所述的方法，其中，所述根据所述目标对象在所述各时间点的姿态信息，确定所述动作信息包括：

根据所述目标对象在所述各时间点的姿态信息，确定所述目标对象执行的体操类运动中包括的至少一个动作；

针对所述至少一个动作中的每个动作，确定所述视频数据中与每个动作对应的视频片段；以及

根据所述目标对象在采集所述视频片段的各时间点的姿态信息，确定所述每个动作的动作信息。

5.根据权利要求3所述的方法，其中，所述根据所述视频数据中在所述至少两个视角下同步采集的各时间点的视频帧，确定所述目标对象在所述各时间点的三维关键点信息包括：

对每个视角下各时间点的视频帧进行姿态识别，得到所述目标对象在所述各时间点针对所述每个视角的三维关键点信息，作为针对所述每个视角的初始关键点信息；

对在所述各时间点针对所述至少两个视角的至少两个三维关键点信息进行融合，得到融合关键点信息；以及

根据所述融合关键点信息，确定所述目标对象在所述各时间点的三维关键点信息。

6.根据权利要求5所述的方法，其中，所述根据所述融合关键点信息，确定所述目标对象在所述各时间点的三维关键点信息包括：

获取深度相机在所述各时间点采集的点云数据，作为参考点云数据；以及

根据所述参考点云数据对所述融合关键点信息进行校正，得到所述目标对象在所述各时间点的三维关键点信息，

其中，所述深度相机设置于所述至少两个视角中的目标视角所对应的位置处；所述目标视角为所述至少两个视角中的任一视角。

7.根据权利要求3所述的方法，其中，所述根据所述视频数据中在所述至少两个视角下同步采集的各时间点的视频帧，确定所述目标对象在所述各时间点的三维关键点信息包括：

根据在所述至少两个视角下同步采集的各时间点的视频帧，生成所述各时间点的点云数据；

根据所述事件相机在所述各时间点采集的事件数据，生成针对所述点云数据的权重数据；以及

根据所述权重数据和所述点云数据，确定所述目标对象在所述各时间点的三维关键点信息。

8.根据权利要求7所述的方法，其中，所述至少两个视角的数量为N；所述根据在所述至少两个视角下同步采集的各时间点的视频帧，生成所述各时间点的点云数据包括：

针对所述各时间点，根据在所述至少两个视角中的目标视角下的视频帧与所述至少两个视角中除所述目标视角外的每一个视角下的视频帧，生成一组初始点云数据；以及

对生成的(N-1)组初始点云数据进行配准，得到所述各时间点的点云数据，

其中，所述目标视角为所述至少两个视角中的任一视角，N为大于1的自然数。