[发明专利]基于人体姿态的多相机时间同步方法

说明书

本发明属于计算机视觉领域，为实现对视频拍摄时时间差的确定，且误差小、操作简单，本发明，基于人体姿态的多相机时间同步方法，步骤如下：步骤1：给定拍摄同一空间的两个不同视角的相机所拍摄的视频V¹和V²；步骤2：使用HRNet人体2D姿态估计方法，得到V¹和V²每一帧中人体的2D姿态P¹和P²；步骤3：使用预训练的特征嵌入网络得到P¹和P²每一帧的嵌入特征F¹和F²；步骤4：根据F¹和F²之间的相似度，得到匹配矩阵X；步骤5：根据匹配矩阵X，得到V¹和V²中，帧与帧之间的匹配向量O；步骤6：依据匹配向量O，确定V¹和V²拍摄时的时间差，以实现视频同步的目标。本发明主要应用于视频处理、同步场合。

技术领域

本发明属于计算机视觉领域，涉及一种基于人体姿态的多视角视频同步方法，可用于多视角相机拍摄同一空间，且空间中有人活动的条件下，对所拍摄的视频进行时间上的同步，准确的找到两个视频拍摄时的时间差。具体涉及基于人体姿态的多相机时间同步方法。

背景技术

(1)人体2D姿态估计方法(参见文献[1])：人体2D姿态估计作为数据预处理的一个重要组成部分，已经广泛的应用到动作识别、人机交互以及虚拟现实等各个领域中。基于深度学习进行2D姿态估计的方法可分为两类，分别是自上而下的方法和自下而上的方法。前者先检测出图像中的人体，然后再进行姿态估计。后者先检测出人体关节点，然后再将检测出来的关节点连接得到人体姿态。目前，基于深度学习的2D姿态估计方法已具有较高的精度，本发明使用姿态估计方法HRNet来获取视频中人体的2D姿态。

(2)多视角相机系统：随着智能社会的深入发展和移动设备的普及，生活及生产中存在着大量多视角相机系统，其从不同角度拍摄同一空间，可以提供更全面的信息。本发明旨在解决多视角相机所拍摄视频的同步问题，因为多视角视频经过同步后，才能更好的利用其信息全面的特点，进行协同分析，如协作跟踪、多视角目标关联、基于多视角的三维重建等。

(3)相机位姿(参见文献[2])：相机位姿是指相机在某一参考坐标系下的三维空间位置和三维空间姿态。

(4)图卷积神经网络(参见文献[3])：图结构在对多个节点关系的建模上具有较大的优势，图卷积神经网络将卷积操作应用到图结构的数据上，具有非常强的特征学习能力和关系表示能力。本发明使用针对人体关节点建立图结构的图卷积神经网络ST-GCN，并对其网络结构进行了一定调整，以适应用于视频同步，本文称调整后的ST-GCN为特征嵌入网络。

对于实际工作需要，存在一个重要的困难：未知视频拍摄时相机的位姿，精确的相机位姿估计较为复杂，且在某些特殊场景难以实现，所以本发明需要在未知相机位姿的条件下实施。

发明内容

为克服现有技术的不足，本发明旨在针对多视角相机所拍摄的视频，提出一种有效的时间同步方法，依据同一时刻不同视角下人体姿态的一致性，利用相对简单而有效的策略，实现对视频拍摄时时间差的确定，具有误差小、操作简单等优点。为此，本发明采取的技术方案是，基于人体姿态的多相机时间同步方法，步骤如下：

步骤1：给定拍摄同一空间的两个不同视角的相机所拍摄的视频，分别表示为V¹和V²；

步骤2：使用HRNet人体2D姿态估计方法，得到V¹和V²每一帧中人体的2D姿态，表示为P¹和P²；

步骤3：使用预训练的特征嵌入网络得到P¹和P²每一帧的嵌入特征，表示为F¹和F²；