[发明专利]基于人体姿态的多相机时间同步方法

权利要求书

1.一种基于人体姿态的多相机时间同步方法，其特征是，步骤如下：

步骤1：给定拍摄同一空间的两个不同视角的相机所拍摄的视频，分别表示为V¹和V²；

步骤2：使用HRNet人体2D姿态估计方法，得到V¹和V²每一帧中人体的2D姿态，表示为P¹和P²；

步骤3：使用预训练的特征嵌入网络得到P¹和P²每一帧的嵌入特征，表示为F¹和F²；

步骤4：根据F¹和F²之间的相似度，得到匹配矩阵X；

步骤5：根据匹配矩阵X，得到V¹和V²中，帧与帧之间的匹配向量O；

步骤6：依据匹配向量O，确定V¹和V²拍摄时的时间差，以实现视频同步的目标。

2.如权利要求1所述的基于人体姿态的多相机时间同步方法，其特征是，步骤2具体步骤：使用预训练的HRNet提取V¹和V²中每一帧的人体姿态，分别表示为P¹∈R^M×K×D和P²∈R^N×K×D，其中M和N分别为V¹和V²的长度，K为检测出来的人体关节点数目，D为每个关节的特征维度。

3.如权利要求1所述的基于人体姿态的多相机时间同步方法，其特征是，计算匹配矩阵的目的是得到V¹和V²中帧与帧之间的对应关系，具体步骤如下：

(1)将上一步操作得到的P¹和P²输入到特征嵌入网络，得到其每一帧的嵌入特征，表示为F¹∈R^M×C和F²∈R^N×C，其中C为每一帧的嵌入特征的维度。特征嵌入网络根据F¹和F²以自监督的方式进行训练；

(2)计算F¹和F²之间的相似度矩阵S∈R^M×N，定义矩阵中的每一个相似度得分为：

其中S_m，_n代表F¹中第m帧和F²中第n帧的相似度得分；

(3)对上述S进行行Softmax操作得到匹配矩阵X∈R^M×N，矩阵中每一个值为：

其中，X_m，_n∈[0,1]，值越大代表F¹中第m帧和F²中第n帧的越匹配。

4.如权利要求1所述的基于人体姿态的多相机时间同步方法，其特征是，计算匹配向量具体步骤如下：

对上一步得到的匹配矩阵的每一行进行Argmax操作，进而得到匹配向量O∈R^M×1：

O＝[o₁,o₂,o₃,…,o_M]

其中O中每一个元素的索引代表V¹中对应的帧，值代表该帧在V²中对应的匹配帧；

确定拍摄时间差：

利用匹配向量确定V¹和V²在开始拍摄时的时间差，具体方法为根据所有匹配帧对之间的时间差来得到视频间的时间差：

其中，O_f为确定的V¹和V²在开始拍摄时的时间差，Med()为取中位数操作。