[发明专利]一种融合感知系统设备间时间同步的方法及装置

权利要求书

1.一种融合感知系统设备间时间同步的方法，其特征在于，包括以下步骤：

S1：采集毫米波雷达一段时间内数据、输出点云数据，点云数据聚类后提取得到多目标队形阵列，得到第一雷达信息；

S2：在相同时间段内，采集视频数据得到第一视频信息；

S3：判断并抽取第一视频信息、第一雷达信息中具有相同车辆目标数的连续时间段，并分别在该连续时间段内按若干等时间间隔截取得到第二视频信息、第二雷达信息；

S4：将第二视频信息、第二雷达信息经过标定、坐标转换，将雷达坐标系下的目标车辆实际位置映射到视频坐标系下并得到映射坐标；

S5：截取某一时刻第二视频信息，并将其与若干等时间间隔T任意初始时刻第二雷达信息逐一匹配，通过匹配算法对所述第二视频信息车辆目标及第二雷达信息车辆目标进行匹配，计算第二视频信息的车辆目标信息与第二雷达信息的车辆目标信息的损失矩阵cost_i,j，选取全局最小cost_i,j的第二雷达信息与第二视频信息B(t)作为最相近数据，并确定两者之间的时间戳差值；

S6：根据时间戳差值来调整毫米波雷达或者摄像头的网络时间使得毫米波雷达与摄像头时间同步。

2.根据权利要求1所述的一种融合感知系统设备间时间同步的方法，其特征在于，使用匈牙利匹配算法或者KM匹配算法来对所述第二视频信息车辆目标信息及第二雷达信息车辆目标信息进行匹配并计算损失矩阵cost_i,j，所述损失矩阵cost_i,j＝βcost^(a)_i,j+(1-β)cost^(b)_i,j，β为权重系数，0β1；

第一损失矩阵cost^(a)_i,j＝α·h⁽¹⁾_i,j(x_i,y_j)+(1-α)·h⁽²⁾_i,j(m_i,n_j)，α为权重系数，0α1，h⁽¹⁾_i,j(x_i，y_j)＝min{1-CosSim(x_i，y_j)}，x_i和y_j分别是第二视频信息B(t)的第i个车辆目标和第j车辆目标员的位置距离信息，m_i和n_j分别是第二雷达信息A(t)的第i个车辆目标和第j个车辆目标的位置距离信息，z为目标车辆的数量；

第二损失矩阵cost^(b)_i,j＝α·h⁽¹⁾_i,j(x_i,y_j)+(1-α)·h⁽²⁾_i,j(m_i,n_j)，α为权重系数，0α1，h⁽¹⁾_i,j(a_i，b_j)＝min{1-CosSim(a_i，b_j)}，a_i和b_j分别是第二视频信息B(t)的第i个车辆目标和第j车辆目标的速度、姿态角度信息，c_i和d_j分别是第二视频信息B(t)的第i个车辆目标和第j车辆目标的速度、姿态角度信息，z为目标车辆的数量。

3.根据权利要求1所述的一种融合感知系统设备间时间同步的方法，其特征在于，在S2中，采用yolov5算法在第一视频信息list_B中确定车辆目标信息。

4.根据权利要求1所述的一种融合感知系统设备间时间同步的方法，其特征在于，车辆目标信息还包括车辆的车牌号或者自定义序号。

5.根据权利要求1所述的一种融合感知系统设备间时间同步的方法，其特征在于，还包括S7：若干时间后重复S1-S6或者持续重复S1-S6。