[发明专利]多传感数据时空同步方法及道路多传感数据车载采集系统

权利要求书

1.道路多传感数据车载采集系统，其特征在于：包括多台摄像机、功能集成的芯片盒、主控制计算机、多台从计算机和GPS天线，所述多台摄像机根据用户需要选择两种摆放方式置于车顶：摆放方式1通过固定支架固定在车顶，相邻摄像机间的光轴夹角为45°，多台摄像机处在同一个水平面并且每台摄像机的中轴线延长交于圆心；摆放方式2通过活动支架固定在车顶，相邻摄像机间的光轴夹角为任意角度；所述功能集成的芯片盒、主控制计算机和多台从计算机均放置在车内，所述GPS天线放置在车顶正中间；所述功能集成的芯片盒内包括多个交换机、两个GPS芯片和一个同步触发芯片，所述每个交换机的输入端和多台摄像机连接，输出端和主控制计算机或从计算机连接，摄像机将所获取的视频数据通过交换机传输给主控制计算机或从计算机进行处理；所述主控制计算机通过同步触发芯片分别和多个摄像机连接，主控制计算机将触发信号发送至多台摄像机使其同时触发采集图像视频；所述GPS芯片的输入端和GPS天线连接，输出端和主控制计算机连接，GPS芯片将行驶车辆的GPS位姿数据传送至主控制计算机进行处理。 

2.根据权利要求1所述的道路多传感数据车载采集系统，其特征在于：所述采集系统中单台摄像机采集帧率最大达15帧每秒，所述采集车辆时速最高达81km/h；多摄像机摆放方式1保证相邻摄像机具有10％的视场冗余，摄像机总视场固定为200.3度；多摄像机摆放方式2能够调整多摄像机朝向，具有灵活的视场，最大获得225度的无冗余总视场；所述采集系统在硬件设计上是能够扩充的，能够灵活增加或减少摄像机、交换机的数量以及摄像机、交换机、计算机的连接数目，来获得不同的视场角或者采集帧率的道路交通多传感视频数据。 

3.采用权利要求1所述的系统实现的多传感数据时空同步方法，其特征在 于：包括如下步骤： 

步骤1：多传感数据的采集 

根据用户需求的不同，用户选择两种采集系统工作模式之一来驱动采集系统——“按照时间间隔触发”和“按照空间位置触发”；主控制计算机发出触发信号，通过功能集成的芯片盒中的同步触发芯片变成多路同步触发信号，发送至多路摄像机，以完成多路摄像机的时空同步触发；主控制计算机同时发出GPS芯片的启动信号至GPS芯片，以完成GPS芯片的启动；之后按照采集系统的硬件连接主控制计算机和从计算机接收到视频数据和行驶车辆的GPS位姿数据，进行处理、存储并记录数据接收的时间数据作为时间戳数据； 

当用户选择“按照时间间隔触发”时，按照如下步骤来获取道路交通环境多传感数据： 

(1)用户向主控制计算机输入摄像机采集帧率f，主控制计算机上的GPS连接端口M，GPS芯片的波特率BaudRate的初始化参数，主控制计算机按照用户输入设置采集系统参数； 

(2)主控制计算机发出GPS芯片的启动信号至GPS芯片，GPS芯片通过与GPS卫星通信，按照输入的GPS波特率BaudRate以4帧每秒的速度把车辆的GPS位姿信号发至主控制计算机； 

(3)主控制计算机接受车辆的GPS位姿信号，存储GPS位姿信号并把接收到每帧GPS位姿数据的时间作为时间戳数据存储到主控制计算机中； 

(4)根据输入摄像机采集帧率f获取采集时间间隔T，由主控制计算机以CPU毫秒时钟为计时单位开始计时，每到间隔T时间主控制计算机便通过U盘口发送一个多路摄像机上升沿触发信号，并把触发信号发送时间作为触发时间戳记录到主控制计算机中； 

(5)主控制计算机通过U盘口向功能集成的芯片盒发送摄像机触发电平信号，同步触发芯片接受电平触发信号并转成多路同步信号分别传送给多路摄像机，从而实现摄像机的同步触发同步采集图像； 

(6)主控制计算机和从计算机接收多路视频数据，进行视频压缩和存储工作，并把视频数据的每帧接收时间作为时间戳数据存储到计算机中； 

当用户选择“按照空间位置触发”时，按照如下步骤来获取道路交通环境多传感数据： 

(1)用户向主控制计算机输入空间位置间隔参数H，主控制计算机上的GPS连接端口M，GPS芯片的波特率BaudRate的初始化参数，主控制计算机按照用户输入设置采集系统参数； 

(2)主控制计算机发出GPS芯片的启动信号至GPS芯片，GPS芯片通过与GPS卫星通信，按照输入的GPS波特率BaudRate以4帧每秒的速度把车辆的GPS位姿信号发至主控制计算机； 

(3)主控制计算机接受车辆的GPS位姿信号，存储GPS位姿信号并把接收到每帧GPS位姿数据的时间作为时间戳数据存储到主控制计算机中； 

(4)主控制计算机根据获取的当前GPS位姿信号，计算采集车辆当前车速，进行车辆行驶距离估计，采集车辆每行驶固定距离H就由主控制计算机通过U盘口发送一个多路摄像机上升沿触发信号； 

(5)主控制计算机通过U盘口向功能集成的芯片盒发送摄像机触发电平信号，同步触发芯片接受电平触发信号并转成多路同步信号分别传送给多路摄像机，从而实现摄像机的同步触发同步采集图像； 

(6)主控制计算机和从计算机接收多路视频数据，进行视频压缩和存储工作，并把视频数据的每帧接收时间作为时间戳数据存储到计算机中； 

步骤2：多传感数据的丢失补偿 

在步骤1中获取了道路交通环境多传感数据之后，用以下步骤实现多传感器数据的丢帧检测与补偿； 

(1)把摄像机或GPS芯片i获得的第j帧数据表示为d_i,j，d_i,j为一帧图像或一帧GPS数据，数据d_i,j对应的采集时刻为t_i,j，此时的车体位姿为p_i,j； 

(2)在ENU即东-北-天坐标系下，使用匀加速模型来描述车体的运动；公式(1)和公式(2)分别给出了车体位姿数据相应的状态方程与量测方程；由状态方程和量测方程可以看出，ENU三个方向的状态相互独立，将车体状态拆分为和三个状态分别进行估计以降低运算量； 

x_k+1＝F_kx_k+Γ_kv_k  (1) 

z_k＝H_kx_k+w_k  (2) 

x_k表示数据序列中第k个车体位姿数据，F_k为状态方程，Γ_k为加速度矩阵，T为 相邻数据序列的间隔时间，v_k为ENU三个方向的速度矢量，Q_k为过程噪声的协方差矩阵，z_k为车辆位姿数据的量测矢量，H_k为量测矩阵，w_k为测量造成，R_k为测量噪声协方差矩阵； 

(3)根据公式(1)和公式(2)所给的状态方程与量测方程，使用基于Kalman Filter的固定区间平滑算法进行车体状态估计；固定区间平滑算法包括前向滤波与后向滤波两个基本过程，公式(3)和公式(4)分别给出了前向滤波过程中的一步预测和量测校正计算方法； 

                                         (3) 

其中表示前k个数据为已知条件下预测得到的第k个数据值，表示前k个数据为已知条件下预测得到的第k+1个数据值；P_k|k和P_k+1|k均表示量测校正后的协方差矩阵； 

                                         (4) 

P_k+1|k+1＝(I-W_k+1H_k+1)P_k+1|k

其中S_k+1为第k+1个数据量一步预测后的协方差矩阵，W_k+1为第k+1个数据的Kalman滤波增益，为前k+1个数据为已知条件下预测得到的第k+1个数据值，P_k+1|k+1为前k+1个数据为已知条件下预测得到的第k+1个数据的量测校正后的协方差矩阵； 

(4)经过前向滤波得到第k个数据的估计结果和状态方程即协方差矩阵为 其中k＝1,2,…,N，利用上述估计结果和状态方程，按照公式(5)进行后向滤波，最终得到估计结果其中k＝1,2,…,N；运动车 辆的GPS位姿数据估计值包含了车体的位置与朝向信息； 

其中，C_k为第k个数据后向滤波增益矩阵，为N个数据均已知条件下预测得到的第k个数据值，P_k|N为N个数据均已知条件下预测得到的第k个数据量测校正后的协方差矩阵； 

(5)按照以上步骤对所有数据d_i,j进行预测估计，如该处数据丢失，则使用 作为丢失补偿数据； 

步骤3：多传感数据的离线时间一致性配准 

多传感数据的时间一致性配准就是把各摄像机和GPS芯片在时间维度上不同步的量测信息同步到同一时刻；具体配准步骤如下: 

(1)当摄像机i获取一帧图像d_i,j，需要估计数据帧d_i,j对应采集时刻t_i,j的车体位姿信息；由于采集装置实现了多路摄像机的同步触发，即t_1,j＝t_2,j＝…＝t_n-1,j＝t_n,j，其中：i＝1,2,…,n分别表示n路摄像机，只需估计其中一路摄像机的视频帧对应的车体位姿即可； 

(2)假设视频帧的采集时刻为t，步骤2中经过一步预测和量测校正后的视频序列中与t时刻其最邻近的上一时刻和下一时刻分别为t₁和t₂，其中：t₁≤t≤t₂，t、t₁和t₂所对应的车体位姿数据和状态协方差矩阵分别表示为和其中和已由公式(3)、(4)、(5)计算得到； 

(3)根据公式(3)中的状态方程和t₁时刻的状态估计t时刻的车体位姿数据可得估计方法如公式(6)所示； 

                                         (6) 

其中，F₁,Q₁与公式(1)中的定义一致，T＝t-t₁； 

(4)根据公式(5)中的状态方程和t₂时刻的状态估计t时刻的车体位姿数据可得估计方法如公式(7)所示； 

                                         (7) 

其中，F₂,Q₂与公式(1)中的定义一致，T＝t₂-t； 

(5)使用简单凸组合融合算法将对t时刻的状态的两个估计结果和 进行融合，得到t时刻的状态估计最终结果即t时刻的车体位姿数据；所述的简单凸组合融合算法如公式(8)所示： 

                                         (8) 

步骤4：多传感数据的离线空间一致性配准 

多传感数据的离线空间一致性配准就是将每台摄像机的自坐标系下的视频数据和行驶车辆的GPS位姿信号所采用的坐标系转换成统一的车体坐标系下的数据；通过对摄像机和GPS天线的标定操作获得多摄像机和GPS天线关于车体坐标系的变换矩阵，把自坐标系数据转换到车体坐标系下，再统一到ENU坐标系下；经过离线时间一致性对齐的多路摄像机的视频数据和其对应GPS位姿信号的空间坐标系都统一到ENU坐标系下，即完成了多传感数据的离线空间一致性配准。