[发明专利]一种激光雷达与视觉融合的集成化目标跟踪系统及方法

权利要求书

1.一种激光雷达与视觉融合的集成化目标跟踪系统，其特征在于，包括：

固态激光雷达、单目视觉传感器及融合跟踪器，其中：

所述固态激光雷达用于获取并输出外部环境点云数据，所述单目视觉传感器用于获取并输出外部环境图像数据，所述融合跟踪器包括单目视觉目标检测模块、激光雷达目标检测模块、激光雷达-视觉融合跟踪模块和通信模块；

所述融合跟踪器的单目视觉目标检测模块用于从图像中获取目标信息；所述激光雷达目标检测模块用于从点云中获取目标信息；所述激光雷达-视觉融合跟踪模块首先通过将图像目标和点云目标统一到同一坐标系，然后根据目标运动状态模型和量测模型，对目标运动状态进行一步预测，建立跟踪门进行量测筛选，再对融合目标与量测目标进行数据关联，最后进行目标状态滤波完成对图像目标和点云目标的融合跟踪；所述通信模块用于输出融合目标信息；

其中，固态激光雷达、单目视觉传感器及融合跟踪器集成安装在同一个机械结构中，固态激光雷达、单目视觉传感器的相对位置固定不变。

2.根据权利要求1所述的一种激光雷达与视觉融合的集成化目标跟踪系统，其特征在于，所述融合跟踪器的融合跟踪流程包括：

2.1单目视觉目标检测模块接收来自单目视觉传感器的原始图像信息，利用图像目标检测算法得到图像目标类型、目标边框、目标方位角信息，利用单目视觉测距原理获取单目测距信息；

2.2激光雷达目标检测模块接收来自固态激光雷达的原始点云信息，检测得到点云目标位置信息及目标长宽高信息；

2.3激光雷达-视觉融合跟踪模块接收来自单目视觉目标检测模块的从图像中获取的目标信息和来自激光雷达目标检测模块的从点云中获取的目标信息，通过将图像目标和点云目标统一到同一坐标系，建立目标状态模型和量测模型，对目标状态进行一步预测，建立跟踪门进行量测筛选，对融合目标与量测目标进行数据关联，进行目标状态滤波完成对图像目标和点云目标的融合，得到融合后的包括目标类型、位置信息及长宽高信息的融合目标；

2.4通信模块与外部设备进行通信，将融合目标结果发送给外部设备。

3.根据权利要求2所述的一种激光雷达与视觉融合的集成化目标跟踪系统，其特征在于，所述步骤2.3目标融合方法包括以下步骤：

3.1空间配准：设定智能移动平台坐标系，利用旋转平移变换公式将图像目标和点云目标变换到该坐标系上，将图像目标和点云目标统一到同一坐标系；

3.2系统建模：在智能移动平台坐标系上建立扩展目标运动状态模型以及图像目标和点云目标的量测模型：

其中表示k时刻目标的x位置、x速度、y位置、y速度、宽、高、信任度，表示k时刻图像目标的量测，N表示自然数集合，t表示图像目标类型，表示k时刻点云目标的量测，F_k为状态转移矩阵，Γ_k为噪声矩阵，为k时刻图像目标量测矩阵，为k时刻点云目标量测矩阵，ω_k为k时刻过程噪声，为k时刻图像目标量测噪声，为k时刻点云目标量测噪声；

3.3目标运动状态预测：根据步骤3.2所述的目标运动状态方程及前一时刻目标的状态估计与协方差矩阵P_k-1|k-1，分别计算目标状态的一步预测值及一步预测误差的协方差矩阵P_k|k-1；

3.4量测筛选：设置一个二重跟踪门，首先以坐标轴原点为扇形顶点，以目标边框为扇形两边上的点建立扇形跟踪门进行筛选，然后对扇形跟踪门内的目标量测根据目标类型以及目标宽度做二次筛选，得到候选量测集

3.5数据关联：采用联合概率数据关联JPDA算法对目标轨迹预测值和候选量测进行关联，能同时关联图像目标量测和点云目标量测的目标为成功融合目标，其余则为未成功融合目标；未成功融合目标又分为图像检测到而激光雷达没有检测到、激光雷达检测到而图像没有检测到、以及两种传感器都没有检测到三种情况；根据关联结果对不同目标的信任度p进行修正，并根据信任度p分为融合目标、潜在目标以及可丢弃目标；

3.6目标状态滤波：根据计算的关联事件概率更新目标状态及目标量测，利用卡尔曼滤波对关联后的目标状态进行滤波，得到k时刻目标运动状态的最优估计与滤波误差的协方差矩阵