[发明专利]基于长短焦多相机车辆环境下的目标检测和融合方法

权利要求书

1.一种基于长短焦多相机车辆环境下的目标检测和融合方法，其特征在于，包括以下步骤：

步骤1、分别安装长焦相机、短焦双目相机，对双目系统进行标定。并将长、短焦相机采集到的图像序列输入到深度学习卷积神经网络，通过目标检测得到同一时刻下长短焦双目相机在广视野和窄视野中的目标框位置；

步骤2、根据长焦相机窄视野中的目标位置和双目标定的内、外部参数，利用相机成像原理，得到空间目标点P在长短焦相机像素坐标系下的映射关系f，得到长焦相机窄视野中的目标位置p₁在短焦相机宽视野中对应的目标位置p₂；

步骤3、通过分析短焦相机广视野中检测到的目标位置，以及步骤2得到的长焦相机窄视野中的目标位置在短焦相机宽视野中对应的目标位置，对长短焦图像中的目标框进行融合处理。

2.根据权利要求1所述的一种基于长短焦多相机车辆环境下的目标检测和融合方法，其特征在于，所述步骤1)具体包括以下步骤：

步骤2-1.设置好长短焦相机的不同焦距，并将双目相机系统安装至车辆上方同一高度上，双目相机之间留有一定的基线距离；

步骤2-2.使用张正友标定法进行标定，得到双目系统的内部参数K，以及外部参数R、T；其中K是包含相机焦距、光心等信息的内参矩阵，R和T分别是长焦相机相对于短焦相机的旋转矩阵和平移矩阵；

步骤2-3.采用深度学习目标检测，采用轻量级的卷积神经网络YOLOv3-Tiny对长短焦双目相机采集的同一时刻图像进行目标检测，具体包括步骤：数据集制作、迁移学习、网络推理及目标检测，获得不同焦距相机下的目标框位置。

3.根据权利要求2所述的一种基于长短焦多相机车辆环境下的目标检测和融合方法，其特征在于，所述步骤2-1设置相机焦距以及安装相机系统，采用不同焦距的两个相机，短焦距相机放置于左，长焦距相机置于右，两相机之间的基线长度为b，构成长短焦双目视觉系统，并将该双目系统至于车辆顶部前方。

4.根据权利要求2所述的一种基于长短焦多相机车辆环境下的目标检测和融合方法，其特征在于，所述步骤2-2)标定长短焦双目相机，在双目相机前方放置一张棋盘格标定板，且必须要求棋盘格同时出现在长短焦相机的视野中；使用双目相机捕获棋盘格标定板的角点，利用张正友标定法计算各自相机的内参K₁,K₂，以及双目相机之间的外参R和T。

5.根据权利要求2所述的一种基于长短焦多相机车辆环境下的目标检测和融合方法，其特征在于，所述步骤2-3数据集制作的具体过程是，将自行采集并完成标签制作的重庆市交通数据集与开源的Pascal VOC 2012数据集合并，然后对合并后的数据集进行数据增强，获得更多训练样本；

所述迁移学习的具体过程是，在已有的预训练模型基础上，再利用YOLOv3_Tiny网络加载合并后的数据集进行训练；

所述的网络推理及目标检测，是指在智能车正常的运行过程中YOLOv3_Tiny网络加载已经训练好的网络模型权重进行前向推理计算，完成目标检测任务。