[发明专利]基于长短焦多相机车辆环境下的目标检测和融合方法

说明书

本发明请求保护一种基于长短焦多相机车辆环境下的目标检测和融合方法。该方法包括以下几个步骤：1.采用卷积神经网络对长短焦双目相机采集的图像进行目标检测，得到同一时刻下不同焦距相机所得图像中的目标框位置。2.根据相机成像原理和相机标定所得的内外参数K、R、T，可得到空间目标点P在长、短焦相机像素坐标系下的映射关系f。3.将长焦相机图像中的目标框位置，通过映射关系f,得到短焦相机图像中相应目标框的位置，再与原短焦相机图像中的目标进行融合，实现了不同距离条件下的目标检测任务。本发明克服了单一焦距相机不能适应不同距离下目标检测任务的局限，提高了车辆环境下目标检测的准确度。同时，本方法简单易用，成本低，实时性高。

技术领域

本发明属于智能汽车环境感知技术领域，具体涉及到一种长短焦距多相机车辆环境下的目标检测和融合方法。

背景技术

近些年来，随着人工智能、机器视觉等领域的快速发展，自动驾驶成为了学术界、工业界研究的重要领域。环境感知技术是自动驾驶系统中的关键技术之一，也是最基础的模块，它像车的眼睛告诉车辆周围的环境。目标检测、定位、运动状态估计是环境感知模块中最基本的功能。

随着深度学习的广泛应用，以及计算设备计算能力的大幅提高，基于深度学习的环境感知技术成为环境感知模块的重要支撑。基于视觉的环境感知主要实现了行人检测、障碍物检测、车道线检测、可行驶区域检测、交通标志识别等功能，结合立体视觉技术可实现目标的定位。在当前，国内外研究者一直聚焦于不断提升单一焦距相机的目标检测性能。但是在复杂的工作环境中，单一焦距相机获取的信息有局限性，仅仅依靠单一焦距的相机不能对不同距离处的目标进行正确的检测，往往会发生漏检的情况。而采用不同焦距的相机，恰好能弥补两者之间的缺点，集合两者的优点，准确地检测到车辆环境下的目标。例如，短焦相机视野广，远处目标成像较小，难以通过深度学习检测到；近处目标较大，容易检测到。长焦相机视野窄，远处目标较大，容易被检测到；但是近处目标可能由于相机视野的原因，并不能采集到。因此综合短焦和长焦相机图像各自的优点，能实现不同距离下的目标检测任务，可以更准确的对车辆环境下目标进行检测，有效避免目标漏检情况的发生。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于长短焦多相机车辆环境下的目标检测和融合方法。本发明的技术方案如下：

一种基于长短焦多相机车辆环境下的目标检测和融合方法，其包括以下步骤：

步骤1、分别安装长焦相机、短焦双目相机，对双目系统进行标定。并将长、短焦相机采集到的图像序列输入到深度学习卷积神经网络，通过目标检测得到同一时刻下长短焦双目相机在广视野和窄视野中的目标框位置；

步骤2、根据长焦相机窄视野中的目标位置和双目标定的内外部参数，利用相机成像原理，得到空间目标点P在长短焦相机像素坐标系下的映射关系f，得到长焦相机窄视野中的目标位置p₁在短焦相机宽视野中对应的目标位置p₂；

步骤3、通过分析短焦相机广视野中检测到的目标位置，以及步骤2得到的长焦相机窄视野中的目标位置在短焦相机宽视野中对应的目标位置，对长短焦图像中的目标框进行融合处理。

进一步的，所述步骤1)具体包括以下步骤：

步骤2-1.设置好长短焦相机的不同焦距，并将双目相机系统安装至车辆上方同一高度上，双目相机之间留有一定的基线距离；

步骤2-2.使用张正友标定法进行标定，得到双目系统的内部参数K，以及外部参数R、T；其中K是包含相机焦距、光心等信息的内参矩阵，R和T分别是长焦相机相对于短焦相机的旋转矩阵和平移矩阵。

步骤2-3.采用深度学习目标检测，采用轻量级的卷积神经网络YOLOv3-Tiny对长短焦双目相机采集的同一时刻图像进行目标检测，具体包括步骤：数据集制作、迁移学习、网络推理及目标检测，获得不同焦距相机下的目标框位置。