[发明专利]一种结合DeepSort的双目测距方法

说明书

本发明涉及目标测距技术领域，具体涉及一种结合DeepSort的双目测距方法，在测距的同时对目标物进行类别标明和id区分，在跟踪的同时显示目标物与摄像机之间的距离，进而实现多目标的同时跟踪并测距，忽略除跟踪框以外的其他图像区域，提高准确率并减少视差点计算量，能够更加直观的观测到目标的位置和轨迹，最后把多目标跟踪算法处理后的跟踪框作为双目测距方法的输入，更好的针对指定目标进行测距，实现多个目标同时跟踪和测距的效果。

技术领域

本发明涉及目标测距技术领域，具体涉及一种结合DeepSort的双目测距方法。

背景技术

常见的测距方法有超声波测距、激光脉冲测距、红外测距、光学测距和立体视觉等。通过测量发射源发射与返回之间的时间差计算距离的方法称为主动法，声、激光、红外等射频装置均利用此方法，虽然这种方法方便、迅速，但在反射、噪音、交叉等问题环境中表现不佳，因此主动法测距应用受到限制。

视觉传感器的测距技术属于被动测距技术，根据系统所采用视觉传感器数量的不同，可以分为单目视觉系统、双目视觉系统以及多目视觉系统。单目视觉系统采用基于先验知识的方式，将目标与数据库中的样本比较，依据目标在图像中的位置和大小进行目标的识别和测距，单目视觉系统结构简单，计算量较小，但是需要建立庞大的样本数据库；多目视觉系统能准确获得距离信息，但是成本较高，而且算法的复杂度也较大，在处理无人机等目标时很难实现实时解算目标距离以及完成目标识别任务。

双目视觉系统通过不同位置的两台摄像机对同一场景进行拍摄，计算在左右两幅图像中对应像素点的视差，便能够全面地恢复场景的深度信息，同时成本相对较低，但是单独使用双目测距方法时，只能采用对整张图像进行像素匹配或前后景区分等处理方式，导致实现指定目标物测距时处理过程复杂等问题。

发明内容

本发明的目的在于提供一种结合DeepSort的双目测距方法，将DeepSort与双目测距结合，解决单独使用现有的双目测距方法时处理过程复杂的技术问题，减少针对目标进行双目测距时的图像处理范围，实现多个目标同时跟踪和测距的效果。

为实现上述目的，本发明提供了一种结合DeepSort的双目测距方法，包括下列步骤：

对双目相机进行标定，获取相机参数；

使用双目相机拍摄指定类别目标的数据集；

使用拍摄数据集训练DeepSort跟踪网络，得到相应类别的权重文件；

使用训练好权重文件的DeepSort跟踪网络，将指定类别目标的数据集作为输入，取跟踪得到的目标框部分作为双目测距的输入，再通过立体匹配算法计算距离。

其中，所述指定类别目标的数据集用作DeepSort跟踪网络的输入，网络输出包括目标物id、类别和置信度。

其中，所述DeepSort跟踪网络使用级联匹配策略，同时考虑目标间距和特征相似度，并对新生成的跟踪轨迹采取验证机制以排除错误的预测结果。

其中，级联匹配的过程中，视频中每帧图像经卡尔曼滤波预测后生成当前帧中所有目标的预测轨迹边界框，根据检测器在当前帧的检测结果，将检测和预测的边界框进行数据关联。

其中，使用卡尔曼滤波生成预测框，使用匈牙利算法解决卡尔曼预测框和检测框的分配问题，使用ReID领域模型来提取外观特征，并使用级联匹配和IoU匹配作为匹配机制，减少了ID switch的次数。

其中，在对双目相机进行标定，获取相机参数的过程中，通过相机焦距f和左右相机基线b获得空间点P离相机的距离z。

其中，所述通用双目测距方法包括相机标定、双目校正、双目匹配和计算深度信息四个步骤，具体为使用张正友标定法，制作棋盘格标定板进行相机标定，使用工具箱得到相机的内参和外参，然后通过python设计双目匹配算法得到视差值，之后对图像进行基线矫正，获得深度图。