[发明专利]一种基于三维标定的运动目标跨镜头跟踪方法

说明书

本发明涉及一种基于三维标定的运动目标跨镜头跟踪方法，将各相机在三维场景模型上的图像覆盖区域投影到地面上，生成二维的相机分布图，人工选定跟踪目标，在相关相机图像中进行目标识别，以识别出跟踪目标的相机为当前相机进行目标跟踪，将跟踪获得的运动目标位置映射到相机分布图中，在相机分布图中进行运动目标预测，在预测到运动目标可能进入其他相机的图像覆盖区域时，以运动目标可能进入的区域为目标检测区域，将目标检测区域映射到接力相机的图像中，在目标检测区域内进行运动目标检测，以检测到运动目标的接力相机为当前相机继续进行目标跟踪。本发明能够减少数据处理量，提高运动目标跨镜头跟踪的ReID检测效率和准确率。

技术领域

本发明涉及一种基于三维标定的运动目标跨镜头跟踪方法。

背景技术

三维标定是将二维图像中的基本信息(点、线、面的二维坐标及像素等)与三维空间信息(点、线、面的三维坐标及纹理等)匹配融合。

运动目标跨境头跟踪(TargetRe-identification，也称运动目标再识别，简称为ReID)是过计算机视觉技术检索不同摄像头下的同一个运动目标。传统人工录像查询不同相机的同一个运动目标，效率低下。随着深度学习快速发展，基于深度学习的ReID逐渐替代其他方式成为研究方向，通过选择特定运动目标的图像特征进行运动目标的识别和匹配，确认不同图像中的同一运动目标，进而实现跨镜头跟踪，例如人脸识别或车牌识别等。

基于人脸识别或车牌识别的运动目标ReID虽然准确率高，但对相机安装要求高，人脸或车牌相机覆盖范围小，需要大量安装识别相机才能覆盖一定区域，成本高昂，而且难以利用已有相机实现ReID，故难以广泛应用。

另外，基于深度学习的ReID需要同时检索多个镜头/图像中的所有运动目标，耗费较高计算资源，需要高性能显卡服务器，硬件成本高，而且当相机安装较高时，运动目标特征不明显或相似运动目标太多时，存在较多误检、漏检。

发明内容

为克服现有技术的上述缺陷，本发明提供了针对当前ReID存在同时检索多个镜头耗费较高计算资源以及相机安装位置较高时导致误检漏检问题，提出一种基于三维标定的运动目标跨镜头跟踪方法。。

本发明的技术方案是：一种基于三维标定的运动目标跨镜头跟踪方法，设置包含相机场景(监视区域)的三维场景模型，依据各相机的像素坐标系与三维世界坐标系之间的映射关系，将各相机在三维场景模型上的图像覆盖区域(相机图像所包含的区域)投影到地面(XY平面，或者说二维世界坐标系)上，由此形成能够以二维世界坐标系描述的相机分布图，人工选定跟踪目标(所要跟踪的运动目标)，在相关相机图像中进行目标识别，以识别出跟踪目标的相机为当前相机进行目标跟踪，将跟踪获得的运动目标位置映射到相机分布图中，在相机分布图中进行运动目标预测，在预测到运动目标可能进入(例如，预测位置临近或已经位于)其他相机的图像覆盖区域时，以运动目标可能进入(在下一帧上可能存在)的区域为目标检测区域(例如，以目标检测框方式限定的区域)，以运动目标可能进入其图像覆盖区域的其他相机(当前相机之外的相机)为接力相机，将目标检测区域映射到接力相机的图像中，在目标检测区域(映射到图像中的目标检测区域)内进行运动目标检测，直至接力相机检测到运动目标或当前相机跟踪到的运动目标不临近其他相机的图像覆盖区域，以检测到运动目标的接力相机为当前相机(当任一接力相机检测到运动目标时)，继续进行目标跟踪，当多个相机的实际图像在三维场景模型上或三维场景模型的地面投影上存在重叠的覆盖区域时，通过相机掩码图屏蔽相关相机的部分实际图像，以经掩码图处理后的图像(屏蔽部分实际图像后的图像)为相机图像，使各相机图像在相机分布图中的覆盖区域相互连接且不重叠。