[发明专利]一种基于全景摄像机和高速球机的智能联动与跟踪方法

说明书

技术领域

本发明涉及计算机视觉领域，特指一种基于全景摄像机和高速球机的智能联动与跟踪方法。

背景技术

在安防领域，视频监控作为社会安全防控的极其重要措施，广泛应用于金融、交通、教育、卫生、体育、能源、通讯、公安、军事以及居民社区等各类领域。当前，视频监控的应用需求逐渐由“看得见”向“看得清”和“看得广”的方向发展。然而监控系统的监控能力离监控需求仍然需求很大的间距，监控中存在监控盲区、无法看清目标、反应时间不够快等问题亟需解决。

全景成像技术能够采集覆盖大范围、宽视角场景的视屏，其凭借能够实现无盲区监控优势，在视频监控领域得到了广泛的关注和应用。由于总分辨率有限，全景摄像机在观察局部场景时分辨率太低，不能够提供目标的高清图像信息，使其应用范围受到严重限制。同时，当重点目标在监控视野中较小时，监控系统不能够完整地获取目标的特征信息，不能够高清对其进行抓拍和跟踪。然而，高速球机能利用其高速旋转及变倍的功能实现对场景中任意局部的高清拍摄，但高速球的观察范围有限，不能兼顾多个不同场景，因此单一的高速球摄像机也无法满足侦查需求。

为实现全局与局部的一体化监控技术，提出一种基于全景摄像机与高速球机的智能联动与跟踪方法。

发明内容

本发明要解决的技术问题为提出一种能够实现全局与局部的一体化监控的基于全景摄像机和高速球机的智能联动与跟踪方法。

针对上述技术问题，本发明的具体技术方案包括如下步骤：

步骤1)利用摄像机参数模型和特征点匹配的方法获得全景图像坐标到高速球机的旋转角度的映射关系，根据监控系统的鼠标所选取的感兴趣的目标，高速球机通过所述映射关系迅速转到目标区域并锁定目标，完成全景摄像机和高速球机的智能联动；

步骤2)全景端的目标跟踪：结合帧差法和Surendra自适应背景更新方法进行运动目标检测，通过Kalman滤波算法和建立目标匹配矩阵对检测到的运动目标进行多目标跟踪，得到目标的运动轨迹，完成了全局化监控；

步骤3)高速球端目标跟踪：利用步骤1)中方法进行全景摄像机和高速球机的智能联动，针对感兴趣的目标通过步骤1)中的方法求得全景摄像机与高速球机之间的映射关系来转动高速球，并通过目标特征匹配的方式获得目标在高速球画面中的精确位置，再结合Kalman滤波算法和Mean Shift算法进行运动目标检测，通过高速球端目标跟踪完成了目标的局部监控。

作为本发明技术方案的进一步改进，所述步骤1)具体包括：

1.1)采用摄像机的内参模型将图像映射至三维球面上，包括将全景图像转换到三维球面上和将高速球机图像转换到三维球面上，将全景摄像机和高速球机之间映射关系转换为三维球面的旋转关系；

1.2)求解全景摄像机和高速球机之间的映射关系：根据步骤1.1)所得的旋转关系，采用SIFT算法对全景图像与高速球机图像进行特征点匹配，并利用RANSAC算法剔除错误特征点对，再通过逐像素拟合的方法对全景图像中每个位置都求解不同的旋转矩阵，最后利用LM(Levenberg-Marquard)算法初步估计映射关系；

1.3)利用步骤1.2)中求得的映射关系采集多幅高速球机图像，根据映射关系将高速球机图像反投影到全景图像平面上，重新对全景图像和反投影的高速球机图像进行特征点匹配，并利用LM算法重新估算映射关系；

1.4)利用步骤1.1)-1.3)求得全景摄像机和高速球机之间的映射关系后，根据全景图像感兴趣目标的像素点可求得高速球机的旋转角度，从而控制高速球机进行转动到相应位置，完成全景摄像机和高速球机之间的联动。

作为本发明技术方案的进一步改进，所述步骤1)中，通过采用基于RANSAC算法和SIFT算法进行全景图像和高速球机图像特征点匹配，采用像素拟合方法来求解旋转矩阵，即针对全景图像的每个位置都求解不同的旋转矩阵，得到更为理想的旋转矩阵R₁₂，并利用LM算法初步估计映射关系。

作为本发明技术方案的进一步改进，所述步骤2)包括运动目标检测和多目标跟踪；

所述运动目标检测包括利用帧差法来辨识图像的前景区域即运动目标，采用Surendra背景法对运动区域内的背景保持不变，而非运动区域的背景用当前帧进行替换更新，经过一段时间后就可以提取背景图像；

所述多目标跟踪包括：

(1)跟踪窗口的设置；

(2)跟踪特征值的选择；

(3)Kalman跟踪中的运动模型估计；