[发明专利]一种基于全景摄像机和高速球机的智能联动与跟踪方法

权利要求书

1.基于全景摄像机和高速球机的智能联动与跟踪方法，其特征是，包括如下步骤：

步骤1)利用摄像机参数模型和特征点匹配的方法获得全景图像坐标到高速球机的旋转角度的映射关系，根据鼠标选取的感兴趣的目标，高速球机通过所述映射关系能迅速转到目标区域并锁定目标，完成了全景摄像机和高速球机的智能联动；

步骤2)全景端的目标跟踪：结合帧差法和Surendra自适应背景方法进行运动目标检测，通过Kalman滤波算法和建立目标匹配矩阵对检测到的运动目标进行多目标跟踪，得到目标的运动轨迹，完成了全局化监控；

步骤3)高速球端目标跟踪：利用步骤1)中方法进行全景摄像机和高速球机的智能联动，针对感兴趣的目标通过步骤1)中的方法求得全景摄像机与高速球机之间的映射关系来转动高速球，并通过目标特征匹配的方式获得目标在高速球画面中的精确位置，再结合Kalman滤波算法和Mean Shift算法进行运动目标检测，通过高速球端目标跟踪完成了目标的局部监控。

2.根据权利要求1所述的一种基于全景摄像机和高速球机的智能联动与跟踪方法，所述步骤1)具体包括：

1.1)采用摄像机的内参模型将图像映射至三维球面上，包括将全景图像转换到三维球面上和将高速球机图像转换到三维球面上，将全景摄像机和高速球机之间映射关系转换为三维球面的旋转关系；

1.2)求解全景摄像机和高速球机之间的映射关系：根据步骤1.1)所得的旋转关系，采用SIFT算法对全景图像与高速球机图像进行特征点匹配，并利用RANSAC算法剔除错误特征点对，再通过逐像素拟合的方法对全景图像中每个位置都求解不同的旋转矩阵，最后利用LM(Levenberg-Marquard)算法初步估计映射关系；

1.3)利用步骤1.2)中求得的映射关系采集多幅高速球机图像，根据映射关系将高速球机图像反投影到全景图像平面上，重新对全景图像和反投影的高速球机图像进行特征点匹配，并利用LM算法重新估算映射关系；

1.4)利用步骤1.1)-1.3)求得全景摄像机和高速球机之间的映射关系后，根据全景图像感兴趣目标的像素点可求得高速球机的旋转角度，从而控制高速球机进行转动到相应位置，完成全景摄像机和高速球机之间的联动。

3.根据权利要求2所述的一种基于全景摄像机和高速球机的智能联动与跟踪方法，所述步骤1)中，通过采用基于RANSAC算法和SIFT算法进行全景图像和高速球机图像特征点匹配，采用像素拟合方法来求解旋转矩阵，即针对全景图像的每个位置都求解不同的旋转矩阵，得到更为理想的旋转矩阵R₁₂，并利用LM算法初步估计映射关系。

4.根据权利要求1的一种基于全景摄像机和高速球机的智能联动与跟踪方法，所述步骤2)包括运动目标检测和多目标跟踪；

所述运动目标检测包括利用帧差法来辨识图像的前景区域即运动目标，采用Surendra背景法对运动区域内的背景保持不变，而非运动区域的背景用当前帧进行替换更新，经过一段时间后就可以提取背景图像；

所述多目标跟踪包括：

(1)跟踪窗口的设置；

(2)跟踪特征值的选择；

(3)Kalman跟踪中的运动模型估计；

(4)模型更新和建立目标匹配矩阵。

5.根据权利要求1的一种基于全景摄像机和高速球机的智能联动与跟踪方法，所述步骤3)中，利用步骤1)中的全景摄像机和高速球机之间的智能联动方法将监控任务转交给高速球，通过目标特征匹配的方式获得目标在高速球画面中的精确位置，结合Kalman滤波算法和Mean Shift算法进行运动目标跟踪，高速球端的目标跟踪可获得高清的图像序列，实现对感兴趣的目标进行高清抓拍。

6.根据权利要求1的一种基于全景摄像机和高速球机的智能联动与跟踪方法，所述步骤3)中高速球端目标跟踪步骤如下：

3.1)初始化Kalman滤波器，根据设定的跟踪窗口中目标的质心位置作为初始位置；

3.2)根据前一时刻的Kalman滤波的系统状态量，由Kalman滤波器获得当前时刻目标的预测位置；

3.3)根据前一时刻的Kalman滤波的系统状态量，由Mean Shift跟踪算法获得当前时刻的观测位置；

3.4)根据之前由Kalman滤波器求得的预测位置和由Mean Shift算法求得的观测位置，采用Kalman滤波法估算当前时刻目标的估计位置；

3.5)由第四步求得的目标的估计位置再应用前面第3.2)和3.3)步同理推出下一时刻运动目标的预测位置和观测位置；

3.6)重复上面的3.2)、3.3)和3.4)步骤，最终获得稳定的目标跟踪算法。