[发明专利]基于云台可控制摄像机的实时视频跟踪方法

摘要

本发明公开了一种基于云台可控制摄像机的实时视频跟踪系统，包括图像处理器，图像处理器上分别连接有云台、视频解码器、监视器、操控台、SDRAM、nand flash、电源，视频解码器还与摄像机连接，摄像机安装在云台上。本发明还公开了上述跟踪系统的跟踪方法。本发明视频跟踪系统的PCKH视频跟踪算法结合了改进的POC匹配算法和卡尔曼预测确定跟踪目标位置，用位置平滑后的匹配角点所在区域外接轮廓确定目标大小，在目标发生位移、旋转、尺度变化、遮挡以及在光照变化、复杂背景和噪声情况下都具有很好的鲁棒性。

主权项

基于云台可控制摄像机的实时视频跟踪系统的跟踪方法，其特征在于，采用基于云台可控制摄像机的实时视频跟踪系统，结构为：包括图像处理器(1)，图像处理器(1)上分别连接有云台(2)、视频解码器(3)、监视器(4)、操控台(5)、SDRAM(6)、nand flash(7)、电源(8)，视频解码器(3)还与摄像机(9)连接，摄像机(9)安装在云台(2)上；所述图像处理器(1)上还分别连接有复位接口(10)、网口(11)、jtag接口(12)、时钟模块(13)；所述云台(2)为两自由度云台；具体按照以下步骤实施：步骤1、由摄像机(9)拍摄图像并实时传输视频流到视频解码器(3)；步骤2、视频解码器(3)将接收到的视频转换为YUV数据格式，并传输到图像处理器(1)中；步骤3、操控台(5)根据图像处理器(1)中的视频内容选取需要跟踪的目标，目标中心点所在图像位置记为(x0,y0)，目标宽度记为Wtpl，目标高度记为Htpl，目标所在区域记为Obj_A；步骤4、利用PCKH跟踪算法对步骤3中选取的目标进行跟踪，并得到目标的实时中心点位置记为(x,y)；步骤5、计算目标和上一帧位置的偏移量dx、dy并根据偏移量控制云台的转动，使目标处在监视器的中心位置，从而实现目标的实时跟踪，同时在监视器(4)上实时显示跟踪目标所在的图像；所述步骤4中PCKH跟踪算法具体包括以下步骤：①将采集到的实时视频帧图像作为参考图像I，将步骤3中选取的需要跟踪的目标所在的图像区域Obj_A作为目标图像Itpl；②将参考图像I转换为参考灰度图像Igray，并在四周每个边分别延展δ个灰度渐变的像素点，得到延展后的参考灰度图像③将目标图像Itpl转换为目标灰度图像It_gray，并在四周每个边分别延展δ个灰度渐变的像素点，得到延展后的目标灰度图像④将延展后的目标灰度图像扩充成与延展后的参考灰度图像一样大，扩充的像素值为0，得到扩充后的目标灰度图像⑤将延展后的参考灰度图像与扩充后的目标灰度图像进行相位相关匹配，匹配函数峰值点所在位置为目标的中心点在参考图像I中的坐标位置(x1,y1)；⑥用卡尔曼滤波预测得到目标的中心点在参考图像I中的坐标位置(x2,y2)；⑦计算相位相关匹配位置(x1,y1)与卡尔曼滤波预测目标位置(x2,y2)的两点的欧式距离D，如果两点距离D小于等于阈值T，则目标中心点的位置为(x,y)且x＝x1,y＝y1；如果两点距离D大于阈值T，判断相位相关匹配错误，此时目标中心点的位置为(x,y)，且x＝x2,y＝y2；⑧在参考图像中，根据和目标图像匹配的角点集所在区域的外接轮廓计算得到目标的尺度大小，结合目标的中心点位置(x,y)确定目标的所在区域；⑨根据⑦中如果两点距离D大于阈值T，那么判断相位相关匹配错误，则目标位置为卡尔曼滤波预测得到的目标的中心点在参考图像I中的坐标位置(x2,y2)，此时目标图像Itpl不更新；如果两点距离D小于等于阈值T，则目标位置为相关相位匹配后得到的目标的中心点在参考图像I中的坐标位置(x1,y1)，同时根据⑧计算得到的目标尺寸更新目标图像Itpl；上述②、③中在四周延展δ个灰度渐变的像素点，具体为：定义参考灰度图像Igray的宽为W，高为H，四周各边分别延展δ个灰度渐变像素点后的延展后参考灰度图像的宽为We，高为He，其中，We＝W+2δ，He＝H+2δ；定义目标灰度图像It_gray的宽为Wtpl，高为Htpl，四周各边分别延展δ个灰度渐变像素点后的延展后目标灰度图像的宽为We_tpl，高为He_tpl，其中，We_tpl＝Wtpl+2δ，He_tpl＝Htpl+2δ；将延展边界分块，参考灰度图像Igray或目标灰度图像It_gray的上、下、左、右边界块分别定义为图像块T、B、L、R，参考灰度图像Igray或目标灰度图像It_gray的左上、右上、左下、右下边界块分别定义为图像块TL、TR、BL、BR；按照延展图像块所在的图像位置进行像素值初始化，其中图像块T、B、L、R分别用扩展前图像的首行、末行、首列、末列所在的像素值初始化；图像块TL、TR、BL、BR分别用扩展前图像的左上、右上、左下、右下顶点像素值初始化，即，用扩展前图像的首行首列相交的像素值初始化图像块TL、用扩展前图像的首行末列相交的像素值初始化图像块TR、用扩展前图像的末行首列相交的像素值初始化图像块BL、用扩展前图像的末行末列相交的像素值初始化图像块BR；延展后的参考灰度图像边界像素初始化公式如式(1)：延展后的目标灰度图像边界像素初始化公式如式(2)：