[发明专利]一种在PTZ跟踪过程中调整目标尺度的方法及装置

说明书

技术领域

本发明涉及计算机视觉领域和人工智能领域，尤其是涉及一种在PTZ跟踪过程中调整目标尺度的方法及装置。

背景技术

近年来，随着科技的发展，公共安全视频监控系统是对城市社会治安主动掌握并打击的有力手段，如在车站、码头、机场、港口、城市交通要道及出入口等地建立公共安全视频监控系统，发挥其现代技术防范手段的优势，对维护社会政治和治安稳定意义重大。

传统的视频监控系统仅仅相当于一个视频采集浏览器的作用，监控人员需要长时间进行人工观测，仅凭主观决定是否采取应急措施，而监控者很少能长时间保持注意力。近年来智能视频监控系统得到蓬勃发展，已经有了很多成熟的应用，如对禁区闯入、跨越半线、遗留移走等行为的检测。智能视频监控系统的工作原理一般来说分为几个步骤：首先在输入的视频序列中提取出感兴趣的运动目标，然后对运动目标进行跟踪，通过跟踪运动目标识别其运动特征，最后在运动目标做出某些用户认为是异常的运动特征时，发出报警。可以看出，目标跟踪是智能视频监控系统的一个重要组成部分。

目前监控熊使用的监控摄像机的种类主要分为两种：枪机（固定摄像机）和PTZ摄像机（球机），传统的基于静态摄像头的目标跟踪系统需要摄像头保持静止不动，这样导致摄像头只能跟踪当前可视视野内的目标，如果目标离开视野则静态跟踪就无能为力了，这时PTZ主动跟踪就应用而生了，PTZ在安防监控中是Pan/Tilt/Zoom的简写，代表云台全方位（上下，左右）移动及镜头变倍变焦控制，基于PTZ摄像机的跟踪系统相比于枪机，具有监控的场景更大，跟踪目标范围更大，焦距可变等优势，PTZ目标主动跟踪系统是基于球机而非静态摄像机的跟踪系统，当有检测到目标时，控制球机进行PT操作，如果目标太小可以通过变焦操作放大目标尺寸，从而获取清晰的目标细节，如获取跟踪的人的脸部信息和跟踪的车辆的车牌信息。在PTZ主动跟踪中需要解决的一个问题就是如何在变焦操作前后调整目标的尺度从而更准确的提取到目标的细节信息，传统的解决的方法有通过meanshift方法等，但meanshift算法是基于目标颜色信息的，这就表示如果背景中有和目标颜色相似的物体会很容易导致尺度调整失败，因此如何在PTZ变焦前后准确的调整目标尺度是PTZ主动跟踪中一个重要的问题，准确得到放大后的目标细节信息具有重要的实际意义。

发明内容

PTZ主动跟踪中获取到放大后的准确目标细节信息是后续的跟踪和识别的前提，如人脸和车牌等，同时如何有效的降低尺度调整算法的时间复杂度和精度是需要解决的重要问题之一，为了解决这个问题，本发明提出一种在PTZ跟踪过程中调整目标尺度的方法及装置。

根据本发明的一种在PTZ跟踪过程中调整目标尺度的装置，其包括以下模块：双向光流处理模块，获取上一帧图像的灰度信息和目标在上一帧的位置和大小，在目标框中均匀提取N个坐标点作为特征点P1，获取当前帧图的灰度信息，计算特征点P1在当前帧的位置P2，然后以P2为输入，计算P2在前一帧的位置P1’,在得到P1和P1’中对应点的欧式距离集合以及距离集合的中值以后，距离集合中大于中值的点保存在P1’中，把P1’对应的当前帧的点记为P2’；相关系数匹配模块，在特征点集合P1’和P2’周围取长度和宽度都为M个像素大小的块，然后计算在当前这些小块上特征点之间的归一化相关系数集合ncc，获取ncc集合的中值，把ncc中大于中值的值所对应的P2’点保存在P2’’，同样把对应的P1’中的点保存在P1’’,同时把大于ncc中值的ncc中的相关系数保存在ncc’中；图像尺度生成模块，计算P1’’中每个点与其他点的距离D1，相应的计算P2’’中每个点与其他点的距离D2，计算D2中每个元素与D1中对应的元素的比值保存在集合s中，取s的中值作为目标缩放比例，然后分别乘以前一帧目标的长度和宽度即得当前帧目标的大小；图像分割模块，将归一化相关系数与阈值比较，大于阈值的点作为前景点，否则为可能的前景点，然后利用图像分割算法进行分割，分割后的图像作为目标模版；目标尺度微调模块：由图像分割模块得到的目标模版是一个二值化黑白图像，即目标区域表示为255，背景区域表示为0，在当前帧的目标的区域内，扫描每一个点，如果当前点对应的目标模版值为255的时候，把当前点标记为前景点，否则标记为背景点，扫描完成以后，获取这些标记为前景点的区域的外接矩形即为最终的目标位置和大小。

进一步地，目标的两个属性为目标的位置和目标的大小，所述目标的位置用坐标(x,y)来表示，大小指的是目标框的长度和宽度。

进一步地，所述的中值指的是把距离集合进行排序，获取排序后集合中间位置的值。