[发明专利]一种无人机航拍视频运动小目标实时检测与跟踪方法

权利要求书

1.一种无人机航拍视频运动小目标实时检测与跟踪方法，其特征在于，所述无人机航拍视频运动小目标实时检测与跟踪方法，包括：

对无人机航拍的视频图像序列，每间隔一帧抽取一帧图像，逐帧进行实时检测与跟踪；

通过单高斯背景模型建模，获取当前背景模型；

融合前一时刻的单高斯背景模型来对当前时刻的单高斯背景模型进行运动补偿，得到当前时刻的单高斯背景模型；

在得到单高斯背景模型后，通过计算像素点属于单高斯背景模型的概率，分辨此像素点是前景还是背景，从而得到前景图像；

对获得的前景图像进行稀疏光流分析，获取跟踪点集合；

对跟踪点进行层次聚类，获取跟踪目标的外边框；

将每帧前景图像检测得到的跟踪目标的外边框中的跟踪目标扣取出来，形成后续待跟踪列表；

对每个跟踪目标通过深度神经网络来提取特征向量；

对每个跟踪目标采用卡尔曼滤波算法进行预测、采用匈牙利算法匹配，并更新跟踪列表，获取更新的跟踪目标。

2.根据权利要求1所述的无人机航拍视频运动小目标实时检测与跟踪方法，其特征在于，所述通过单高斯背景模型建模，获取当前背景模型，包括：

将当前帧图像划分为均匀分布的N×N的小块，初始化当前背景模型和备选背景模型；

计算每块图像对应单高斯背景模型的均值和方差，并且每提取一帧图像即将其生命值执行加一操作，根据预设的条件，选择更新当前背景模型或更新备选背景模型；

当满足当前背景模型更新的次数小于备选背景模型时，则互换当前背景模型和备选背景模型，并重新初始化备选背景模型。

3.根据权利要求1所述的无人机航拍视频运动小目标实时检测与跟踪方法，其特征在于，所述融合前一时刻的单高斯背景模型来对当前时刻的单高斯背景模型进行运动补偿，得到当前时刻的单高斯背景模型，包括：

将每帧图像划分成大小为H×W的均匀网格；

进行t-1时刻到t时刻的跟踪；

根据跟踪的结果计算得到单应矩阵，并通过单应矩阵计算得到t和t-1时刻两帧图像之间各点的对应关系，融合t-1时刻的单高斯背景模型，得到t时刻的单高斯背景模型。

4.根据权利要求1所述的无人机航拍视频运动小目标实时检测与跟踪方法，其特征在于，所述对获得的前景图像进行稀疏光流分析，获取跟踪点集合，包括：

对获得的前景图像进行灰度化操作，若当前处理的是第一帧图像，进行初始化；

采用FAST算法计算得到前一帧图像的特征点集合PreFeaturePtSet，获取原跟踪点的运动轨迹在前一帧的位置集合PreTrackPtSet；

计算PreFeaturePtSet集合中的特征点与PreTrackPtSet集合中的各跟踪点之间是否存在欧式距离小于阈值的情况，如果不存在，则认为该特征点是新出现的需要跟踪的点，将其加入PreTrackPtSet集合中；

对PreTrackPtSet中的跟踪点在前一帧和当前帧图像间进行LK金字塔光流检测，得到在当前帧的位置集合CurTrackPtSet；

根据检测的结果依次处理各类跟踪点，对已存在运动轨迹的原跟踪点，如果检测到光流，则更新跟踪点在当前帧的位置为CurTrackPtSet中的对应点，并更新其last_update_index为当前帧序号；如果没有检测到光流，则继承上一帧的跟踪结果，不更新其last_update_index。对检测到光流的新跟踪点，为其建立运动轨迹对应的数据结构，并按上述方法更新；

判断每个跟踪点的last_update_index与当前帧序号之间的差值大小，若大于阈值，意味着该点对应的运动轨迹长时间没有被更新，则删除；

统计各跟踪点运动轨迹对应在每帧图像的位置变动，若随着时间推移，该跟踪点在每帧图像间的位置变动不大，则删除。