[发明专利]基于在线学习的遮挡目标跟踪方法

摘要

本发明公开一种基于在线学习的遮挡目标跟踪方法，主要解决现有技术中当目标被遮挡时，目标发生模板漂移及目标被完全遮挡时跟踪失败的问题。其方法步骤为：(1)输入一段视频的第一帧，并人工标记出待跟踪的目标；（2）建立并初始化随机森林检测器和Kalman滤波器；(3)由随机森林检测器检测目标，由Lucas-Kanade跟踪器跟踪目标；(4)根据随机森林的检测结果和Lucas-Kanade跟踪器的跟踪结果，确定目标位置；(5)判断目标是否被遮挡；(6)判断目标是否被完全遮挡；(7)在线更新；(8)运用更新后的Kalman滤波器对目标的位置进行预测；（9）显示跟踪结果；(10)重复步骤(3)—步骤(9)，直到视频图像结束。本发明具有当目标被部分遮挡或完全遮挡时跟踪准确的优点，可应用于人机交互领域。

主权项

一种基于在线学习的遮挡目标跟踪方法，包括以下步骤：（1）输入一段视频中的第一帧，并人工标记出待跟踪的目标；（2）建立并初始化随机森林检测器和Kalman滤波器：2a)根据标记目标的大小取10种大小不同的滑动窗口（wi,hi），其中wi表示第i种滑动窗口的宽度，hi表示第i种滑动窗口的高度，i＝1～10；2b)设定随机森林检测器中的决策树数目为10个，在整幅图像中，以每个像素点为滑动窗口（wi,hi）的中心提取图像块，计算每个图像块与目标区域的面积重叠比oj＝sj/m，其中sj表示第j个图像块的面积，m表示目标的面积，将面积重叠比最大的10个图像块所在的区域作为正样本，训练随机森林检测器，将面积重叠比小于设定阈值的图像块所在的区域作为负样本，训练随机森林检测器；2c)根据第一帧视频图像中目标的初始位置，初始化Kalman滤波器；2d)将第一帧视频图像转化为色彩‑纯度‑明度HSV颜色模型，将色彩通道H均匀量化为8个小区间，将纯度通道S均匀量化为8个小区间，将明度通道V均匀量化为4个小区间，在正样本区域中，分别统计色彩通道H、纯度通道S、明度通道V中颜色落在每个小区间内像素点数目，得到正样本区域的颜色直方图hisu；（3）由随机森林检测器检测目标，由Lucas‑Kanade跟踪器跟踪目标：3a)载入新一帧视频图像，以整幅图像为搜索区域，以每个像素点为滑动窗口（wi,hi）的中心，将滑动窗口（wi,hi）中的图像块作为测试样本，由随机森林检测器中的每个决策树对测试样本进行分类，得到测试样本属于目标的概率p，当p大于设定阈值时，判定检测成功，否则判定检测失败；3b)用Lucas‑Kanade跟踪器跟踪目标，获得目标框大小的尺度变化s，当跟踪到目标时，判定跟踪成功，否则判定跟踪失败；（4）根据随机森林的检测结果和Lucas‑Kanade跟踪器的跟踪结果，按如下规则 确定目标位置：若跟踪成功、检测成功，则将检测结果作为目标位置，同时更新Kalman滤波器数据，执行步骤（5）；若目标的跟踪失败、检测成功，则将检测结果作为目标位置，同时更新Kalman滤波器数据，执行步骤（5）；若目标的跟踪成功、检测失败，则将跟踪结果作为目标位置，同时更新Kalman滤波器数据，执行步骤（5）；若目标的跟踪失败、检测失败，则运用已经建立的Kalman滤波器对目标的位置进行预测，执行步骤（8）；（5）判断目标是否被遮挡5a)用以目标中心的对称点把目标跟踪框分为左右两个部分，称为左跟踪窗和右跟踪窗，同时用跟踪框外扩4个像素形成一个比跟踪窗稍大的预警窗；5b）设当前帧为视频序列的第t帧视频图像，将第t帧视频图像转化为色彩‑纯度‑明度HSV颜色模型，计算第t帧视频图像中左跟踪窗的颜色直方图Tru(1,t)与第t‑1帧视频图像中左跟踪窗的颜色直方图Tru(1,t‑1)的Bhattacharyya系数ρ1(1,t)，计算第t帧视频图像中左跟踪窗的颜色直方图Tru(1,t)与第t‑1帧视频图像中左预警窗的颜色直方图Alu(1,t‑1)的Bhattacharyya系数ρ2(1,t)；5c)计算第t帧视频图像中右跟踪窗的颜色直方图Tru(2,t)与第t‑1帧视频图像中右跟踪窗的颜色直方图Tru(2,t‑1)的Bhattacharyya系数ρ1(2,t)，计算第t帧视频图像中右跟踪窗的颜色直方图Tru(2,t)与第t‑1帧视频图像中右预警窗的颜色直方图Alu(2,t‑1)的Bhattacharyya系数ρ2(2,t)；5d）在连续两帧视频图像中，若ρ2(1,t)>ρ1(1,t)或ρ2(2,t)>ρ1(2,t)，则认为目标被遮挡，执行步骤（6）；否则，认为目标未被遮挡，执行步骤（7）；（6）计算当前视频图像中目标区域的颜色直方图hu与正样本颜色直方图hisu的Bhattacharyya系数ρ，若Bhattacharyya系数ρ小于设定阈值θ则认为目标被完全 遮挡，执行步骤（8）；否则，认为目标未被完全遮挡，执行步骤（9）；（7）在线更新7a)在整幅图像中，以每个像素点为滑动窗口（wi,hi）的中心提取图像块，计算每个图像块与目标区域的面积重叠比oj＝sj/m，将面积重叠比最大的10个图像块所在的区域作为正样本，训练随机森林检测器，将面积重叠比小于设定阈值的图像块所在的区域作为负样本，训练随机森林检测器；7b)用新一帧视频图像中的目标位置更新Kalman滤波器；（8）运用更新后的Kalman滤波器对目标的位置进行预测；（9）根据目标框大小的变化尺度s调整目标框的宽和高，并显示；（10）重复步骤(3)—步骤(9)，直到视频序列结束。