[发明专利]基于像素点光流的图像序列运动直线筛选跟踪方法

摘要

本发明公开了一种基于像素点光流的图像序列运动直线筛选跟踪方法，利用摄像机拍摄一组连续的图像序列；计算出两帧图像序列间的稠密光流场；根据图像直线的法线式表示方法，推导出直线上点光流与直线光流的对应关系式；基于像素点光流的运动直线筛选；基于预测机制的运动直线跟踪。本发明能够根据图像序列像素点光流筛选图像中感兴趣的运动直线，剔除图像中的背景直线；根据运动直线筛选结果对当前图像和下一帧图像中运动直线进行跟踪，具有较高的筛选跟踪精度与鲁棒性。

主权项

基于像素点光流的图像序列运动直线筛选跟踪方法，其特征在于：1)利用摄像机拍摄一组连续的图像序列；2)计算出两帧图像序列间的稠密光流场；3)根据图像直线的法线式表示方法，推导出直线上点光流与直线光流的对应关系式：(ycosθ‑xsinθ)θ′‑ρ′+ucosθ+vsinθ＝0      (1)式(1)中，(u,v)^T是直线上点(x,y)^T处的点光流矢量值。(ρ,θ)^T和(ρ',θ')^T是直线的坐标和直线光流，根据式(1)，得出直线光流与直线上点光流的以下对应关系：A：当直线上各像素点的点光流矢量均为零时，直线光流为零；B：当直线上各像素点的点光流不为零时，直线光流不为零；C:当直线仅包含平移运动，且运动方向与直线方向相同时，直线上各点的点光流矢量不为零，但直线光流等于零；4)基于像素点光流的运动直线筛选；首先，根据点线光流对应关系构造一个二元方程组函数为：$f_{i,i+1}({\mathrm{\ρ}}^{\′},{\mathrm{\θ}}^{\′})=\left\{\begin{array}{c}(y_i\cos \mathrm{\θ}-x_i\sin \mathrm{\θ}){\mathrm{\θ}}^{\′}-{\mathrm{\ρ}}^{\′}+u_i\cos \mathrm{\θ}+v_i\sin \mathrm{\θ}=0\\ (y_{i+1}\cos \mathrm{\θ}-x_{i+1}\sin \mathrm{\θ}){\mathrm{\θ}}^{\′}-{\mathrm{\ρ}}^{\′}+u_{i+1}\cos \mathrm{\θ}+v_{i+1}\sin \mathrm{\θ}=0\end{array}\right.---\left(2\right)$式中，i表示直线上第i个像素点；根据式(2)，由直线上相邻两点的点光流值可以计算出直线光流(ρ',θ')^T；假设直线总共包含n个像素点，则直线光流估计方程为：$(\stackrel{\‾}{{\mathrm{\ρ}}^{\′}},\stackrel{\‾}{{\mathrm{\θ}}^{\′}})=\frac{1}{n-1}\underset{i}{\overset{n-1}{\mathrm{\Σ}}}{f}_{i,i+1}({\mathrm{\ρ}}^{\′},{\mathrm{\θ}}^{\′})---\left(3\right)$式(3)中，是根据均值滤波方法计算得到的直线光流估计值；得到直线光流估计值后，引入直线光流阈值(ρ_κ,θ_κ)^T，对直线光流估计值进行筛选，具体操作如下：式(4)中，直线光流阈值(ρ_κ,θ_κ)^T根据图像中所有直线光流估计值的均值设定；5)基于预测机制的运动直线跟踪；筛选出两帧图像间直线光流不为零的直线后，由第一帧图像直线坐标(ρ_t,θ_t)^T和直线光流估计值，计算出该直线在第二帧图像中的预测坐标${({\mathrm{\ρ}}_{t+\mathrm{\Δt}}^C,{\mathrm{\θ}}_{t+\mathrm{\Δt}}^C)}^T={({\mathrm{\ρ}}_t+{\mathrm{\ρ}}^{\′},{\mathrm{\θ}}_t+{\mathrm{\θ}}^{\′})}^T---\left(5\right)$计算得到第一帧图像中所有运动直线在第二帧图像中的预测位置后，首先，采用Hough变换提取出第二帧图像中所有直线的真实位置坐标(ρ_t+Δt,θ_t+Δt)^T，然后，利用第二帧图像直线预测位置坐标和直线真实坐标(ρ_t+Δt,θ_t+Δt)^T进行直线匹配；引入欧几里德距离(Euclidean distance)，其描述n维空间的中两点的真实距离；将其引入到Hough域中表示为：$d=\sqrt{{({\mathrm{\ρ}}_{t+\mathrm{\Δt}}^C-{\mathrm{\ρ}}_{t+\mathrm{\Δt}})}^2+{({\mathrm{\θ}}_{t+\mathrm{\Δt}}^C-{\mathrm{\θ}}_{t+\mathrm{\Δt}})}^2}---\left(6\right)$基于预测机制的运动直线跟踪的具体操作流程如下：Step1.假设根据点光流得到的第二帧图像预测直线总条数为n，首先根据Hough空间量化间隔设定匹配窗口的大小为Δρ×Δθ，(Δρ,Δθ)分别表示窗口的长度和宽度；Step2.取第i条直线的预测坐标为匹配窗口的中心位置，对第二帧图像所有直线的真实坐标进行遍历，则匹配过程包含以下几种情况：a).当匹配窗口内不包含第二帧图像直线的真实坐标时，匹配不成功，删除第i条直线的预测坐标，转至Step3；b).当匹配窗口内只包含一条第二帧图像直线的真实坐标，匹配成功，转至Step3；c).当匹配窗口内包含多条第二帧图像直线的真实坐标，计算预测直线坐标与各真实直线坐标的欧氏距离d，取欧氏距离最小的真实直线坐标作为匹配直线，即m表示匹配窗口内直线真实坐标的个数；匹配成功，转至Step3；Step3.if i＜n，则i＝i+1，转至Step2；Step4.结束。