[发明专利]一种双目可运动摄像机的地平面区域检测方法

摘要

本发明公开了一种双目可运动摄像机的地平面区域检测方法，包括步骤：一、确定双目可运动摄像机初始静止时刻地平面区域对应点的约束矩阵；二、获取双目可运动摄像机初始静止时刻的参数矩阵；三、双目可运动摄像机监控转动时图像采集与发送；四、获取双目可运动摄像机监控转动时刻与初始静止时刻地平面区域对应点的约束矩阵；五、监控拍摄图像中地平面区域的初步检测；六、构建目标能量函数实现地平面区域的最终检测。本发明利用两个可运动摄像机地平面区域对应点的约束矩阵，实现对地平面区域的初步检测，然后构建目标能量函数实现地平面区域的最终检测，实现了对监控区域图像中地平面区域的准确检测。

主权项

1.一种双目可运动摄像机的地平面区域检测方法，其特征在于，该方法包括以下步骤：步骤一、确定双目可运动摄像机初始静止时刻地平面区域对应点的约束矩阵：步骤101、双目可运动摄像机包含左摄像机和右摄像机，左摄像机和右摄像机初始时刻均静止，左摄像机对监控区域拍摄初始序列图像并发送至计算机，计算机得到左初始序列图像；同时右摄像机对监控区域拍摄初始序列图像并发送至计算机，计算机得到右初始序列图像；步骤102、计算机将左初始序列图像按照拍摄先后顺序划分为多帧左拍摄图像，将第m帧左拍摄图像记作同时，计算机将右初始序列图像按照拍摄先后顺序划分为多帧右拍摄图像，将与第m帧左拍摄图像同步采集的第m′帧右拍摄图像记作其中，左拍摄图像的帧数和右拍摄图像的帧数相同，m和m′均为正整数，且m＝m′，m的取值范围为1≤m≤M，m′的取值范围为1≤m′≤M,M表示左拍摄图像或者右拍摄图像的帧数，M为正整数，M的取值范围为200～300，所述第m帧左拍摄图像和所述第m′帧右拍摄图像的重叠度为75％；步骤103、计算机采用混合高斯模型对多帧左拍摄图像进行背景建模，得到左拍摄背景图像同时计算机采用混合高斯模型对多帧右拍摄图像进行背景建模，得到右拍摄背景图像计算机分别将多帧左拍摄图像和左拍摄背景图像进行差分运算，得到多帧左拍摄图像中的运动目标区域，并将第m帧左拍摄图像中的运动目标区域记作F₁^m；同时，计算机分别将多帧右拍摄图像和右拍摄背景图像进行差分运算，得到多帧右拍摄图像中的运动目标区域，并将第m′帧右拍摄图像中的运动目标区域记作步骤104、计算机分别获取多帧左拍摄图像和多帧右拍摄图像相互匹配的匹配点组，具体过程如下：步骤1041、计算机提取第m帧左拍摄图像中的运动目标区域F₁^m的左外接矩形框，得到第m个左外接矩形框；同时，计算机提取第m′帧右拍摄图像中的运动目标区域的右外接矩形框，得到第m′个右外接矩形框；步骤1042、计算机获取第m个左外接矩形框的第m个左主轴线；其中，第m帧左拍摄图像中的运动目标区域F₁^m中各个像素点到第m个左主轴线的像素距离之和最小；同时，计算机获取第m′个右外接矩形框的第m′个右主轴线；其中，第m′帧右拍摄图像中的运动目标区域中各个像素点到第m′个右主轴线的像素距离之和最小；步骤1043、在像素坐标系下，计算机将第m个左外接矩形框中远离u轴且与u轴平行的一个边框与第m个左主轴线的交点记作第m帧左拍摄图像中地平面区域对应点的左像点坐标同时，计算机将第m′个右外接矩形框中远离u轴且与u轴平行的一个边框与第m′个右主轴线的交点记作第m′帧右拍摄图像中地平面区域对应点的右像点坐标其中，第m帧左拍摄图像中地平面区域对应点的左像点坐标和第m′帧右拍摄图像中地平面区域对应点的右像点坐标为相互匹配的一个匹配点组；步骤1044、多次重复步骤1041至步骤1043，得到多个左拍摄图像中地平面区域对应点的左像点坐标和多个右拍摄图像中地平面区域对应点的右像点坐标；其中，M个左拍摄图像中地平面区域对应点的左像点坐标分别记作M个右拍摄图像中地平面区域对应点的右像点坐标分别记作步骤105、计算机采用最小二乘法根据公式得到双目可运动摄像机初始静止时刻的约束矩阵步骤二、获取双目可运动摄像机初始静止时刻的参数矩阵：获取左摄像机初始静止时刻的参数矩阵的具体过程如下：步骤201、获取初始静止时刻左摄像机的变焦倍数为并代入左摄像机的变焦倍数与行方向等效焦距关系式和左摄像机的变焦倍数与列方向等效焦距关系式，得到初始静止时刻左摄像机在图像行方向上的等效焦距和初始静止时刻左摄像机在图像列方向上的等效焦距步骤202、计算机根据公式得到初始静止时刻左摄像机的内部参数矩阵u_1,0表示在像素坐标系下左摄像机的主点在像素u轴上的坐标，v_1,0表示在像素坐标系下左摄像机的主点在像素v轴上的坐标；步骤203、获取初始静止时刻左摄像机的水平转动角度和初始静止时刻左摄像机的竖直转动角度计算机根据公式得到初始静止时刻左摄像机的外部参数矩阵获取右摄像机初始静止时刻的参数矩阵的具体过程如下：步骤20A、获取初始静止时刻右摄像机的变焦倍数为并代入右摄像机的变焦倍数与行方向等效焦距关系式和右摄像机的变焦倍数与列方向等效焦距关系式，得到初始静止时刻右摄像机在图像行方向的等效焦距和初始静止时刻右摄像机在图像列方向的等效焦距步骤20B、计算机根据公式得到初始静止时刻右摄像机的内部参数矩阵u_2,0表示在像素坐标系下右摄像机的主点在像素u轴上的坐标，v_2,0表示在像素坐标系下右摄像机的主点在像素v轴上的坐标；步骤20C、获取初始静止时刻右摄像机的水平转动角度和初始静止时刻右摄像机的竖直转动角度计算机根据公式得到初始静止时刻右摄像机的外部参数矩阵步骤三、双目可运动摄像机监控转动时图像采集与发送：在左摄像机和右摄像机进入监控转动时，左摄像机对监控区域拍摄监控序列图像并发送至计算机，计算机得到左监控序列图像；同时右摄像机对监控区域拍摄监控序列图像并发送至计算机，计算机得到右监控序列图像；其中，将左摄像机和右摄像机进入监控转动时，第T个采样时刻左摄像机采集到的左监控拍摄图像记作第T个左监控拍摄图像I′_1,T，同时，第T个采样时刻右摄像机采集到的右监控拍摄图像记作第T个右监控拍摄图像I′_2,T；其中，T为正整数，且T≥1；步骤四、获取双目可运动摄像机监控转动时刻与初始静止时刻地平面区域对应点的约束矩阵：左摄像机监控转动时刻与初始静止时刻地平面区域对应点的约束矩阵的获取过程如下：步骤401、计算机根据公式得到第T个采样时刻左摄像机的外部参数矩阵其中，表示第T个采样时刻左摄像机的水平转动角度，表示第T个采样时刻左摄像机的竖直转动角度；步骤402、左摄像机在监控转动时，获取第T个采样时刻左摄像机的变焦倍数为并代入左摄像机的变焦倍数与行方向等效焦距关系式和左摄像机的变焦倍数与列方向等效焦距关系式，得到左摄像监控转动时第T个采样时刻左摄像机在图像行方向的等效焦距和左摄像监控转动时第T个采样时刻左摄像机在图像列方向的等效焦距计算机根据公式得到左摄像监控转动时第T个采样时刻左摄像机的内部参数矩阵步骤403、计算机根据公式得到左摄像监控转动时第T个采样时刻和初始静止时刻地平面区域对应点的约束矩阵右摄像机监控转动时刻与初始静止时刻地平面区域对应点的约束矩阵的获取过程如下：步骤40A、右摄像机在监控转动时，计算机根据公式得到右摄像监控转动时第T个采样时刻右摄像机的外部参数矩阵其中，表示第T个采样时刻右摄像机的水平转动角度，表示第T个采样时刻右摄像机的竖直转动角度；步骤40B、右摄像机在监控转动时，获取第T个采样时刻右摄像机的变焦倍数为并代入右摄像机的变焦倍数与行方向等效焦距关系式和右摄像机的变焦倍数与列方向等效焦距关系式，得到右摄像监控转动时第T个采样时刻右摄像机在图像行方向的等效焦距和右摄像监控转动时第T个采样时刻右摄像机在图像列方向的等效焦距计算机根据公式得到右摄像监控转动时第T个采样时刻右摄像机的内部参数矩阵其中，u_2,0表示在像素坐标系下右摄像机的主点在像素u轴上的坐标，v_2,0表示在像素坐标系下右摄像机的主点在像素v轴上的坐标；步骤40C、计算机根据公式得到右摄像机监控转动时第T个采样时刻和初始静止时刻地平面区域对应点的约束矩阵步骤五、监控拍摄图像中地平面区域的初步检测：计算机对第T个采样时刻左摄像机采集到的左监控拍摄图像进行地平面区域的初步检测，具体过程如下：步骤501、计算机根据公式得到第T个采集时刻两个可运动摄像机地平面区域对应点的约束矩阵步骤502、在像素坐标系下，将第T个左监控拍摄图像I′_1,T中第j个像素点的坐标记作计算机根据公式得到第T个右监控拍摄图像I′_2,T中与第T个左监控拍摄图像I′_1,T中第j个像素点相对应的第j′个匹配像素点坐标其中，j为正整数，j是按照左监控拍摄图像先行后列顺序获取的像素点序号，j′为正整数，j′是按照右监控拍摄图像先行后列顺序获取的序号，j＞1，j′＞1；步骤503、将第T个左监控拍摄图像I′_1,T中第j个像素点的HSV颜色向量记作其中，表示第T个左监控拍摄图像I′_1,T中第j个像素点的色度，表示第T个左监控拍摄图像I′_1,T中第j个像素点的饱和度，表示第T个左监控拍摄图像I′_1,T中第j个像素点的亮度；将第T个右监控拍摄图像I′_2,T中与第T个左监控拍摄图像I′_1,T中第j个像素点相对应的第j′个匹配像素点的HSV颜色向量记作其中，表示第T个右监控拍摄图像I′_2,T中第j′个匹配像素点的色度，表示第T个右监控拍摄图像I′_2,T中第j′个匹配像素点的饱和度，表示第T个右监控拍摄图像I′_2,T中第j′个匹配像素点的亮度；步骤504、计算机将HSV颜色差分向量记作则根据公式得到其中，表示第T个左监控拍摄图像I′_1,T中第j个像素点的色度差分值，表示第T个左监控拍摄图像I′_1,T中第j个像素点的饱和度差分值，表示第T个左监控拍摄图像I′_1,T中第j个像素点的亮度差分值；步骤505、多次重复步骤501至步骤504，得到第T个左监控拍摄图像I′_1,T中各个像素点的色度差分值，将第T个左监控拍摄图像I′_1,T各个像素点的色度差分值进行升序排列，然后以像素点序号为横坐标，像素点的色度差分值为纵坐标绘制，得到第T个左监控拍摄图像I′_1,T的色度差分曲线；步骤506、计算机获取第T个左监控拍摄图像I′_1,T的色度差分曲线上的两个拐点，两个拐点处中一个拐点所对应的低色度差分值记作第T个左监控拍摄图像的低色度差分分量两个拐点处中另一个拐点所对应的高色度差分值记作第T个左监控拍摄图像的高色度差分分量步骤507、计算机将第T个左监控拍摄图像I′_1,T中第j个像素点的色度差分值第T个左监控拍摄图像的低色度差分分量和第T个左监控拍摄图像的高色度差分分量进行比较：当成立，则第T个左监控拍摄图像I′_1,T中第j个像素点属于地平面区域，并将第T个左监控拍摄图像I′_1,T中第j个像素点的分类标签标记为1；当成立，则第T个左监控拍摄图像I′_1,T中第j个像素点不属于地平面区域，并将第T个左监控拍摄图像I′_1,T中第j个像素点的分类标签标记为0；当时，执行步骤508；步骤508、以第T个左监控拍摄图像I′_1,T中第j个像素点为圆心取半径为10个像素点的圆形区域为待判断像素点区域，获取待判断像素点区域中像素点的色度差分值小于第T个左监控拍摄图像的低色度差分分量的像素点数量n_x和待判断像素点区域中像素点的色度差分值大于第T个左监控拍摄图像的高色度差分分量的像素点数量n_d，当n_x＞n_d，则第T个左监控拍摄图像I′_1,T中第j个像素点属于地平面区域，并将第T个左监控拍摄图像I′_1,T中第j个像素点的分类标签标记为1；否则，当n_x≤n_d，则第T个左监控拍摄图像I′_1,T中第j个像素点不属于地平面区域，并将第T个左监控拍摄图像I′_1,T中第j个像素点的分类标签标记为0；计算机对第T个采样时刻右摄像机采集到的右监控拍摄图像进行地平面区域的初步检测，具体过程如下：步骤50A、在像素坐标系下，将第T个右监控拍摄图像I′_2,T中第J个像素点的坐标记作计算机根据公式得到第T个左监控拍摄图像I′_1,T中与第T个右监控拍摄图像I′_2,T中第J个像素点相对应的第J′个匹配像素点坐标其中，J为正整数，J是按照右监控拍摄图像先行后列顺序获取的像素点序号，J′为正整数，J′是按照左监控拍摄图像先行后列顺序获取的序号，J＞1，J′＞1；步骤50B、按照步骤503至步骤508，对第T个右监控拍摄图像I′_2,T进行处理，得到第T个右监控拍摄图像的色度差分曲线、低色度差分分量和低色度差分分量并对第T个右监控拍摄图像I′_2,T进行地平面区域的初步检测；步骤六、构建目标能量函数实现地平面区域的最终检测：步骤601、计算机利用超像素分割方法对第T个左监控拍摄图像I′_1,T进行过分割，得到第T个左监控拍摄图像I′_1,T的超像素集合并记作第T个左超像素集合即表示第T个左监控拍摄图像I′_1,T中的第i个超像素，ω和i均为正整数，1≤i≤ω，ω表示第T个左监控拍摄图像I′_1,T的超像素总数，ω＞1；步骤602、计算机获取第T个左监控拍摄图像I′_1,T中第i个超像素内部分类标签为0的像素点个数，并记作计算机获取第T个左监控拍摄图像I′_1,T中第i个超像素内部分类标签为1的像素点个数，并记作步骤603、计算机根据公式得到第T个左监控拍摄图像I′_1,T中第i个超像素中分类标签为0的惩罚因子；计算机根据公式得到第T个左监控拍摄图像I′_1,T中第i个超像素中分类标签为1的惩罚因子；其中，表示第T个左监控拍摄图像I′_1,T中第i个超像素内部像素点的总数；步骤604、计算机将多个与第T个左监控拍摄图像I′_1,T中第i个超像素相邻的超像素记作第T个左监控拍摄图像I′_1,T中第i个超像素的空域近邻超像素集合表示第T个左监控拍摄图像I′_1,T中与第i个超像素相邻的第χ个相邻超像素，χ和X均为正整数，1≤χ≤X，X表示空域近邻超像素集合中元素的总数，X＞1；步骤605、计算机根据公式得到第T个左监控拍摄图像I′_1,T中第i个超像素的各个近邻惩罚因子；其中，||·||₂表示2‑范数，表示第T个左监控拍摄图像I′_1,T中第i个超像素的质心坐标矩阵，表示第T个左监控拍摄图像I′_1,T中与第i个超像素相邻的第χ个相邻超像素的质心坐标矩阵，表示第T个左监控拍摄图像I′_1,T中第i个超像素的HSV颜色均值向量，表示第T个左监控拍摄图像I′_1,T中与第i个超像素相邻的第χ个相邻超像素的HSV颜色均值向量；步骤606、设定第T个左超像素集合对应的分类标签集合为即表示第T个左监控拍摄图像I′_1,T中第i个超像素的分类标签，当取0时，说明第T个左监控拍摄图像I′_1,T中第i个超像素不属于地平面区域；当取1时，说明第T个左监控拍摄图像I′_1,T中第i个超像素属于地平面区域；设定第T个左监控拍摄图像I′_1,T中第i个超像素的空域近邻超像素集合对应的分类标签集合为即表示第T个左监控拍摄图像I′_1,T中与第i个超像素相邻的第χ个相邻超像素的分类标签，当取0时，说明第T个左监控拍摄图像I′_1,T中与第i个超像素相邻的第χ个相邻超像素不属于地平面区域；当取1时，说明第T个左监控拍摄图像I′_1,T中与第i个超像素相邻的第χ个相邻超像素属于地平面区域；步骤607、计算机构建目标能量函数E，如下：其中，δ(·)表示狄拉克δ函数，且步骤608、计算机获取目标能量函数E取值最小时第T个左超像素集合对应的分类标签集合，并将目标能量函数E取值最小时第T个左超像素集合对应的分类标签集合记作最优分类标签集合，则最优分类标签集合中分类标签为1时的超像素集合为左监控拍摄图像中的地平面区域；步骤609、按照步骤601至步骤608所述的方法对第T个右监控拍摄图像I′_2,T进行检测，得到右监控拍摄图像中的地平面区域；步骤6010、重复步骤601至步骤609，采用计算机对第T+1个采样时刻左摄像机采集到的左监控拍摄图像和第T+1个采样时刻右摄像机采集到的左监控拍摄图像进行处理，实现地平面区域的检测。