[发明专利]一种基于多矩形图像距离转换模型的坐标标定方法

摘要

本发明公开了一种基于多矩形图像距离转换模型的坐标标定方法，按照以下步骤进行：步骤1：固定摄像机，建立坐标系；步骤2：连续构造多个矩形块；步骤3：求世界坐标系O-XYZ的X方向在图像坐标系O'UV中的消失点Q′₁；步骤4：求世界坐标系O-XYZ的Y方向在图像坐标系O'UV中的消失点Q′₂；步骤5：修正矩形顶点A_i′,B_i′(1≤i≤n)的坐标；步骤6：求距离转换模型系数K₁₂；步骤7：求距离转换模型系数K₁₁；步骤8：求距离转换模型系数K₂₂；步骤9：求距离转换模型系数K₂₁；步骤10：求取世界坐标系中的一点P的坐标。本发明采用多个矩形，有利于减小求解消失点的误差；修正矩形的顶点坐标，有利于弥补由于车道线磨损带来的误差；采用直线拟合的方法求取距离转换模型系数K₂₂，提高了K₂₂的准确度。

主权项

一种基于多矩形图像距离转换模型的坐标标定方法，其特征在于，该方法按照包括以下步骤进行：步骤1：建立世界坐标系O‑XYZ和图像坐标系O'UV；步骤2：获取摄像机的视频图像信息，在世界坐标系中，以摄像机拍摄范围内的道路平面中的车道横向为矩形一边方向，车道纵向为矩形另一边方向，车道宽为矩形横向边长，白色车道线的底端与纵向上相邻的一段白色车道线底端的间距作为矩形纵向一边的边长，构造一个矩形块，按此方法，从图像底部开始连续构造多个矩形块，所述多个矩形块一侧纵向边上的顶点在世界坐标系中的坐标依次用A₁,A₂，...，A_i，...,A_n表示，另一侧纵向边上的顶点在世界坐标系中的坐标依次用B₁,B₂，...，B_i，...,B_n表示，其中A₁和B₁为图像最底端顶点，B_n和A_n为图像最顶端顶点，n‑1为矩形个数，i为矩形顶点的编号，所述坐标A₁,A₂，...，A_i，...,A_n在图像坐标系中对应的坐标为A′₁,A′₂，...，A′_i，...,A′_n，所述坐标B₁,B₂，...，B_i，...,B_n在图像坐标系中对应的坐标为B′₁,B′₂，...，B′_i，...,B′_n；步骤3：求世界坐标系O‑XYZ的X方向在图像坐标系O'UV中的消失点Q'₁，具体流程为：3.1）在图像坐标系O'UV中求出直线A′_iB′_i和A′_jB′_j的交点P′_ij，1≤i≠j≤n；3.2）根据下式计算交点P′_ij的准确度D_ij：$D_{\mathrm{ij}}=\underset{m=1}{\overset{n}{\mathrm{\Σ}}}{d}_{\mathrm{ij}\_m},i\≠j$其中，1≤i≠j≤n，d_{ij_m}表示点P′_ij与直线A′_mB′_m的距离，1≤m≤n；3.3）选取D_ij最小的点P′_ij作为消失点Q′₁，Q′₁的坐标用(u₁,v₁)表示；步骤4：求世界坐标系O‑XYZ的Y方向在图像坐标系O'UV中的消失点Q′₂，具体流程为：对点A′₁,A′₂，...，A′_i，...,A′_n进行直线拟合，得到拟合直线为L′_A，对点B′₁,B′₂，...，B′_i，...,B′_n进行直线拟合，得到拟合直线为L′_B；然后求出拟合直线L′_A与L′_B的交点，并以所述交点作为消失点Q′₂，Q′₂的坐标用(u₂,v₂)表示；步骤5：修正所有世界坐标系中的矩形顶点A₁,A₂，...，A_i，...,A_n,B₁,B₂，...，B_i，...,B_n在图像坐标系中对应的点A′₁,A′₂，...，A′_i，...,A′_n,B′₁,B′₂，...，B′_i，...,B′_n的坐标，1≤i≤n，具体流程为：5.1）用下式分别计算每个矩形顶点面向消失点Q′₁的归一化准确度：$E_{\mathrm{aiq}1}=E_{\mathrm{biq}1}=\frac{\underset{k=1}{\overset{i-1}{\mathrm{\Σ}}}{D}_{\mathrm{ik}}+\underset{k=i+1}{\overset{n}{\mathrm{\Σ}}}{D}_{\mathrm{ik}}}{\max (\underset{k=1}{\overset{i-1}{\mathrm{\Σ}}}{D}_{\mathrm{ik}}+\underset{k=i+1}{\overset{n}{\mathrm{\Σ}}}{D}_{\mathrm{ik}})}$其中，D_ik为直线A′_iB′_i和A′_kB′_k的交点P′_ik的准确度，1≤i≤n，ai表示该归一化准确度是矩形顶点A′_i的归一化准确度，bi表示该归一化准确度是矩形顶点B′_i的归一化准确度，q1表示面向Q′₁方向；5.2）先求取世界坐标系O‑XYZ中的直线A_iB_i+1方向在图像坐标系O'UV中的消失点Q′₃，1≤i≤n‑1，然后计算每个矩形顶点面向消失点Q′₃的归一化准确度，具体流程为：首先在图像坐标系O'UV中求出直线A′_iB′_i+1和A′_jB′_j+1的交点T′_ij，1≤i≠j≤n‑1；根据下式计算交点T′_ij的准确度G_ij：$G_{\mathrm{ij}}=\underset{m=1}{\overset{n-1}{\mathrm{\Σ}}}{g}_{\mathrm{ij}\_m},i\≠j$其中，1≤i≠j≤n‑1，g_{ij_m}表示点T′_ij与直线A′_mB′_m+1的距离，1≤m≤n‑1；然后选取G_ij最小的点T′_ij作为消失点Q′₃，用下式分别计算每个矩形顶点面向消失点Q′₃的归一化准确度：$E_{\mathrm{aiq}3}=E_{b(i+1)q3}=\frac{\underset{k=1}{\overset{i-1}{\mathrm{\Σ}}}{G}_{\mathrm{ik}}+\underset{k=i+1}{\overset{n-1}{\mathrm{\Σ}}}{G}_{\mathrm{ik}}}{\max (\underset{k=1}{\overset{i-1}{\mathrm{\Σ}}}{G}_{\mathrm{ik}}+\underset{k=i+1}{\overset{n-1}{\mathrm{\Σ}}}{G}_{\mathrm{ik}})}$其中，G_ik为直线A′_iB′_i+1和A′_kB′_k+1的交点T_ik′的准确度，1≤i≤n‑1，ai表示该归一化准确度是矩形顶点A′_i的归一化准确度，b(i+1)表示该归一化准确度是矩形顶点B′_i+1的归一化准确度，q3表示面向Q′₃方向；同时，规定E_anq3＝E_b1q3＝0；5.3）先求取世界坐标系O‑XYZ中的直线A_i+1B_i方向在图像坐标系O'UV中的消失点Q′₄，1≤i≤n‑1，然后计算每个矩形顶点面向消失点Q′₄的归一化准确度，具体流程为：首先在图像坐标系O'UV中求出直线A′_i+1B′_i和A′_j+1B′_j的交点W_ij′，1≤i≠j≤n‑1；根据下式计算交点W_ij′的准确度H_ij：$H_{\mathrm{ij}}=\underset{m=1}{\overset{n-1}{\mathrm{\Σ}}}{h}_{\mathrm{ij}\_m},i\≠j$其中，1≤i≠j≤n‑1，h_{ij_m}表示点W_ij′与直线A′_m+1B′_m的距离，1≤m≤n‑1；然后选取H_ij最小的点W_ij′作为消失点Q′₄；用下式分别计算每个矩形顶点面向消失点Q′₄的归一化准确度：$E_{a(i+1)q3}=E_{\mathrm{biq}3}=\frac{\underset{k=1}{\overset{i-1}{\mathrm{\Σ}}}{H}_{\mathrm{ik}}+\underset{k=i+1}{\overset{n-1}{\mathrm{\Σ}}}{H}_{\mathrm{ik}}}{\max (\underset{k=1}{\overset{i-1}{\mathrm{\Σ}}}{H}_{\mathrm{ik}}+\underset{k=i+1}{\overset{n-1}{\mathrm{\Σ}}}{H}_{\mathrm{ik}})}$其中，H_ik为直线A′_i+1B′_i和A′_k+1B′_k的交点W_ik′的准确度，1≤i≤n‑1，a(i+1)表示该归一化准确度是矩形顶点A′_i+1的归一化准确度，bi表示该归一化准确度是矩形顶点B′_i的归一化准确度，q4表示面向Q′₄方向；同时，规定E_a1q4＝E_bnq4＝0；5.4）求出图像坐标系中每个矩形顶点三个方向归一化准确度的平均值，作为这个矩形顶点最终的归一化准确度；其中矩形顶点A′_i的最终的归一化准确度根据下式计算：$E_{\mathrm{ai}}=\frac{E_{\mathrm{aiq}1}+E_{\mathrm{aiq}3}+E_{\mathrm{aiq}4}}{1+\mathrm{efc}\left(E_{\mathrm{aiq}3}\right)+\mathrm{efc}\left(E_{\mathrm{aiq}4}\right)},1\≤i\≤n$其中，i＝n时，efc(E_aiq3)＝0，否则efc(E_aiq3)＝1；i＝1时，efc(E_aiq4)＝0，否则efc(E_aiq4)＝1；矩形顶点B′_i的最终的归一化准确度根据下式计算：$E_{\mathrm{bi}}=\frac{E_{\mathrm{biq}1}+E_{\mathrm{biq}3}+E_{\mathrm{biq}4}}{1+\mathrm{efc}\left(E_{\mathrm{biq}3}\right)+\mathrm{efc}\left(E_{\mathrm{biq}4}\right)},1\≤i\≤n$其中，i＝1时，efc(E_biq3)＝0，否则efc(E_biq3)＝1；i＝n时，efc(E_biq4)＝0，否则efc(E_biq4)＝1；5.5）按照如下方法判断图像坐标系中矩形顶点B′_i的归一化准确度是否可靠，并对得到矩形顶点B′_i修正后的坐标：若B′_i的归一化准确度E_bi≤n×E_a(i+1)且E_bi≤n×E_a(i‑1)，则认为E_bi可靠，矩形顶点B′_i坐标不作变动；若E_bi＞n×E_a(i+1)或E_bi＞n×E_a(i‑1)，并且n×E_a(i+1)≤n×E_a(i‑1)，则将直线A′_i+1Q′₄与直线L′_B的交点坐标作为矩形顶点B′_i修正后的坐标；若E_bi＞n×E_a(i+1)或E_bi＞n×E_a(i‑1)，并且n×E_a(i‑1)＜n×E_a(i+1)，则将直线A′_i‑1Q′₃与直线L′_B的交点坐标作为矩形顶点B′_i修正后的坐标；5.6）求出修正后的直线Q′₁B′_i与直线L′_A的交点，并将该交点坐标作为矩形顶点A′_i点修正后的坐标；步骤6：求取距离转换模型系数K₁₂，具体流程为：6.1）获取公路车道宽，即世界坐标系中L_A与L_B两条直线之间的距离，用s_x表示，其中L_A为点A₁,A₂，...，A_i，...,A_n所在的直线，L_B为B₁,B₂，...，B_i，...,B_n所在的直线；6.2）找出世界坐标系中摄像机光轴与道路平面的交点Q在图像坐标系O'UV中的投影点Q′，其坐标用(u,v)来表示，世界坐标系中交点Q在X轴上的投影点为Q_x，Q在Y轴上投影点为Q_y，L_A与QQ_y的交点为P_LA，L_B与QQ_y的交点为P_LB；求出Q′₁Q′与L′_A的交点P′_LA，其坐标为(u_A,v_A)，该点是交点P_LA在图像坐标系O'UV中的投影点；求出Q′₁Q′与L′_B的交点P′_LB，其坐标为(u_B,v_B)，该点是交点P_LB在图像坐标系O'UV中的投影点；6.3）用下式求出P′_LA与Q′₁距离的倒数p_A，P′_LB与Q′₁距离的倒数p_B：p_A＝1/((u₁‑u_A)²+(v₁‑v_A)²)^1/2p_B＝1/((u₁‑u_B)²+(v₁‑v_B)²)^1/26.4）用下式计算出距离转换模型系数K₁₂：$K_{12}=\frac{s_x}{p_A-p_B};$步骤7：求取距离转换模型系数K₁₁；步骤8：求取距离转换模型系数K₂₂；8.1）找出世界坐标系O‑XYZ中直线A_iB_i与QQ_x交点P_i，获取两个相邻交点P_i的间距，表示为s_y；8.2）计算出图像坐标系O'UV中A′_iB′_i与Q′₂Q′的交点P′_i，其坐标表示为(u_ABi,v_ABi)，点P′_i即为P_i在图像坐标系O'UV中的投影点；8.3）用下式求出交点P′_i与Q′₂距离的倒数p_ABi：p_ABi＝1/((u₂‑u_ABi)²+(v₂‑v_ABi)²)^1/2；8.4）在世界坐标系O‑XYZ中交点P₁到X轴的距离表示为l_y1，交点P_i与P₁的距离表示为d_i＝(i‑1)s_y，则有：l_y1+d_i＝K₂₁+K₂₂p_ABi  1≤i≤n根据上式，结合n个d_i和p_ABi，共有n组表达式，以d_i为纵轴，p_ABi为横轴，建立坐标系，在所述坐标系中将这n个点(p_AB1,d₁),(p_AB2,d₂)，...，(p_ABi,d_i)，...,(p_ABn,d_n)拟合成一条直线，然后求出直线的斜率，该斜率取为距离转换模型系数K₂₂；步骤9：求取距离转换模型系数K₂₁；步骤10：按照以下方法得到世界坐标系O‑XYZ中一点P的坐标：在世界坐标系坐标中找出过点P平行于X轴的直线与Q_xQ的交点P_y，然后在图像坐标系O'UV中找出交点P_y对应的点P_y′(u_y,v_y)；在世界坐标系坐标中找出过点P平行于Y轴的直线与Q_yQ的交点P_x，然后在图像坐标系O'UV中找出交点P_x对应的点P_x′(u_x,v_x)；根据下式求得P的坐标(l_x,l_y,0)，即完成点P在世界坐标系中标定：$\left\{\begin{array}{c}{l}_x=K_{11}+K_{12}{p}_x\\ l_y=K_{21}+K_{22}{p}_y\end{array}\right.$其中，p_x＝1/((u₁‑u_x)²+(v₁‑v_x)²)^1/2，p_y＝1/((u₂‑u_y)²+(v₂‑v_y)²)^1/2。