[发明专利]一种用于体育比赛测量中的平板标定系统

摘要

一种用于体育比赛测量中的平板标定系统，本系统采用平面图形标定法。平面标定法就是利用多个成像平面对目标的位置进行分析，选择合适的成像平面对目标进行位置的确定。第一步，用左右两台不同方位的摄像机对标定物及被标定物拍摄并获取图像；第二步，对左右两台摄像机获取的图像进行处理后，从中对特征点进行提取和匹配，进而获得摄像机的内部参数和外部参数；第三步，利用两种方法的测量原理，通过特征点及摄像机的内外参数，计算得到被标定物位于三维空间的信息。对传统标定方法和平面棋盘格标定方法进行了对比实验，使用平面棋盘格标定法比使用传统三维立体框架标定法的精度更高，相对误差更小。

主权项

一种用于体育比赛测量中的平板标定系统，其特征在于：本系统采用平面图形标定法；平面标定法就是利用多个成像平面对目标的位置进行分析，选择合适的成像平面对目标进行位置的确定；每个平面的成像都是不同的，由于每个平面的成像都是在运动的，所以需要在摄像机与目标之间的平面内找到某几个点，来分析目标与摄像机之间的成像规律，然后根据这一规律对目标进行标定；由于对物体的标定会受到这些点的影响，随着目标的不断运动，摄像机与目标之间平面内的点就会越来越多，因而物体标定的准确度也就越来越高，从而为摄像机标定提供了可靠的信息支持，并会减少摄像机标定的成本，提高了标定的效率；相比三维立体标定法，平面标定的精确度更高，标定所用的时间相对较短，长时间使用后不会发生形变，而且携带方便，成本较低，所以平面标定法在体育测量研究领域中值得推广；摄像机模型三维重建的过程需要通过摄像机获取数据，因此需要先了解清楚摄像机的工作原理；通过摄像机，三维空间中的点能够映射到成像平面也就是二维图像上，其中映射关系可以用矩阵来表示；$\left[\begin{array}{c}x\\ y\end{array}\right]=M\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]---\left(1\right)$其中(x，y)^t为摄像机成像平面中的点，(X，Y，Z)^t为三维空间中的点，相较二维图像信息多了一个深度信息Z；矩阵M表示三维信息与二维信息之间的映射关系矩阵；三维信息与二维信息之间的映射关系矩阵M定义为摄像机参数，M中的各参数由实验和计算确定，求解各参数的过程称为摄像机标定；为求解上述矩阵各元素的变换关系，需建立摄像机的几何成像模型；针孔摄像机模型，又称为线性模型，是目前最简单同时也是最常用的摄像机成像模型；针孔摄像机模型在摄像机成像几何模型中，需要涉及如下三个坐标系：1)图像坐标系：以图像原点建立的以像素为单位的像素坐标系；像素的横坐标u和纵坐标v分别是该像素所在图像中的像素的列数与行数；s_x和s_y分别表示数字图像一个像素的长和宽，也就是物理长度；如确定s_x和s_y就能得到以物理单位表示的图像坐标系；针孔摄像机模型中，x_sc_sy_s坐标系即为图像坐标系，图像坐标系所在的平面称为成像平面；点p是成像平面上的一个像素点；2)摄像机坐标系：与图像坐标系不同的是，摄像机坐标系是三维坐标系；原点为摄像机光心，z_c轴为摄像机光轴，与成像平面垂直，x_c与y_c轴分别与图像坐标系的横纵坐标轴平行；摄像机坐标只表示摄像机内部的坐标关系，所以与摄像机位置无关；O_cx_cy_cz_c坐标系为摄像机坐标系；点p_c为三维空间中一个点，其成像点在成像平面上为点p；3)世界坐标系：由于摄像机坐标系只能描述摄像机内部的坐标关系，所以还需要引入一个表示摄像机位置的坐标系，也就是世界坐标系；世界坐标系的选取一般都是为了计算或者表示方便，所以并不是固定的；在双目或者多目重建时，选择其中一个摄像机坐标系为世界坐标系，也选择参照物建立世界坐标系；世界坐标系是一个三维坐标系，其原点为O_w，坐标轴分别为x_w，y_w，z_w；以像素为单位图像坐标系中的坐标(u，v)^T是像素点坐标，单位是像素，而不是物理长度坐标；使用的时候需要物理长度坐标(x_s，y_s)^T，那么采用公式(2)计算；$u=\frac{x_s}{s_x}+u_0,v=\frac{y_s}{s_y}+v_0---\left(1\right)$其中，u₀和v₀是图像中心偏移量；因为以像素为单位的图像坐标系原点一般是图像的左上角，而以物理长度为单位的图像坐标系时，一般以成像平面与光轴交点作为原点，这个交点的坐标为(u₀，v₀)^t，所以可以用u₀和v₀作为偏移量给出；公式(1)用齐次坐标形式写出如下：$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{s_x}& 0& u_0\\ 0& \frac{1}{s_y}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_s\\ y_s\\ 1\end{array}\right]---\left(2\right)$另外根据相似三角形原理，得到在摄像机坐标系下，成像点所对应的空间点坐标与图像坐标系坐标变换关系：$\frac{1}{z_c}\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right]=\frac{1}{f}\left[\begin{array}{c}{x}_s\\ y_s\\ 1\end{array}\right]---\left(3\right)$其中f为摄像机焦长度，即光心O_c到成像平面x_sc_sy_s的距离；根据公式(1)，将公式(3)用齐次坐标表示如下：$z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{s_x}& 0& u_0\\ 0& \frac{1}{s_y}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]---\left(4\right)$摄像机坐标系与世界坐标系都是采用物理长度单位，两者之间的变换关系可以用旋转矩阵R和向量t来描述；世界坐标系空间中一点P的坐标为(x_w，y_w，z_w，1)^T，在摄像机坐标系下的坐标为(x_c，y_c，z_c，1)^T，那么则有如下关系：$\left[\begin{array}{c}{x}_c\\ y_c\\ z_c\\ 1\end{array}\right]=\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]---\left(5\right)$其中，旋转矩阵R是3×3的正交单位矩阵，t是3×1的平移向量，O是1×3的零向量；根据公式(4)和(5)推导出从世界坐标系中坐标点对应的图像坐标系中坐标关系：$\begin{array}{c}{z}_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}\frac{1}{s_x}& 0& u_0\\ 0& \frac{1}{s_y}& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]\\ =\left[\begin{array}{cccc}{\mathrm{\α}}_x& 0& u_0& 0\\ 0& {\mathrm{\α}}_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ 0^T& 1\end{array}\right]\left[\begin{array}{c}{x}_w\\ y_w\\ z_w\\ 1\end{array}\right]=M_I{M}_{E}X=MX\end{array}---\left(6\right)$其中，α_x＝f/s_x，α_y＝f/s_y，M是3×4矩阵，称为投影矩阵；由上式可以看出M_I完全由α_x、α_y、u₀、v₀决定，上述参数只与摄像机内部结构有关，而与摄像机位置姿态外部因素无关，因此称之为内部参数，简称内参；M_E完全由摄像机相对于世界坐标系的位置姿态决定，因此称为摄像机的外部参数，简称外参；摄像机标定就是确定摄像机的内外参数的过程；摄像机标定摄像机标定是三维重建的第一步，通过摄像机标定得到摄像机内外参数以及镜头畸变参数；标定过程非常重要，如果标定得到的结果不够精确，后面的重建会受很大影响；通用的标定方法有DLT方法、Tsai定标方法、张正友标定法；张正友标定法，又称棋盘格标定法，是目前领域内广泛认可并采用的标定方法；标定的过程需要对一个已知尺寸参数的棋盘格平面进行多角度拍照，利用得到的多幅图像求解摄像机参数；令u＝(u，v，1)^T，X＝(x_w，y_w，z_w，1)^T，对式(6)进行以下改写：$z_{c}u=\left[\begin{array}{ccc}{\mathrm{\α}}_x& 0& u_0\\ 0& {\mathrm{\α}}_y& v_0\\ 0& 0& 1\end{array}\right]\[\begin{array}{cc}R& t\end{array}\]X=A\[\begin{array}{cc}R& t\end{array}\]X---\left(7\right)$其中A是3×3矩阵，即摄像机的内参数矩阵；[R t]是3×4矩阵，即摄像机的外参数矩阵，包括平移向量(3×1矩阵)和旋转矩阵(3×3矩阵)；公式简化如下：z_cu＝HX            (8)其中H＝A[r₁ r₂ t]，为3×3矩阵；这是因为所用的棋盘格为平面，选取世界坐标系z_w＝0，旋转向量就只剩下r₁和r₂两个列向量；H称为单应性矩阵，该矩阵表示三维空间中在一个平面上的点和摄像机成像平面上点之间的变换关系；成像平面上的像点选取棋盘格的内部角点，其坐标通过图像处理的方式得到，三维空间点坐标根据棋盘格尺寸参数确定；这样，每张图片对应一个单应矩阵；把单应矩阵用三个列向量形式表示，并且为了更具有普适性，加入尺度缩放因子，则有：H＝[h₁ h₂ h₃]＝λA[r₁ r₂ t]            (9)其中λ就是加入的尺度缩放因子；由于R是旋转矩阵，是单位正交矩阵，因此r₁和r₂是相互正交的；A是摄像机内参数矩阵，是可逆的，有：$h_1^T{A}^{-T}{A}^{-1}{h}_2=0---\left(10\right)$$h_1^T{A}^{-T}{A}^{-1}{h}_1=h_2^T{A}^{-T}{A}^{-1}{h}_2---\left(11\right)$令：$B=A^{-T}{A}^{-1}=\left[\begin{array}{ccc}{B}_{11}& B_{12}& B_{13}\\ B_{21}& B_{22}& B_{23}\\ B_{31}& B_{32}& B_{33}\end{array}\right]---\left(12\right)$因为B矩阵是一个对称矩阵，所以又用一个6维向量来表示：b＝(B₁₁，B₁₂，B₂₂，B₁₃，B₂₃，B₃₃)^T        (13)令H矩阵的第i列向量为：h_i＝(h_i1，h_i2，h_i3)^T            (14)则有：$h_i^T{\mathrm{Bh}}_j=v_{ij}^{T}b---\left(15\right)$其中：v_ij＝[h_i1h_j1，h_i1h_j2+h_i2h_j1，h_i2h_j2，h_i3h_j1+h_i1h_j3，h_i3h_j2+h_i2h_j3，h_i3h_j3]^T     (16)最后，根据内参数限制条件(10)、(11)得：$\left[\begin{array}{c}{v}_{12}^T\\ {(v_{11}-v_{22})}^T\end{array}\right]b=0---\left(17\right)$内参数限制条件中的h₁和h₂通过单应矩阵求得；单应矩阵H为3×3矩阵，共有9个参数，其中一个是尺度因子，只需要求解8个参数；每个视场对应一个单应矩阵，只需要提供四个角点信息即可求解，每个角点的x和y坐标提供一个方程；可见，每张照片对应两个方程组，摄像机内参数共有5个未知数，只要提供多于3张照片即可求得；当标定拍照图像较多时，采用列文伯格‑马夸尔特迭代算法进行优化求解；当求解出b向量后，根据(10)反求解出摄像机内参数矩阵A；当求解出矩阵A后，进而计算出摄像机的外参数：$\begin{array}{c}{r}_1={\mathrm{\λA}}^{-1}{h}_1\\ r_2={\mathrm{\λA}}^{-1}{h}_2\\ r_3=r_1\×r_2\\ t={\mathrm{\λA}}^{-1}{h}_3\end{array}---\left(18\right)$通过上面的过程，就可以求解出摄像机的内外参数，进一步就可以求出畸变参数。