[发明专利]一种基于旋转模型的主从摄像机系统的标定以及联动方法

权利要求书

1.一种基于旋转模型的主从摄像机系统的标定以及联动方法，其特征在于：包括标定过程和联动过程，其中标定过程是指获得映射关系的过程，包括以下四个步骤：

标定过程第一步：初步调整；采用人工操作或自动操作或两者结合的方式，调整PTZ摄像机的云台旋转角度，使得PTZ摄像机的拍摄方向与鱼眼摄像机拍摄方向基本一致，使得PTZ摄像机的画面基本位于鱼眼摄像机的画面内，此时，记录下PTZ摄像机的Pan旋转角度α和Tilt旋转角度β；

标定过程第二步：对鱼眼图像和PTZ摄像机图像进行特征点匹配，得到匹配点集合的二维坐标形式其中m_f＝(x_f,y_f)^T是鱼眼图像中的特征点的二维图像坐标，m_p＝(x_p,y_p)^T是PTZ摄像机图像中的特征点的二维图像坐标，N_fp是特征点对个数；

标定过程第三步：将二维图像坐标变换成三维坐标，得到匹配点集合的三维坐标形式其中X_s1＝(x_s1,y_s1,z_s1)^T是鱼眼图像中的特征点的坐标的三维形式，X_s2＝(x_s2,y_s2,z_s2)^T是PTZ摄像机图像中的特征点的坐标的三维形式；鱼眼图像中的特征点的二维图像坐标m_f＝(x_f,y_f)^T到三维形式X_s1＝(x_s1,y_s1,z_s1)^T的变换公式为：

$\left\{\begin{array}{c}{x}_{s1}=\sin \mathrm{\α}\·x_f/r_f,\\ y_{s1}=\sin \mathrm{\α}\·y_f/r_f,\\ z_{s1}=\cos \mathrm{\α},\end{array}\right.$

其中，f为鱼眼镜头的等效焦距；PTZ摄像机中的特征点的二维图像坐标m_p＝(x_p,y_p)^T到三维形式X_s2＝(x_s2,y_s2,z_s2)^T的变换公式为：

$X_{s2}=\frac{{\left(\mathrm{KR}\right)}^{-1}\left(\begin{array}{c}{m}_p\\ 1\end{array}\right)}{\left|\right|{\left(\mathrm{KR}\right)}^{-1}\left(\begin{array}{c}{m}_p\\ 1\end{array}\right)\left|\right|},$

其中，K是PTZ摄像机的内参数矩阵，R是对应着云台的旋转矩阵，旋转矩阵R的计算基于PTZ摄像机的Pan旋转角度α和Tilt旋转角度β：

$R=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\β}& -\sin \mathrm{\β}\\ 0& \sin \mathrm{\β}& \cos \mathrm{\β}\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\α}& 0& -\sin \mathrm{\α}\\ 0& 1& 0\\ \sin \mathrm{\α}& 0& \cos \mathrm{\α}\end{array}\right).$

标定过程第四步：求解两摄像机之间的旋转关系R₁₂

鱼眼摄像机所在三维坐标系O_s-x_s1y_s1z_s1到PTZ摄像机所在三维坐标系O_s-x_s2y_s2z_s2的映射关系为三维旋转关系，即坐标系O_s-x_s1y_s1z_s1依次绕Y,X,Z轴分别旋转α₁₂,β₁₂,γ₁₂弧度可与O_s-x_s2y_s2z_s2重合，那么

X_s2＝R₁₂X_s1,

其中，R₁₂为旋转矩阵

$R_{12}=\left[\begin{array}{ccc}{\cos \mathrm{\γ}}_{12}& {-\sin \mathrm{\γ}}_{12}& 0\\ {\sin \mathrm{\γ}}_{12}& {\cos \mathrm{\γ}}_{12}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& {\cos \mathrm{\β}}_{12}& {-\sin \mathrm{\β}}_{12}\\ 0& {\sin \mathrm{\β}}_{12}& {\cos \mathrm{\β}}_{12}\end{array}\right]\left[\begin{array}{ccc}{\cos \mathrm{\α}}_{12}& 0& {-\sin \mathrm{\α}}_{12}\\ 0& 1& 0\\ {\sin \mathrm{\α}}_{12}& 0& {\cos \mathrm{\α}}_{12}\end{array}\right].$

考虑映射误差||X_s2-R₁₂X_s1||，最小化误差平方和：

$\underset{{\mathrm{\α}}_{12},{\mathrm{\β}}_{12},{\mathrm{\γ}}_{12}}{\min }f({\mathrm{\α}}_{12},{\mathrm{\β}}_{12},{\mathrm{\γ}}_{12})=\underset{{\mathrm{\α}}_{12},{\mathrm{\β}}_{12},{\mathrm{\γ}}_{12}}{\min }\underset{i=1}{\overset{N_{\mathrm{fp}}}{\mathrm{\Σ}}}{\left|\right|X_{s2}^{\left(i\right)}-R_{12}{X}_{s1}^{\left(i\right)}\left|\right|}^2,$

采用莱文贝格－马夸尔特方法对其进行求数值解，求出映射关系的α₁₂,β₁₂,γ₁₂；

完成标定过程后，启动联动过程；所述联动过程是指基于映射关系实现鱼眼摄像机和PTZ摄像机的精确联动的过程，所述联动过程包括以下步骤：

联动过程第一步：用户在监控软件界面上，通过软件的人机交互接口，指定鱼眼摄像机的画面中感兴趣的区域，该区域为一个感兴趣的点或者感兴趣的一个矩形框，记录下用户感兴趣的点的坐标或者用户感兴趣的矩形框中心的坐标m_f＝(x_f,y_f)^T_；

联动过程第二步：首先，将m_f＝(x_f,y_f)^T转换成三维坐标形式X_s1＝(x_s1,y_s1,z_s1)^T：

$\left\{\begin{array}{c}{x}_{s1}=\sin \mathrm{\α}\·x_f/r_f,\\ y_{s1}=\sin \mathrm{\α}\·y_f/r_f,\\ z_{s1}=\cos \mathrm{\α},\end{array}\right.$

其中，$r_f=\sqrt{{x_f}^2+{y_f}^2},\mathrm{\α}=\frac{r_f}{f},$f为鱼眼镜头的等效焦距；

其次，利用标定过程第四步所求得的旋转矩阵R_12，将X_s1＝(x_s1,y_s1,z_s1)^T变换至PTZ摄像机所在的坐标系，得到X_s2＝(x_s2,y_s2,z_s2)^T：

X_s2＝R₁₂X_s1

最后，根据X_s2算出PTZ摄像机的旋转角度(α,β)：

$\left\{\begin{array}{c}\mathrm{\α}={\tan }^{-1}\frac{x_{s2}}{z_{s2}},\\ \mathrm{\β}={\tan }^{-1}\frac{y_{s2}}{\sqrt{x_{s2}^2+z_{s2}^2}}.\end{array}\right.$

联动过程第三步：通过云台的控制接口将PTZ摄像机的旋转角度设置为(α,β)，PTZ摄像机画面将朝向用户在鱼眼图像中所指定的空间位置方向，此时联动过程完成。