[发明专利]一种基于旋转模型的主从摄像机系统的标定以及联动方法

摘要

本发明公开了一种基于旋转模型的主从摄像机系统的标定以及联动方法，其包括标定过程和联动过程，其中标定过程是指获得映射关系的过程，完成标定过程后，启动联动过程；所述联动过程是指基于映射关系实现鱼眼摄像机和PTZ摄像机的精确联动的过程。本发明提供的方法能够自动地完成标定过程，得到所需的映射关系，基于映射关系可实现鱼眼摄像机和PTZ摄像机的精确联动。该方法对于提高主从摄像机系统的实用性具有重要的价值。

主权项

一种基于旋转模型的主从摄像机系统的标定以及联动方法，其特征在于：包括标定过程和联动过程，其中标定过程是指获得映射关系的过程，包括以下四个步骤：标定过程第一步：初步调整；采用人工操作或自动操作或两者结合的方式，调整PTZ摄像机的云台旋转角度，使得PTZ摄像机的拍摄方向与鱼眼摄像机拍摄方向基本一致，使得PTZ摄像机的画面基本位于鱼眼摄像机的画面内，此时，记录下PTZ摄像机的Pan旋转角度α和Tilt旋转角度β；标定过程第二步：对鱼眼图像和PTZ摄像机图像进行特征点匹配，得到匹配点集合的二维坐标形式其中mf＝(xf,yf)T是鱼眼图像中的特征点的二维图像坐标，mp＝(xp,yp)T是PTZ摄像机图像中的特征点的二维图像坐标，Nfp是特征点对个数；标定过程第三步：将二维图像坐标变换成三维坐标，得到匹配点集合的三维坐标形式其中Xs1＝(xs1,ys1,zs1)T是鱼眼图像中的特征点的坐标的三维形式，Xs2＝(xs2,ys2,zs2)T是PTZ摄像机图像中的特征点的坐标的三维形式；鱼眼图像中的特征点的二维图像坐标mf＝(xf,yf)T到三维形式Xs1＝(xs1,ys1,zs1)T的变换公式为：xs1=sinα·xf/rf,ys1=sinα·yf/rf,zs1=cosα,]]>其中，f为鱼眼镜头的等效焦距；PTZ摄像机中的特征点的二维图像坐标mp＝(xp,yp)T到三维形式Xs2＝(xs2,ys2,zs2)T的变换公式为：Xs2=(KR)-1mp1||(KR)-1mp1||,]]>其中，K是PTZ摄像机的内参数矩阵，R是对应着云台的旋转矩阵，旋转矩阵R的计算基于PTZ摄像机的Pan旋转角度α和Tilt旋转角度β：R=1000cosβ-sinβ0sinβcosβcosα0-sinα010sinα0cosα.]]>标定过程第四步：求解两摄像机之间的旋转关系R12鱼眼摄像机所在三维坐标系Os‑xs1ys1zs1到PTZ摄像机所在三维坐标系Os‑xs2ys2zs2的映射关系为三维旋转关系，即坐标系Os‑xs1ys1zs1依次绕Y,X,Z轴分别旋转α12,β12,γ12弧度可与Os‑xs2ys2zs2重合，那么Xs2＝R12Xs1,其中，R12为旋转矩阵R12=cosγ12-sinγ120sinγ12cosγ1200011000cosβ12-sinβ120sinβ12cosβ12cosα120-sinα12010sinα120cosα12.]]>考虑映射误差||Xs2‑R12Xs1||，最小化误差平方和：minα12,β12,γ12f(α12,β12,γ12)=minα12,β12,γ12Σi=1Nfp||Xs2(i)-R12Xs1(i)||2,]]>采用莱文贝格－马夸尔特方法对其进行求数值解，求出映射关系的α12,β12,γ12；完成标定过程后，启动联动过程；所述联动过程是指基于映射关系实现鱼眼摄像机和PTZ摄像机的精确联动的过程，所述联动过程包括以下步骤：联动过程第一步：用户在监控软件界面上，通过软件的人机交互接口，指定鱼眼摄像机的画面中感兴趣的区域，该区域为一个感兴趣的点或者感兴趣的一个矩形框，记录下用户感兴趣的点的坐标或者用户感兴趣的矩形框中心的坐标mf＝(xf,yf)T；联动过程第二步：首先，将mf＝(xf,yf)T转换成三维坐标形式Xs1＝(xs1,ys1,zs1)T：xs1=sinα·xf/rf,ys1=sinα·yf/rf,zs1=cosα,]]>其中，rf=xf2+yf2,α=rff,]]>f为鱼眼镜头的等效焦距；其次，利用标定过程第四步所求得的旋转矩阵R12，将Xs1＝(xs1,ys1,zs1)T变换至PTZ摄像机所在的坐标系，得到Xs2＝(xs2,ys2,zs2)T：Xs2＝R12Xs1最后，根据Xs2算出PTZ摄像机的旋转角度(α,β)：α=tan-1xs2zs2,β=tan-1ys2xs22+zs22.]]>联动过程第三步：通过云台的控制接口将PTZ摄像机的旋转角度设置为(α,β)，PTZ摄像机画面将朝向用户在鱼眼图像中所指定的空间位置方向，此时联动过程完成。