[发明专利]利用鱼眼相机获取三维场景图像的方法和装置、设备和介质

权利要求书

1.一种利用鱼眼相机获取三维场景图像的方法，其特征在于，包括：

利用鱼眼相机采集目标场景的视频图像；

基于所述目标场景的三维空间模型中的各顶点的三维坐标与对应的二维坐标之间的对应关系，获取所述各顶点的三维坐标对应的二维坐标；

利用所述各顶点的三维坐标对应的二维坐标基于矫正关系信息对应的参考二维坐标，对所述各顶点的三维坐标对应的二维坐标进行矫正，得到所述各顶点的三维坐标对应的参考二维坐标；所述矫正关系信息用于表示所述对应关系中所有顶点的二维坐标与对应的贴合准确时的参考二维坐标之间的矫正关系；

基于所述各顶点的三维坐标对应的参考二维坐标，将所述视频图像贴合到所述三维空间模型中，得到所述目标场景的三维场景效果图；

其中，所述顶点的三维坐标为所述顶点在所述三维空间模型对应的三维坐标系中的空间位置坐标，所述二维坐标为所述顶点对应的映射点在所述鱼眼相机对应的球坐标系的横切面上的投影点的坐标；所述球坐标系以所述鱼眼相机为球心、基于所述鱼眼相机的内参和外参构建得到；所述横切面为通过所述球坐标系的中心点、且与所述鱼眼相机的拍摄正方向垂直的平面。

2.根据权利要求1所述的方法，其特征在于，所述对应关系的建立，包括：

分别针对所述三维空间模型中的各顶点，将所述各顶点从所述三维坐标系映射到所述球坐标系中，得到所述各顶点对应的各映射点在所述球坐标系中的球面坐标；

将所述各映射点从所述球坐标系投影到所述球坐标系的横切面上，得到所述各映射点在所述横切面上的投影点的二维坐标；

建立所述各顶点的三维坐标与对应的投影点的二维坐标之间的对应关系。

3.根据权利要求2所述的方法，其特征在于，在建立所述各顶点的三维坐标与对应的二维坐标之间的对应关系之前，还包括：

对所述鱼眼相机进行标定，得到所述鱼眼相机的内参和外参；其中，所述内参包括成像中心、所述鱼眼相机半径和拍摄张角中的至少一项，所述外参包括所述鱼眼相机在所述三维坐标系中的位置和朝向中的至少一项；

利用所述鱼眼相机的内参和外参，构建以所述鱼眼相机为球心的球坐标系；

所述球坐标系具体为单位球坐标系。

4.根据权利要求3所述的方法，其特征在于，所述将所述各顶点从所述三维坐标系映射到所述球坐标系中，得到所述各顶点对应的各映射点在所述球坐标系中的球面坐标，包括：

根据所述鱼眼相机在所述三维坐标系中的位置，将所述各顶点从所述三维坐标系移动到以所述球坐标系的中心点为原点的三维笛卡尔坐标系中；

根据所述鱼眼相机在所述三维坐标系中的朝向，将所述各顶点从所述三维笛卡尔坐标系映射到所述球坐标系中，得到所述各顶点对应的各映射点在所述球坐标系中的球面坐标。

5.根据权利要求2-4任一所述的方法，其特征在于，所述建立所述各顶点的三维坐标与对应的投影点的二维坐标之间的对应关系之后，还包括：

以所述鱼眼相机采集的所述目标场景的视频流中的一帧视频图像作为参考图像，基于所述对应关系，将所述参考图像贴合到所述三维空间模型中，得到所述目标场景的三维融合效果图；

响应于所述三维融合效果图中存在贴合不准的点，采集至少一个贴合不准的点，基于所述至少一个贴合不准的点中各点的当前二维坐标与贴合准确时对应的参考二维坐标，利用最小二乘法对所述对应关系中所有顶点的二维坐标进行矫正计算，得到所述对应关系中所有顶点的二维坐标与对应的贴合准确时的参考二维坐标之间的矫正关系信息，并存储所述矫正关系信息；

所述存储所述矫正关系信息，包括：

分别将所有顶点中各顶点的二维坐标与对应的贴合准确时的参考二维坐标以RGBA格式存储，形成矫正纹理图片；所述矫正关系信息具体为所述矫正纹理图片。

6.根据权利要求5所述的方法，其特征在于，所述存储所述矫正关系信息之前，还包括：

响应于所述矫正纹理图片中存在噪声点，利用所述噪声点相邻的像素点对所述噪声点进行除噪；

所述存储所述矫正关系信息，包括：

存储除噪后得到的矫正纹理图片。