[发明专利]鱼眼图像畸变矫正方法、装置和虚拟显示系统

权利要求书

1.一种鱼眼图像畸变矫正方法，其特征在于，所述方法包括：

当对图像进行矫正时，获取第一鱼眼相机拍摄的第一图像；

根据第一投影映射关系，将所述第一图像中的像素点投影到多个第一虚拟视点相机的成像平面上，得到多个第一虚拟视点图像，所述第一投影映射关系用于存储所述第一鱼眼相机的像素位置与每个第一虚拟视点相机的像素位置之间的映射关系，所述多个第一虚拟视点相机组成的视域范围覆盖所述第一鱼眼相机的视域范围；

将所述多个第一虚拟视点图像拼接成所述第一图像矫正后的第二图像；

其中，确定所述第一投影映射关系的过程，包括：

获取所述第一鱼眼相机拍摄的第三图像，以及获取所述多个第一虚拟视点相机拍摄的多个第二虚拟视点图像；

根据所述第一鱼眼相机的第一投影参数和畸变参数，将所述第三图像映射到所述第一鱼眼相机的三维坐标系中，得到所述第三图像中的每个第一像素位置与所述三维坐标系中的每个第二像素位置之间的第一映射关系；

确定所述多个第一虚拟视点相机的旋转矩阵的逆矩阵，得到多个第一逆矩阵，以及根据第二投影参数，确定所述多个第一虚拟视点相机的投影模型矩阵的逆矩阵，得到多个第二逆矩阵；

对于任一第二虚拟视点图像中的任一像素点，确定所述任一第二虚拟视点图像中的任一像素点的第七像素位置；

将所述第七像素位置乘以所述第二虚拟视点图像对应的第一虚拟视点相机的第一逆矩阵和第二逆矩阵，得到所述第七像素位置在所述三维坐标系中对应的第八像素位置；

将所述第七像素位置处的像素点投影到所述第八像素位置处，得到所述每个第二像素位置与每个第二虚拟视点图像中的每个第三像素位置之间的第二映射关系；

根据所述第一映射关系和所述第二映射关系，建立所述第一投影映射关系。

2.根据权利要求1所述的方法，其特征在于，所述根据第一投影映射关系，将所述第一图像中的像素点投影到多个第一虚拟视点相机的成像平面上，得到多个第一虚拟视点图像，包括：

对于每个第一虚拟视点相机的成像平面中的第一像素点位置，根据所述第一像素点位置和所述第一投影映射关系，确定与所述第一像素点位置对应的第二像素点位置；

从所述第一图像中获取所述第二像素点位置对应的像素值，将所述像素值赋予所述第一像素点位置，得到第一虚拟视点图像。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一鱼眼相机的第一投影参数和畸变参数，将所述第三图像映射到所述第一鱼眼相机的三维坐标系中，得到所述第三图像中的每个第一像素位置与所述三维坐标系中的每个第二像素位置之间的第一映射关系，包括：

对于所述第三图像中的任一像素点，确定所述像素点的第四像素位置；

根据所述畸变参数，对所述第四像素位置进行去畸变处理，得到第五像素位置；

根据所述第一投影参数，对所述第五像素位置进行平移，得到所述第四像素位置在所述三维坐标系中对应的第六像素位置；

将所述第四像素位置处的像素点投影到所述第六像素位置处，得到所述第一映射关系。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一映射关系和所述第二映射关系，建立所述第一投影映射关系，包括：

根据所述第一映射关系和所述第二映射关系，确定所述三维坐标中，同一像素位置对应的第三图像中的第九像素位置和第二虚拟视点图像中的第十像素位置；

建立所述第九像素位置与所述第十像素位置的映射关系，得到所述第一投影映射关系。

5.根据权利要求1所述的方法，其特征在于，对图像进行矫正之前，所述方法还包括：

获取所述多个第一虚拟视点相机配置参数；

根据所述多个第一虚拟视点相机的配置参数，设置所述多个第一虚拟视点相机，所述多个第一虚拟视点相机在横向方向上组成的视域范围覆盖所述第一鱼眼相机在横向方向上的视域范围，且所述多个第一虚拟视点相机纵向方向上组成的视域范围覆盖所述第一鱼眼相机在纵向方向上的视域范围。