[发明专利]虚实相机位姿矫正方法、装置、存储介质及电子设备

说明书

本发明提供了一种虚实相机位姿矫正方法、装置、存储介质及电子设备，涉及虚拟制片的技术领域，先获取相机外参矩阵，再根据所述相机外参矩阵计算得到旋转向量R以及平移向量T，然后通过旋转矩阵RM以及平移向量T生成真实相机坐标P，再对真实相机坐标P以及旋转向量R进行坐标变换，从而分别生成虚拟相机坐标P_oc以及虚拟相机旋转向量RA，最后根据虚拟相机坐标P_oc以及虚拟相机旋转向量RA来自动矫正虚拟相机位姿，从而实现根据真实相机拍摄到的图片来实时自动矫正虚拟相机位姿，确保虚实相机拍摄到的画面没有偏差，相比现有的手动矫正，本发明大大减少了虚拟制片中虚实相机位置矫正的操作时间以及操作复杂度，给虚拟制片带来了更好的体验。

技术领域

本发明涉及虚拟制片的技术领域，特别涉及一种虚实相机位姿矫正方法、装置、存储介质及电子设备。

背景技术

虚拟制片是把虚拟计算机图像与真实演员的表演融合在一起而且在拍摄现场就能把加特效的画面实时做可视化呈现的一种全新的制片方法。在虚拟制片中，拍摄者可以不用忍受绿幕、也无需等待几周甚至几个月的后期，所有关键决策人现场协作，实时生成最终画面，立等可取，随时可改。虚幻引擎不仅在游戏制作领域中被广泛应用，还是虚拟制片过程中的重要工具。

在虚拟制片中，需要将虚幻引擎中虚拟相机捕捉到的场景画面结合真实相机实际拍摄的真实画面进行合成，在虚拟制片拍摄中，为了保证真实相机和虚拟相机画面的一致性，需要进行虚实相机的位姿矫正，即调整虚拟相机的位置(Location)和旋转(Rotation),使虚拟相机的画面能够与真实相机拍摄的画面在实时合成时没有偏差。所述位姿矫正为实现虚实相机画面一致性的必要非充分条件，为了实现虚实相机画面一致性，还需要进行镜头畸变自动矫正，颜色自动匹配，镜头焦距曲线自动匹配等一系列后续工作。

目前一般采用手动方式进行虚实相机位姿矫正，对虚实相机位姿手动矫正需要不断的调整相关参数并进行相应对比，故存在耗时耗力的主要缺陷。

发明内容

本发明的目的就是解决背景技术中提到的上述问题，提出一种虚实相机位姿矫正方法、装置、存储介质及电子设备。

为实现上述目的，本发明首先提出了一种自动矫正虚实相机位姿的方法，包括以下步骤：

获取相机外参矩阵；

获取所述相机外参矩阵中的旋转向量R以及平移向量T；

将所述旋转向量R变换为旋转矩阵RM；

根据公式P＝RM^(-1)*T生成真实相机坐标P，所述真实相机坐标P为相机在世界坐标系中的位置，其中RM为旋转矩阵，T为平移向量；

对所述真实相机坐标P进行坐标变换，生成虚拟相机坐标P_oc；

对所述旋转向量R进行坐标变换，生成虚拟相机旋转向量RA；

根据所述虚拟相机坐标P_oc来改变相机在虚幻引擎坐标系中的位置；

以虚拟相机旋转向量RA为旋转轴，||RA||*180/π为旋转角度来改变相机在虚幻引擎坐标系中的姿态。

可选的，所述虚幻引擎坐标系为UE坐标系。

可选的，相机在UE坐标系中的初始姿态为：镜头水平朝下方向为相机X轴，镜头水平朝右方向为相机Y轴，镜头朝向标定板方向为相机Z轴。

可选的，所述坐标变换为从右手坐标系变换为左手坐标系的坐标变换。

可选的，通过棋盘格标定来获取相机外参矩阵。

可选的，通过罗德里格斯方程将所述旋转向量R变换为旋转矩阵RM。

本发明还提出了一种自动矫正虚实相机位姿的装置，包括：

第一获取模块，被配置为获取相机外参矩阵；