[发明专利]视频融合方法、装置、设备、及存储介质

权利要求书

1.一种视频融合方法，其特征在于，包括：

获取视频数据，以及获取所述视频数据对应的拍摄参数；

根据所述拍摄参数获取所述视频数据对应的运动轨迹与运动姿态；

获取三维空间场景，并根据所述运动轨迹与运动姿态在所述三维空间场景中加载所述视频数据，获得所述视频数据对应的初始坐标；

根据所述拍摄参数以及视频数据计算所述视频数据在所述三维空间场景中的投影坐标；

根据所述投影坐标对所述初始坐标进行调整，获得调整后的坐标；

根据所述调整后的坐标将所述视频数据与所述三维空间场景进行融合。

2.根据权利要求1所述的视频融合方法，所述拍摄参数包括角度姿态，其特征在于，获取所述视频数据对应的拍摄参数，包括：

获取初始地理坐标以及初始角度姿态；

获取所述视频数据的序列图像；

提取相邻序列图像的特征点；

根据所述特征点获取相邻序列图像的基本矩阵；

将所述基本矩阵与所述运动轨迹对应的运动矩阵进行融合，获得融合后的矩阵；

通过所述融合后的矩阵对所述初始角度姿态进行调整，获得角度姿态，以及通过所述融合后的矩阵对所述初始地理坐标进行调整，获得调整后的地理坐标。

3.根据权利要求1所述的视频融合方法，所述拍摄参数还包括相机内部参数与相机外部参数，其特征在于，所述根据所述拍摄参数以及视频数据计算所述视频数据在所述三维空间场景中的投影坐标，包括：

获取所述视频数据的视频帧，以及获取所述视频帧的初始像素坐标；

基于所述视频帧的初始像素坐标对所述视频帧进行畸变矫正，获得视频帧的像素坐标；

基于所述像素坐标与相机内部参数，通过坐标转换获取所述视频数据对应的相机坐标；

根据所述相机外部参数与相机坐标，获取所述视频数据在所述三维空间场景中的投影坐标。

4.根据权利要求1所述的视频融合方法，所述拍摄参数包括定位时间，其特征在于，所述根据所述调整后的坐标将所述视频数据与所述三维空间场景进行融合之后，还包括：

获取三维渲染帧率、视频数据中的视频帧率；

将所述三维渲染帧率对应的三维空间的渲染时间、视频帧率对应的视频时间与所述定位时间进行匹配，获得匹配后的时间；

根据所述运动轨迹数据、角度姿态与匹配后的时间，移动所述投影坐标；

根据移动后的投影坐标将所述视频数据与所述三维空间场景进行融合。

5.根据权利要求4所述的视频融合方法，其特征在于，所述将所述三维渲染帧率对应的三维空间的渲染时间、视频帧率对应的视频时间与所述定位时间进行匹配，获得匹配后的时间，包括：

获取三维渲染帧率，将所述三维渲染帧率设置为视频帧率；

根据所述三维渲染帧率获取对应的三维空间的渲染时间；

根据所述视频帧率获取所述视频时间；

根据所述视频时间、三维空间的渲染时间与定位时间将所述视频时间、三维空间的渲染时间与定位时间进行匹配，获得匹配后的视频时间、三维空间的渲染时间与定位时间。

6.根据权利要求4所述的视频融合方法，其特征在于，所述将所述三维渲染帧率对应的三维空间的渲染时间、视频帧率对应的视频时间与所述定位时间进行匹配，获得匹配后的时间，包括：

将所述三维渲染帧率设置为预设值；

根据所述三维渲染帧率获取对应的三维空间的渲染时间；

根据所述三维空间的渲染时间计算所述视频数据的播放时间；

根据所述三维空间的渲染时间、播放时间与定位时间将所述视频时间、三维空间的渲染时间与定位时间进行匹配，获得匹配后的视频时间、三维空间的渲染时间与定位时间。

7.根据权利要求1-6任一项所述的视频融合方法，其特征在于，所述根据所述调整后的坐标将所述视频数据与所述三维空间场景进行融合之后，还包括：

接收分屏显示指令；

根据所述分屏显示指令，分别显示所述视频数据与融合后的三维空间场景。