[发明专利]多视图场景流拼接

权利要求书

1.一种方法，包括：

利用多个相机获取视频帧的多个序列，其中，每个相机提供场景的不同视点；

使所述视频帧的多个序列的每个图像像素投影到三维(3D)空间中以生成多个3D点；

对一组同步参数进行优化，其中，所述一组同步参数包括：用于多个视频帧中的每一个视频帧的深度图、表示一段时间内3D空间中的所述多个3D点中的每一个3D点的移动的多个运动矢量、以及一组时间校准参数；以及

基于所优化的一组同步参数来生成立体图像对。

2.根据权利要求1所述的方法，其中，所述多个相机使用滚动快门来捕获图像，并且其中，所述多个相机中的每一个相机在时间上彼此不同步。

3.根据权利要求1或2所述的方法，还包括：

渲染所述场景的视点的全局快门图像。

4.根据任何前述权利要求所述的方法，还包括：

从所述场景的多个视点渲染一组图像，并且将所述一组图像拼接在一起以生成虚拟现实视频。

5.根据任何前述权利要求所述的方法，其中，对所述一组同步参数进行优化包括通过坐标下降进行优化以最小化能量函数。

6.根据任何前述权利要求所述的方法，其中，对所述一组同步参数进行优化包括交替地优化用于所述多个视频帧中的每一个视频帧的所述深度图和所述多个运动矢量中的一个。

7.根据任何前述权利要求所述的方法，其中，对所述一组同步参数进行优化包括：估计开始捕获所述多个视频帧中的每一个视频帧时的时间偏移量和捕获所述多个视频帧中的每一个视频帧的像素行的速度的滚动快门校准参数。

8.一种实施一组可执行指令的非暂时性计算机可读介质，所述一组可执行指令用于操纵至少一个处理器来：

利用多个相机获取视频帧的多个序列，其中，每个相机提供场景的不同视点；

使所述视频帧的多个序列的每个图像像素投影到三维(3D)空间中以生成多个3D点；

对一组同步参数进行优化，其中，所述一组同步参数包括：用于多个视频帧中的每一个视频帧的深度图、表示一段时间内3D空间中的所述多个3D点中的每一个3D点的移动的多个运动矢量、以及一组时间校准参数；以及

基于所优化的一组同步参数来生成立体图像对。

9.根据权利要求8所述的非暂时性计算机可读介质，其中，所述一组可执行指令包括用于使用滚动快门来捕获图像的指令，并且其中，所述多个相机中的每一个相机在时间上彼此不同步。

10.根据权利要求8或9所述的非暂时性计算机可读介质，其中，所述一组可执行指令还包括用于以下的指令：渲染所述场景的视点的全局快门图像。

11.根据权利要求8至10中的任一项所述的非暂时性计算机可读介质，其中，所述一组可执行指令还包括用于以下的指令：从所述场景的多个视点渲染一组图像，并且将所述一组图像拼接在一起以生成虚拟现实视频。

12.根据权利要求8至11中的任一项所述的非暂时性计算机可读介质，其中，所述用于对所述一组同步参数进行优化的指令包括通过坐标下降进行优化以最小化能量函数的指令。

13.根据权利要求8至12中的任一项所述的非暂时性计算机可读介质，其中，所述用于对所述一组同步参数进行优化的指令还包括用于交替地优化用于所述多个视频帧中的每一个视频帧的所述深度图和所述多个运动矢量中的一个的指令。

14.根据权利要求8至12中的任一项所述的非暂时性计算机可读介质，其中，所述用于对所述一组同步参数进行优化的指令还包括用于估计开始捕获所述多个视频帧中的每一个视频帧时的时间偏移量和捕获所述多个视频帧中的每一个视频帧的像素行的速度的滚动快门校准参数的指令。