[发明专利]用于稳定视频以减少相机和人脸移动的方法、系统和设备

权利要求书

1.一种计算机实现的视频稳定方法，包括：

由计算系统接收包括多个帧并且由物理相机捕获的视频流；

由所述计算系统在由所述物理相机捕获的所述视频流的帧中确定在所述帧中描绘的人脸的面部特征的位置；

由所述计算系统考虑所述面部特征在由所述物理相机捕获的所述视频流的先前帧中的先前位置来确定所述面部特征的稳定位置；

由所述计算系统使用从耦合到所述物理相机的移动或定向传感器接收到的信息来确定所述物理相机在虚拟空间中的姿态；

由所述计算系统将由所述物理相机捕获的所述视频流的帧映射到所述虚拟空间中；

由所述计算系统使用优化过程来确定虚拟相机视点在所述虚拟空间中的优化姿态，从该优化姿态生成所述帧的稳定视图，所述优化过程：

(i)确定所述面部特征的稳定位置与从所述虚拟相机视点的潜在姿态查看的所述帧的稳定视图中的所述面部特征的位置之间的差异；

(ii)确定所述虚拟相机视点在所述虚拟空间中的潜在姿态与所述虚拟相机视点在所述虚拟空间中的先前姿态之间的差异；以及

(iii)确定所述虚拟相机视点在所述虚拟空间中的潜在姿态与所述物理相机在所述虚拟空间中的姿态之间的差异；以及

由所述计算系统使用所述虚拟相机视点在所述虚拟空间中的优化姿态来生成所述帧的稳定视图。

2.根据权利要求1所述的计算机实现的视频稳定方法，进一步包括：

由所述计算系统在所述计算系统的显示器上呈现所述帧的稳定视图。

3.根据权利要求1所述的计算机实现的视频稳定方法，其中所述移动或定向传感器包括陀螺仪。

4.根据权利要求1所述的计算机实现的视频稳定方法，其中：

所述计算系统基于在所述帧中描绘的多个相应面部地标的位置来确定在所述帧中描绘的所述人脸的面部特征的位置；并且

所述计算系统通过测量所述帧的稳定视图中的多个面部地标的位置与所述面部特征的稳定位置之间的偏差来确定所述面部特征的稳定位置与在所述帧的稳定视图中的所述面部特征的位置之间的差异。

5.根据权利要求1所述的计算机实现的视频稳定方法，其中，所述优化过程包括最小化基于下述变量中的至少一个的姿态参数的值：

所述帧的稳定视图中的地标与所述面部特征的稳定位置之间的偏差；

所述帧的所述虚拟相机视点的潜在姿态与所述先前帧的虚拟相机视点的姿态之间的差异；

所述帧的虚拟空间的相机旋转与所述帧的虚拟空间中的真实相机旋转之间的差异；

所述虚拟空间中的相机旋转与所述虚拟空间中的真实相机旋转之间的球面角；

到所述帧与先前帧之间的虚拟主点的偏移的变化；以及

使用所述虚拟相机视点在所述虚拟空间中的潜在姿态生成的所述帧的稳定视图中的未定义像素的数量。

6.根据权利要求1所述的计算机实现的视频稳定方法，其中，所述优化过程包括对多个变量的值进行优化的非线性计算求解器。

7.根据权利要求1所述的计算机实现的视频稳定方法，其中所述优化过程

确定使用所述虚拟相机视点在所述虚拟空间中的潜在姿态生成的所述帧的稳定视图中的未定义像素的数量。

8.根据权利要求1所述的计算机实现的视频稳定方法，其中，所述优化过程：

确定下述之间的差异：

(a)使用所述虚拟相机视点在所述虚拟空间中的潜在姿态生成的所述帧的稳定视图的主点的偏移，与

(b)使用所述虚拟相机视点在所述虚拟空间中的先前姿态生成的所述帧的先前稳定视图的先前主点的偏移。

9.根据权利要求1所述的计算机实现的视频稳定方法，其中，生成所述帧的稳定视图包括：将所述帧的扫描线的子集映射到从所述虚拟相机视点的优化姿态查看的视角并且内插所述帧的其他扫描线。