[发明专利]用于稳定视频以减少相机和人脸移动的方法、系统和设备

说明书

本公开中描述的主题可以体现在用于稳定视频的方法和系统中。计算系统确定面部特征在视频帧中的稳定位置，其解释该面部特征在先前帧中的位置。计算系统确定虚拟空间中的物理相机姿态，并将帧映射到虚拟空间中。该计算系统使用优化过程来确定优化的虚拟相机姿态，该优化过程确定(1)面部特征的稳定位置与当从潜在虚拟相机姿态查看时的面部特征的位置之间的差异，(2)潜在虚拟相机姿态和先前虚拟相机姿态之间的差异，以及(3)潜在虚拟相机姿态和物理相机姿态之间的差异。计算系统使用优化的虚拟相机姿态生成帧的稳定视图。

技术领域

该文档讨论稳定视频以减少相机和人脸移动。

背景技术

各种类型的记录设备(诸如相机和智能手机)包括可以用于记录视频的图像传感器。可以通过捕获一序列的图像来生成视频，所述一序列的图像通常被称为视频“帧”并且通常以限定的帧速率(例如，每秒三十帧)捕获。捕获的帧序列可以由显示设备以相同的帧速率呈现，并且从一个帧的呈现到另一帧的呈现的切换在很大程度上可能不会被人类注意到，使得该显示器看起来可以呈现实际移动而不是一序列的快速切换的图像。

记录设备有时在记录期间会经历意外移动，例如，摇晃是由于记录设备由人手持或附接到移动的车辆而引起。这种移动在该移动是旋转的并且所捕获的场景远离记录设备时可以对视频产生特别显着的影响。

各种技术可以稳定视频以限制记录设备的意外移动。稳定视频的一种技术是机械稳定，其中机械致动器抵消外力。通过将记录设备安装到使整个记录设备的移动稳定的辅助设备(例如，平衡环)上，可以实现机械稳定。通过将致动器集成在记录设备内以相对于记录设备主体的移动来稳定相机或其部分，也可以实现机械稳定。稳定视频的另一种技术是数字视频稳定，其中计算机分析已记录的视频并以产生稳定的视频的部分放大版本的方式裁剪捕获的帧。机械稳定和数字视频稳定技术可以结合使用。

发明内容

本公开描述了下述实施例。

实施例1是计算机实现的视频稳定方法。所述方法包括由计算系统接收包括多个帧并且由物理相机捕获的视频流。所述方法包括由所述计算系统在由所述物理相机捕获的所述视频流的帧中确定在所述帧中描绘的人脸的面部特征的位置。所述方法包括，由所述计算系统考虑所述面部特征在由所述物理相机捕获的所述视频流的先前帧中的先前位置来确定所述面部特征的稳定位置。所述方法包括由所述计算系统使用从耦合到所述物理相机的移动或定向传感器接收到的信息来确定所述物理相机在虚拟空间中的姿态。所述方法包括由所述计算系统将由所述物理相机捕获的所述视频流的帧映射到所述虚拟空间中。所述方法包括由所述计算系统使用优化过程来确定虚拟相机视点在所述虚拟空间中的优化姿态，从该优化姿态生成所述帧的稳定视图。所述优化过程确定所述面部特征的稳定位置与从所述虚拟相机视点的潜在姿态查看的所述帧的稳定视图中的所述面部特征的位置之间的差异。所述优化过程确定所述虚拟相机视点在所述虚拟空间中的潜在姿态与所述虚拟相机视点在所述虚拟空间中的先前姿态之间的差异。所述优化过程确定所述虚拟相机视点在所述虚拟空间中的潜在姿态与所述物理相机在所述虚拟空间中的姿态之间的差异。所述方法包括由所述计算系统使用所述虚拟相机视点在所述虚拟相机空间中的优化姿态来生成所述帧的稳定视图。

实施例2是基于实施例1所述的计算机实现的视频稳定方法，进一步包括由所述计算系统在所述计算系统的显示器上呈现所述帧的稳定视图。

实施例3是基于实施例1所述的计算机实现的视频稳定方法，其中所述移动或定向传感器包括陀螺仪。

实施例4是基于实施例1所述的计算机实现的视频稳定方法，其中，所述计算系统基于在所述帧中描绘的多个相应面部地标的位置来确定在所述帧中描绘的所述人脸的面部特征的位置。此外，所述计算系统通过测量所述帧的稳定视图中的多个面部地标的位置与所述面部特征的稳定位置之间的偏差来确定所述面部特征的稳定位置与在所述帧的稳定视图中所述面部特征的位置之间的差异。