[发明专利]姿态校正

说明书

一些实施方式可以包括用于移动设备捕捉的视频的姿态校正的计算机实现的方法、计算机可读介质和/或系统。

背景技术

有时，当用户在视频通话中使用移动设备(例如，移动电话，平板电脑等)时，用户可能相对于用户的面部以一定角度握住或放置移动设备，使得移动设备以不适当的角度——例如，小于最佳的角度以查看用户的表情、产生具有面部畸变的图像的角度等——捕捉用户的图像。例如，用户可能以电话指向朝着用户面部的向上角度的方式握住面向上的移动电话，这可能会以小于最佳的角度捕捉用户(例如，从下巴和鼻子之下向上看)，并可能导致用户面部看起来畸变或看起来像是用户没有面向通话中的其他参与者，并且眼神交流似乎消失了。另外，用户的手可能会晃动，并且导致针对视频通话捕捉了图像中的抖动。

本文提供的背景技术说明是为了总体上呈现本公开的背景的目的。在本背景技术部分中所描述的范围内，目前述及的发明人的工作以及在申请时可能没有其他资格作为现有技术的说明的方面，未明确或暗含地被承认作为针对本发明的现有技术。

发明内容

一些实施方式主要涉及移动设备视频通话，特别涉及移动设备所捕捉的视频图像的姿态校正。

一些实施方式包括使用与用户设备相关联的深度相机捕捉用户的面部姿态和眼睛注视，并且执行面部姿态校正和面部姿态的稳定。

一些实施方式可以包括计算机实现的方法。该方法可以包括：接收包括多个帧的视频，该视频被在第一视点处的物理相机捕捉，其中，该视频包括与所述多个帧相对应的深度信息；和检测视频中的面部，其中，该面部在视频的一个或多个帧的前景部分中。

该方法也可以包括：基于与所述多个帧相对应的深度信息的一个或多个深度值来确定所述多个帧的前景部分；和将虚拟相机定位在第二视点，其中，第二视点与第一视点不同。该方法可以进一步包括：基于虚拟相机来获得前景部分的投影矩阵，该投影矩阵与第二视点相对应；和基于投影矩阵来生成包括经修改前景部分的经修改视频。

该方法也可以包括调整前景部分的投影矩阵，以减少用于捕捉视频的物理相机的镜头效应。在一些实施方式中，检测面部可以包括从背景平面中提取出面部，其中，该背景平面是基于深度信息来确定的。该方法还可以包括旋转背景平面以面对在第二视点处的虚拟相机。

在一些实施方式中，确定前景部分可以包括检测面部和背景，并且所述检测可以包括从背景中突出(extrude)面部的前景部分。在一些实施方式中，该突出可以包括：基于深度信息来检测面部深度；确定面部的外边缘的帧内的深度；以及将背景设置为包括在面部的外边缘的深度处以及超出面部的外边缘的深度处的帧的部分。

该方法还可以包括使背景模糊。该方法可以进一步包括确定视频的深度信息的时间历史。该方法还可以包括使用视频的深度信息的时间历史来提供视频重投影的滞后，以便保持重投影的连续性并且不响应于在正被重投影的面部前方移动的临时对象，其中，该临时对象在正被重投影的面部前方少于阈值时间段。

一些实施方式可以包括一种系统，该系统包括耦合至具有存储在其上的软件指令的非易失性计算机可读介质的一个或多个处理器，所述软件指令在被所述一个或多个处理器执行时，使所述一个或多个处理器执行操作。该操作可以包括：接收包括多个帧的视频，该视频被在第一视点处的物理相机捕捉，其中，该视频包括与所述多个帧相对应的深度信息；和检测视频内的面部，其中，该面部在视频的一个或多个帧的前景部分内。

该操作也可以包括：基于与所述多个帧相对应的深度信息的一个或多个深度值来确定所述多个帧的前景部分；和将虚拟相机定位在第二视点，其中，第二视点与第一视点不同。该操作可以进一步包括：基于虚拟相机来获得前景部分的投影矩阵，投影矩阵与第二视点相对应；和基于投影矩阵来生成包括经修改前景部分的经修改视频。该操作还可以包括稳定经修改视频的经修改前景部分。

该操作也可以包括调整前景部分的投影矩阵，以减少用于捕捉视频的物理相机的镜头效应。在一些实施方式中，检测面部包括从背景平面中提取出面部，其中，该背景平面基于深度信息来确定。