[发明专利]具有透视失真校正的脸部姿势改进

说明书

技术领域

本申请涉及对图像捕获设备相对于对象的定位和方向进行改进，以及对所捕获图像的失真进行校正，所述设备例如移动处理装置中所包括的摄像机。

背景技术

视频会议(或者视频电话会议)系统的发展允许用户在两个或者多个分离的地点进行面对面的讨论。通过将参与者的视频图像包含进来，视频会议可以显著提高会议交流的效率。例如，也能够交换非口头信息并呈现实体物品。从而，视频会议系统已被用于很多目的，包括远程学习、远程医疗和远程协作。

早期的视频会议系统需要专门的通信电路，以使实时传输视频数据以能提供可接受的图像质量的足够传输速率传输。进一步，专用编码/解码器(CODEC)系统被用来执行音频和视频的处理，并且经常包括多个监视器以支持多点会议。因此，早期的视频会议系统需要专门的系统实现并且只能在固定地点举行。最近，网络通信的改进使得能够发展使用通用计算平台的视频会议系统。也开发了改进的视频压缩算法以降低视频会议应用所需要的带宽。

很多因素都能影响视频会议系统感觉的质量。例如，如果帧速度过低，则接收装置处的视频呈现会含有频闪(strobe)效果。进一步，在摄像机相对于对象(subject)的一些方向上，接收到的图像会含有明显的失真。捕获图像的角度和呈现图像的角度中的一者或者两者可以影响透视失真的水平。透视失真可以由于图像是以正常范围以外的焦距捕获而产生，并且在所捕获的图像中被感受为一个或多个对象可见的变形。由于透视失真，对象或者其一部分相对于其他的对象或对象部分可能显得比正常情况更大。随着观察角度的增大以及摄像机与对象之间距离的减小，透视失真可能变得更加显著。

发明内容

摄像机(例如与视频会议应用相关联的摄像机)所捕获的图像中的失真可以至少被部分地被校正。例如，可以用变形算法来校正或者补偿捕获过程中引入图像的至少一部分失真，该失真例如是由摄像机与对象之间的接近度和/或由目标相对于摄像机的角度所引起的。通过对受到失真影响的图像应用变形技术，图像可以被改变为提供这样的外观：即，摄像机的方向被定位成与对象更加直接地对准。

本发明人意识到需要根据图像捕获装置的实际方向或者估计方向来应用变形技术，以校正被捕获的图像中的失真。本发明人还意识到，需要基于一个或多个传感器(例如加速计和陀螺仪中的一个或者两个)的输出来确定图像捕获装置的方向。进一步，还意识到需要向用户提供反馈，该反馈表明正在被捕获的图像以及正在向被捕获的图像所应用的校正。

进一步，本发明人意识到需要基于脸部模型执行失真校正，例如二维(2-D)或者三维(3-D)模型。失真校正所基于的模型脸部还可以是对象的代表，或者可以是与其他个体相对应的脸部。还意识到需要根据面部检测信息(包括由用户提供的面部位置信息)来执行失真校正。例如，用户可以通过各种输入接口(包括触摸屏接口)提供面部的位置信息(如面部的中间点)。本发明人还意识到需要向整个被捕获的图像或者仅仅对于面部区域应用变形技术。例如，变形技术可以以图像中包括的面部区域为中心，或者仅仅应用到面部区域。

另外，本发明人意识到需要基于预定的图像(例如在视频会议之前获取的原始图像，或者代表了用户想要的外观的理想图像)来对失真校正进行校准。还意识到需要提供至少最低水平的校正来消除失真程度并增强被捕获的图像的外观。最低水平的校正可以基于预先确定的最小倾斜程度。还意识到了需要记录位置历史并根据位置历史来执行失真校正。因而，此处描述的技术和仪器实现的算法用于校正与被捕获的图像相关联的失真(例如透视失真)的至少一部分，所述图像包括与视频会议系统或应用相结合使用的图像。

大体上，在一个方面，可以实现这些技术，包括：接收被捕获的图像，确定用于产生被捕获的图像的摄像机的方向，基于所确定的摄像机的方向来计算变形参数，并基于所计算的变形参数而对被捕获的图像应用一个或多个变形技术以产生经过失真校正的图像。

也可以实现这些技术，使得对方向的确定进一步包括根据默认方向值来确定的摄像机的方向。另外，也可以实现这些技术，使得对方向的确定进一步包括基于传感器数据来确定摄像机的方向。还可以实现这些技术，包括接收输入，该输入标识了被捕获的图像中的脸部位置。另外，可以实现这些技术，包括根据所标识的脸部位置来对被捕获的图像应用一个或多个变形技术。进一步，可以实现这些技术，使得对标识了脸部位置的输入进行的接收还包括从用户接收限定了与脸部位置相对应的边界的输入。