[发明专利]用于视频中眼睛对准的系统和方法

说明书

技术领域

本发明涉及图像处理。更具体地，但非限制性地，本发明涉及视频中的眼睛对准。

背景技术

非语言交际线索在交流中扮演了重要的角色。眼睛对于交流而言特别重要并且将向他人提供注意力所集中的地方的指示。在一些文化中，不用眼睛看主要人物是表示尊敬，而在西方文化中，如果不进行直接的眼睛接触，则这个人可能被认为没有礼貌。

然而，在现有技术的视频会议系统上，非语言线索经常失真，从而导致误解或错误交流。

在最简单的形式中，视频会议系统包括一对摄像机和一对显示屏。每对摄像机和显示屏都指向用户之一。摄像机或者放置在显示屏旁边或者放置在显示屏之上，以便不阻挡屏幕，并且具有视频会议设施的现代便携式电脑通常包括永久设置在显示屏之上的集成摄像机。

这种系统的缺点是：当用户朝显示屏上其它用户的图像观看同时从第二位置记录时，眼睛线索会失真。因此，用户似乎没有进行直接的目光接触。或者，没有实际这样做时，用户可能看起来正在进行目光接触。

已经开发了减少该问题的专用硬件系统，如图1的视频会议系统100所显示的。系统100包括显示屏105和摄像机110。分束器115位于用户120与摄像机110之间，并且配置反射来自显示屏105的图像，同时允许来自用户120的光由摄像机接收。

诸如系统100之类的这些系统的缺点是这些系统成本高、脆弱并且笨重，则因此不能够集成到薄的便携式电脑显示屏中，并且当用户120的注意力在显示屏105的非中央部分时，这些系统不能很好地起作用。

其它类似形式的视频会议系统包括半透明屏幕，其中，摄像机位于半透明屏幕后面，并且具有类似的缺点。

发明内容

本发明的一些实施例的目的是：与上述现有技术相比，向消费者提供改进和优点，和/或克服且减轻现有技术中的一个或多个上述缺点，和/或提供有用的商业选择。

根据一个方面，本发明在于一种用于图像处理的系统，包括：

摄像机；

显示屏，其与所述摄像机相邻；

处理器，其耦合到所述摄像机和所述显示屏；以及

存储器，其耦合到所述处理器，所述存储器包括可由所述处理器可执行以进行以下操作的指令：

从所述摄像机接收源图像；并且

基于所述源图像来产生合成图像，所述合成图像与位于所述显示屏处的虚拟摄像机的视图相对应。

优选地，所述摄像机和所述显示屏被集成为单个结构。或者，所述摄像机和所述显示屏可以独立移动，并且所述存储器进一步包括用于对所述显示屏相对于所述摄像机的位置进行估计的指令。

优选地，产生合成图像进一步包括：

在所述源图像中检测脸部；并且

根据所述虚拟摄像机的位置来对所述脸部进行变换。

优选地，对所述脸部进行变换包括：对所述脸部应用主动外观模型(AAM)，并且修改所述AAM的参数。

优选地，产生合成图像还包括：

产生所述脸部的3D模型；并且

根据所述摄像机与所述虚拟摄像机之间的位移来旋转所述3D模型。

优选地，虚拟摄像机位置是相对于所述显示屏居中固定。或者，所述虚拟摄像机的位置是基于呈现在所述显示屏上的内容来确定的。

优选地，图像包括视频序列的图像。所述视频序列可以是二维视频序列或三维视频序列。

优选地，所述存储器进一步包括用于进行以下操作的指令：

从所述摄像机接收第二源图像；并且

基于所述源图像和所述第二源图像来产生第二合成图像，所述第二合成图像与所述虚拟摄像机的视图相对应。

根据某些实施例，产生所述合成图像包括：修改与所述源图像相关的元数据。优选地，所述元数据包括摄像机参数。

根据第二方面，本发明在于一种用于视频会议的计算机实现方法，包括：

在数据接口上从摄像机接收源图像；并且

由处理器基于所述源图像来产生合成图像，所述合成图像与位于显示屏处的虚拟摄像机的视图相对应，其中，所述显示屏与所述摄像机相邻。

根据某些实施例，所述方法还包括通过所述处理器，对所述显示屏相对于所述摄像机的位置进行估计。

优选地，产生合成图像还包括：

在所述源图像中检测脸部；并且

根据所述虚拟摄像机的位置来对所述脸部进行变换。

优选地，对所述脸部进行变换包括：将所述脸部应用主动外观模型(AAM)，并且修改所述AAM的参数。