[发明专利]图像处理系统

说明书

技术领域

本发明涉及一种用于图像处理系统的方法。本发明还涉及一种相应的图像处理系统。

背景技术

在面对面通信中，眼睛凝视感知具有高度的社交重要性。然而，在典型的视频会议和视频电话应用中，在近端用户和远端用户之间，常常失去眼睛凝视感知。

这通常是由于以下事实：图像捕获视频摄像机位于显示屏的顶端，并且用户本能地直视他们的显示另一端参与方的显示屏，而不是朝着所述摄像机。结果，在近端用户使用视频摄像机捕获且在远端用户的显示屏上显示的图像中，所述近端用户将看起来就像迷路一样。因此，远端用户将不会感觉到正在被注视，因为近端参与方看来就像迷路一样。

研究已经表明：例如已经由在显示器顶端的摄像机的放置和用户直视显示屏造成的眼睛凝视方向上的“误差角”α，超过8度将造成眼睛接触的丢失。

为了克服上述问题已经引入了不同方法，并且在US 5,675,376中公开了这种方法的一个示例。在US 5,675,376中，为了确定各个眼睛凝视方向，检测用户眼睛的虹膜位置，并且当需要校正眼睛凝视方向时，“移动”与虹膜位置对应的图像像素，以实现眼睛到眼睛的接触。

然而，尽管US 5,675,376中公开的方法对上述讨论的问题提供了一些改进，但是它由于像素移动操作所需要的虹膜位置的分析和巨大精确度而引入了不需要的复杂性和可靠性问题。相应地，因此需要一种改进方法，所述改进方法至少减轻在视频会议和视频电话应用中的近端用户和远端用户之间的眼睛接触丢失的问题。

发明内容

依照本发明的一个方面，通过一种用于图像处理系统的方法至少部分地满足以上所述，所述方法包含以下步骤：获取第一个人的第一图像，定位所述第一图像中的包含所述第一个人的至少一个眼睛的第一片段，获取第二个人的第二图像，定位所述第二图像中的包含所述第二个人的至少一个眼睛的第二片段，所述第二片段在相对位置和大小方面与所述第一片段相对应，比较所述第二片段和所述第一片段，并且如果所述比较得出小于预定阈值的差，则用所述第一片段替换所述第二图像中的所述第二片段。

本发明采用以下事实：眼睛边缘附近的区域是均匀的，即属于眼部附近区域的像素全都具有基本上相同的色彩值（相同的亮度和色度值），因为它都是皮肤。这个事实使得它更容易局部地重写面部像素以及用空间的邻域进行转换，而没有使它看起来不自然。另外，眼睛位图的布置中的小误差仅仅导致眼睛轻微的位移，其经证明是几乎看不见的。此外，只有在第一片段和第二片段之间的比较造成小于预定阈值的差时，才用第一片段对第二片段的替换提供了在接受结果图像（所述结果图像看起来是自然的）方面的改进，因为例如当用户眨眼和/或从一侧到另一侧移动他/她的头时的情况将被排除，即将没有替换发生。因此， 本发明允许用具有改进例如近端/远端用户视频会议系统中的眼睛到眼睛的接触的特征的预先记录的相应片段替换面部的片段。

例如，可以在“训练阶段”期间获取第一图像，其中用户被要求“直视摄像机”，例如，包含在第一片段中的眼睛凝视方向基本上垂直于所述第一图像的图像平面。然而，还可以在自动的过程期间获取所述第一图像，其中，获取所述第一个人的多个图像，并且从中选择一个图像，其中所述第一个人的眼睛凝视方向基本上垂直于所述图像平面，也就是，所述第一个人正直视所述摄像机。

另外，不需要存储整个第一图像，其中所述用户直视所述摄像机，而是仅存储所述第一片段，还可能包含相应的眉毛，从而最小化所述图像处理系统需要的存储能力。可以将第一和/或第二图像捕获为单一的静止图像或者图像序列，例如从视频流中捕获。因此，本发明的方法可以用于静止图像和视频序列相关的两方面，例如来自视频会议和/或视频电话应用的诸如实时视频序列。

在另选的实施例中，可以在一个过程期间获取所述第一图像，其中用一个摄像机获取所述第一图像，并且用不同的摄像机获取所述第二图像。因此，所述第一个人和第二个人没有必要是同一个人，并且因此可能允许用第一个人的眼睛替换第二个人的眼睛，例如，用一个名人的眼睛替换第二个人的眼睛。然而，典型地，所述第一个人和所述第二个人是同一个人。

为了进一步改进结果图像的自然外观，可能允许利用第一片段替换第二图像中的第二片段的步骤将所述第二片段和第一片段混合在一起。这种混合可以包含使用预定的查找表以便允许阿尔法混合第一和第二片段。