[发明专利]3D增强的图像校正

说明书

相关申请

本申请要求2015年3月20日提交的美国申请序列号14/664,475的优先权权益，所述美国申请要求2014年11月13日提交的美国临时申请序列号62/079,086的优先权权益，这两个申请通过引用以其全部内容结合在此。

背景技术

对于增强现实应用、生物特征识别、监督等而言，使用或者近红外或者可见光识别人类面部变得很常见。使用相机图像进行识别的一个主要限制是需要均匀且充足的光照条件。然而，当面部的光照来自单一方向(如侧灯)时，看到几何和生物特征的能力受到损害并使得识别效果欠佳。处理这种情况的一般方法是更改相机的增益、曝光或伽玛水平，以便使图像的微暗照亮部分变亮或增强，或者使图像的褪色部分变暗。当面部的一半是亮的并且另一半是暗的时，这些方法不起作用。在那种情况下，通常检测不到面部，使得识别过程无效。

附图说明

以示例性而非限制性方式在附图中展示实施例，在附图中，相同的参考号指代类似元件。

图1展示了用于识别人类面部的系统；

图2展示了3D光照补偿的方法；

图3展示了兴趣区域的示例；

图4展示了用于生成校正图像的方法；以及

图5是根据示例实施例展示了在其上可以执行本文中所讨论的技术(例如，方法)中的任何一种或多种技术的示例机器的框图。

具体实施方式

如以上所指出的，使用相机图像进行识别的一个主要限制是需要均匀且充足的光照条件。然而，当面部的光照来自单一方向(如经由侧灯)时，看到几何和生物特征的能力受到损害，使得识别过程效果欠佳。

图1示出了用于识别人类面部的系统。在图1所示出的示例实施例中，处理器102连接至3D相机104和2D相机106。在图1所示出的实施例中，3D相机104捕捉场景中的范围信息，而2D相机106(红外光、可见光或其他光)捕捉图像数据。处理器102从3D相机104中接收范围信息并从2D 106相机中接收图像数据，并且使用范围信息确定图像中的兴趣区域。

在实施例中，3D相机104使用深度表面分析隔离相机场景中需要独立增益/曝光控制的所有兴趣区域。这在场景中搜索面部之前执行。通过这样做，单个相机图像在那些光照条件下可以向面部识别器和面部标识器提供更好的面部图像。这允许相机104和106在较宽范围的真实世界条件下发现微弱光照的面部。

在一些这种实施例中，处理器102执行对隔离相机场景中的兴趣区域的分析。在其他实施例中，3D相机104中的处理器执行部分或全部分析。在其他实施例中，其他处理器(如跨网络或在云中)执行部分或全部分析。

图2示出了用于3D光照补偿的方法的示例实施例。在图2的示例实施例中，在205处，3D相机104和2D相机106大约同时捕捉到场景。在一个示例实施例中，3D相机104捕捉范围信息，并且2D相机106捕捉可见光图像(例如，RGB)。在210处，范围信息与可见光图像对准。在一些实施例中，在210处与2D图像对准之前，范围信息转换为真实世界笛卡尔坐标系。

在215处，所述方法标识3D相机104捕捉的场景中的兴趣区域。在一些实施例中，基于世界坐标轮廓将唯一深度兴趣区域分段。在一个这种方法中，轮廓是具有持续上升或下降倾斜以及在1cm×1cm×1cm的核心区域(例如，自适应阈值化)上具有小于5mm倾斜变化的区域。

在实施例中，在220处，将这些兴趣区域投射在2D图像上(如例如在图3中所示出的)。在一些这种实施例中，针对投射在2D图像上的每个唯一分段区域，在可见光图像上生成x、y像素多边形描述符。在225处，将亮度操作或其他图像补偿操作应用于投射在图像场景上的一个或多个兴趣区域。在一些实施例中，在225处，将独立像素积分时间和放大值应用于投射在图像场景上的每个兴趣区域。在实施例中，例如，必要时对每个兴趣区域执行操作，以便达到色调-饱和度-亮度(HSB)空间中的128的区域指定像素亮度。然后，在230处，校正图像用于面部检测。

基于多边形的图像补偿可以在图像捕捉装置(例如，相机104或106)的硬件/固件中或在软件中，并且在通用CPU上的图像捕捉之后实施。由此，在各实施例中，以上所描述的功能在主机计算机上的软件中实施，或者实现为3D相机104中的硬件或固件。