[发明专利]生成深度图

说明书

背景技术

立体视觉是通过比较出自两个不同的视点的关于场景的信息来从图像中提取三维信息。立体视觉是计算机视觉技术中的最重要的研究领域之一。使用传统的立体算法从彩色图像或RGB图像生成深度图。然而，这些算法在它们的效能方面受到场景中的相关特征的数量以及诸如场景内的亮度恒定的假设两者的限制。在一些情况下，可能难于从诸如没有图案的衬衫或者单色墙壁的纯色对象生成场景内的元素的深度图。此外，在诸如起居室内的、非演播室条件中，常常存在照明变化。

此外，用于主动深度感测的技术已通过使用结构化光从场景提取几何特征来改进深度估计方法。对于现有技术，诸如在来自微软公司（Corporation）的Kinect^TM系统中提供的技术，结构化红外（IR）图案被投影到场景上并且被单个IR摄像装置拍照。基于光图案的变形，关于底层视频场景的几何信息可以被确定并且用于生成深度图。然而，尽管存在结构化光技术的优点，但是当同时使用多个模块对同一场景采样时，这些模块产生投影图案之间的干扰。此外，当多个模块尝试同时对同一场景采样时，可能存在与各个深度图的时间同步相关联的显著问题。此外，还可能难于正确地校准结构化光投影器或激光器。

发明内容

下文给出了创新的简要概述，以便提供这里描述的一些方面的基本理解。本概述并非是要求保护的主题内容的广泛的总结。本概述既非旨在标定要求保护的主题内容的关键的或重要的元素，也非旨在界定本创新的范围。其唯一目的在于以简化的形式给出要求保护的主题内容的一些概念，作为后面给出的更详细的描述的前言。

一个实施例提供了一种用于生成深度图的方法。该方法包括使用特定形式的结构化光，也就是将红外（IR）点图案投影到场景上。该方法还包括从两个或更多个同步IR摄像装置中的每个捕获立体图像。为了计算图像之间的视差图，该方法检测立体图像内的多个点并且计算关于立体图像中的点的多个特征描述符。在实施例中，视差图可以包括关于立体图像内的所有匹配点的视差值。该方法进一步包括使用视差图生成关于场景的完整的或部分的深度图。这里，每个模块将被称为主动IR立体模块。

另一实施例提供了一种用于生成深度图的立体模块系统。该立体模块系统包括被配置成处置多个主动IR立体模块的处理的处理器。每个主动IR立体模块包括被配置成将IR点图案投影到场景上的IR图案投影模块以及被配置成从两个或更多个时间同步IR摄像装置中的每个捕获立体图像的同步摄像装置模块。每个主动IR立体模块还包括被配置成识别立体图像内的多个点的点检测模块、被配置成计算关于立体图像中的点的多个特征描述符的特征描述模块、以及被配置成计算立体图像之间的视差图的视差计算模块。此外，每个主动IR立体模块包括被配置成使用视差图生成场景的深度图的深度图生成模块。

此外，另一实施例提供了用于存储计算机可读指令的一个或更多个非易失性计算机可读存储介质。当由一个或更多个处理模块执行时，计算机可读指令提供了用于生成深度图的立体模块系统。计算机可读指令包括被配置成将IR点图案投影到场景上并且从两个或更多个同步IR摄像装置捕获立体图像的代码。计算机可读指令还包括被配置成检测立体图像内的多个点，计算关于立体图像中的点的多个特征描述符，计算立体图像之间的视差图，以及使用视差图生成场景的深度图的代码。

本概述被提供用于以简要的形式介绍一组概念；下文在具体实施方式中进一步描述了这些概念。本概述述既非旨在标定要求保护的主题内容的关键特征或基本特征，也非旨在用于限制要求保护的主题内容的范围。

附图说明

图1是可用于生成场景的深度图的立体模块系统的框图；

图2是可用于生成场景的深度图的主动IR立体模块的示意图；

图3是示出了使用主动IR立体模块生成深度图的方法的处理流程图；

图4是一种可用于识别立体图像内的特征描述符的分格(binning)方法的示意图；

图5是另一种可用于识别立体图像内的特征描述符的分格方法的示意图；

图6是可用于生成场景的深度图的、通过同步信号连接的主动IR立体模块的系统的示意图；

图7是示出了用于根据来自多个主动IR立体模块的深度图的组合生成场景的构造视图的方法的处理流程图；以及

图8是示出了存储适于生成场景的深度图的代码的有形的计算机可读介质的框图。

在本公开和附图通篇中使用相同的附图标记表示相同的部件和特征。100系列中的数字指示最初出现在图1中的特征，200系列中的数字指示最初出现在图2中的特征，300系列中的数字指示最初出现在图3中的特征，如此等等。