[发明专利]RGB-IR传感器、和通过使用该RGB-IR传感器获得3D图像的方法和装置

说明书

技术领域

本发明涉及RGB-IR传感器，和通过使用该RGB-IR传感器获得3D图像的方法和装置。

背景技术

近来，已经发展了用于从被识别对象获得3D图像的各种技术和产品。例如，TOF(Time Of Flight，飞行时间)系统从摄像机与被识别对象之间的距离或深度获得3D图像，使用向被识别对象照射光的光发射时间与从被识别对象反射的光的光接收时间之间的时间差分测量所述距离或深度。另外，结构光系统从被识别对象的深度获得3D图像，所述深度通过向被识别对象发射图案化的红外结构光并分析从被识别对象接收的红外线的图案来测量。

在这方面，虽然可以使用两个或更多个可见光图像来获得3D深度信息，但是近来已经使用了将可见光图像和红外线图像一起用作有效光源的系统。另外，在该系统中，通常将用于捕捉可见光的单独的传感器(RGB传感器)与红外线传感器(IR传感器)一起设置。此外，已经研究了通过将用于捕捉可见光的传感器像素中的一个传感器像素修改为用于获得红外线的像素而从一个RGB-IR传感器获得可见光图像和红外线图像的摄像机传感器结构。

图1是例示根据相关技术的用于获得3D图像的RGB-IR传感器的像素排列结构的图。通常，RGB-IR传感器经由R(红)像素、G(绿)像素和B(蓝)像素获得可见光区域的彩色图像并且还经由红外线(IR)像素获得红外图像。即，单个RGB-IR传感器通过R像素、G像素、B像素和IR像素排列的组合来设置。

在这方面，图1是例示根据相关技术的RGB-IR传感器的像素排列顺序的示例。通常，RGB-IR传感器结构以这样的方式进行设置，即在包括一个R像素、一个B像素和两个G像素的普通RGB传感器(该传感器被公知为“拜尔传感器结构(Bayer sensor structure)”)中，将一个G像素修改为IR像素。

更具体地，从图1的相关技术RGB-IR传感器的像素排列结构注意到，包括逐个的R像素、G像素、B像素和IR像素的像素基本单元结构101以等间隔重复。因此，在RGB-IR传感器内的所有IR像素以等间隔排列。同样地，其它颜色分量(R、G和B)以等间隔排列。这种结构将被称作网络结构或棋盘结构。

图2是例示通过使用图1的相关技术的RGB-IR传感器的IR像素的插值法的图。在这方面，图2是例示通过放大围绕图1的IR像素115的邻近的IR像素111、112、113、114、115、116、117、118和119在特定像素位置处如何进行插值的参考图。

首先，像素之间的普通插值法描述如下。为了获得RGB彩色图像和IR图像，通常将各种插值法应用到由每个像素获得的分量。例如，去马赛克方法(demosaicing method)广泛用作插值法。去马赛克方法是一种彩色滤波器(color filter)插值法，并且表示用于恢复在像素排列中的所有像素的全色值的图像处理算法。例如，将适合相对应的目的的各种插值法(诸如，平均加权值的总和以及基于边缘的加权值的总和)应用于去马赛克方法。因此，通过去马赛克方法可以使每个像素恢复为具有所有分量(R、G、B、IR)

再次参照图2，例如，将描述在位于IR像素111至119之间的像素121、122、123、124、125、126、127和128中进行IR插值的情况。注意到图2中应用了两种像素插值法。例如，在像素位置122、124、126和128的情况下，在相对应的像素附近存在IR像素，从而可以仅使用相对应的IR像素来进行插值。例如，在像素位置122中，使用两个IR像素112和115进行插值。同样地，在像素位置124中，使用两个IR像素116和115进行插值，在像素位置126中，使用两个IR像素118和115进行插值，并且在像素位置128中，使用两个IR像素114和115进行插值。具体地，与插值位置像素122、124、126和128相邻的IR像素112、114、115、116和118与相对应的插值位置像素122、124、126和128紧耦合(couple)，并且如所示出的用实线标记。紧耦合的IR像素的特征在于它们与要进行插值的像素位置的最短距离相邻。