[发明专利]具有多光谱滤光器阵列的相机系统及其图像处理方法

权利要求书

1.一种对从包括多光谱滤光器阵列的图像传感器输出的图像进行处理的方法，所述多光谱滤光器阵列包括滤色器和近红外(NIR)滤光器，所述方法包括：

通过使用包括红色通道、绿色通道和蓝色通道的彩色通道的空间信息，对所述图像的NIR通道进行插值；

通过使用NIR通道的空间信息，对所述图像的彩色通道进行插值。

2.如权利要求1所述的方法，其中，对NIR通道进行插值的步骤包括：

针对插值像素分析相邻的彩色像素之间的彩色通道值的变化趋势以及相邻的NIR像素之间的NIR通道值的变化趋势，其中，所述插值像素是所述彩色像素中的一个彩色像素；

执行第一插值操作，其中，所述第一插值操作包括：基于彩色通道值的变化趋势和NIR通道值的变化趋势来确定所述插值像素的NIR通道值。

3.如权利要求2所述的方法，其中，对NIR通道进行插值的步骤还包括：

执行第二插值操作，其中，所述第二插值操作包括：基于噪声特性和构成所述图像的像素的边缘信息的局部特性，对插值后的NIR通道的噪声特性和局部特性进行修正。

4.如权利要求1所述的方法，其中，对彩色通道进行插值的步骤包括：

针对插值像素分析相邻的彩色像素之间的彩色通道值的变化趋势以及相邻的NIR像素之间的NIR通道值的变化趋势，其中，所述插值像素是NIR像素和除了进行插值的彩色通道之外的彩色通道的彩色像素中的一个像素；

执行第一插值操作，其中，所述第一插值操作包括：基于彩色通道值的变化趋势和NIR通道值的变化趋势来确定所述插值像素的彩色通道值。

5.如权利要求4所述的方法，其中，对彩色通道进行插值的步骤还包括：

执行第二插值操作，其中，所述第二插值操作包括：通过使用插值后的NIR通道的边缘信息和细节信息来对执行了第一插值操作的彩色通道的边缘信息和细节信息进行更新。

6.如权利要求1所述的方法，还包括：通过使用插值后的NIR通道的亮度信息来恢复插值后的彩色通道的色彩。

7.如权利要求6所述的方法，其中，恢复色彩的步骤包括：

分析插值后的彩色通道的色彩和插值后的NIR通道的亮度之间的相关性；

基于所述相关性，确定每个各个彩色通道的权重；

通过使用各个彩色通道的权重来去除包括在彩色通道中的每个通道中的NIR分量，以产生恢复后的彩色通道。

8.如权利要求7所述的方法，其中，恢复色彩的步骤基于逐像素地被执行。

9.如权利要求6所述的方法，还包括：将包括恢复后的彩色通道的彩色图像和包括插值后的NIR通道的NIR图像进行融合。

10.如权利要求9所述的方法，其中，融合步骤包括：

基于彩色图像和NIR图像中的每个图像的边缘分量和细节分量来确定权重；

将基于边缘分量和细节分量确定的权重应用于彩色图像和NIR图像，并将彩色图像和NIR图像进行融合。

11.一种具有多光谱滤光器阵列的相机系统，所述相机系统包括：

图像传感器，包括多光谱滤光器阵列，其中，所述多光谱滤光器阵列包括滤色器和近红外(NIR)滤光器；

NIR通道插值器，通过使用包括红色通道、绿色通道和蓝色通道的彩色通道的空间信息对从图像传感器输出的图像的NIR通道进行插值；

彩色通道插值器，通过使用NIR通道的空间信息对所述图像的彩色通道进行插值。

12.如权利要求11所述的相机系统，其中，NIR通道插值器包括：

第一分析器，针对插值像素分析相邻的彩色像素之间的彩色通道值的变化趋势以及相邻的NIR像素之间的NIR通道值的变化趋势，其中，所述插值像素是所述彩色像素中的一个彩色像素；

第一插值器，基于彩色通道值的变化趋势和NIR通道值的变化趋势来确定所述插值像素的NIR通道值。

13.如权利要求12所述的相机系统，其中，NIR通道插值器包括：第二插值器，基于噪声特性和构成所述图像的像素的边缘信息的局部特性来对插值后的NIR通道的噪声特性和局部特性进行修正。