[发明专利]图像处理装置和图像处理方法

说明书

根据实施方式的图像处理装置包括：第一处理单元，其用于根据具有第一分辨率的第一拜耳数据输出具有第二分辨率的第二拜耳数据；第二处理单元，其用于根据具有第三分辨率的第一IR数据输出具有第四分辨率的第二IR数据；以及图像处理单元，其用于通过计算根据第二拜耳数据生成的第一RGB图像和根据第二IR数据生成的IR图像来输出第二RGB图像。

技术领域

本发明涉及图像处理装置，并且更具体地，涉及用于使用深度学习算法根据低分辨率拜耳数据生成高分辨率拜耳数据以及通过使用IR图像改善RGB图像的低照度的图像处理和图像处理方法。

背景技术

随着技术进步以及相机模块的小型化变得可能，小的相机模块正被应用于诸如智能电话、移动电话、PDA等的各种IT装置并在各种IT装置中使用。这样的相机模块使用诸如CCD或CMOS的图像传感器作为主要部件来制造，并且被制造成使得能够进行对焦调整以调整图像的尺寸。

这样的相机模块被配置成包括多个透镜和致动器，并且当致动器移动每个透镜以改变相对距离时，可以以调整光学焦距的方式拍摄相对于被摄体的对象。

具体地，相机模块包括将从外部接收的光信号转换成电信号的图像传感器、将光聚焦到图像传感器上的透镜、红外(IR)滤波器、包含上述部件的壳体以及对图像传感器信号进行处理的印刷电路板等，并且致动器通过诸如音圈马达(VCM)致动器或微机电系统(MEMS)致动器的致动器来调整透镜的焦距。

同时，随着技术进步并使得能够实现高分辨率图像，对能够实现远处对象的高分辨率图像的技术的需求也在增加。

通常，相机配备有变焦功能以拍摄远处对象的图片。变焦功能主要分为光学变焦和数字变焦方法，在光学变焦中，相机内的实际透镜移动以放大被摄体，在数字变焦方法中，通过使用数字处理方法放大被拍摄的被摄体的图像数据的一部分来实现变焦效果。

在通过使用透镜移动获得被摄体的图像的光学变焦的情况下，可以获得具有相对高分辨率的图像，但是存在的问题在于相机的内部结构复杂，并且由于增加了部件而成本增加。另外，对可以通过使用光学变焦放大被摄体的区域存在限制，并且对于这部分，正在开发利用软件进行校正的技术。

除了这些方法之外，还存在通过移动相机内的部件生成更多像素信息来实现高分辨率图像的技术，例如利用音圈马达(VCM)或微机电系统(MEMS)技术来摇动传感器的传感器移位技术、通过利用VCM等摇动透镜来获得像素信息的光学图像稳定器(OIS)技术、以及将滤波器在传感器与透镜之间进行摇动的技术等。

然而，这些技术的缺点是，当拍摄移动对象时，可能出现诸如运动模糊或伪像的现象，原因是它们合成了若干视差的数据，这导致降低图像质量的问题。

另外，存在的问题在于，当将用于实现这一点的复杂装置插入到相机中时，相机模块的尺寸增大，由于其是通过摇动部件来实现的，因此难以在安装有相机的车辆中使用，并且其只能在静止环境中使用。

另一方面，作为使用通常在TV中使用的软件算法的高分辨率实现技术，存在诸如单帧超分辨率(SR)或多帧超分辨率(SR)等的技术。

在这些技术的情况下，不存在伪像问题，但是这是难以应用于可以应用小型相机模块诸如移动装置、车辆、IoT等的装置的算法，并且另外，存在除非安装单独的图像处理器以实现这样的技术否则难以实现的问题。

另外，通常安装在移动装置中的RGB相机的问题在于图像质量差，原因是当在低照度环境下拍摄图像时，亮度非常低或噪声严重。作为改善RGB相机在弱光环境下的图像质量的方法，可以使用闪光灯功能。然而，当使用闪光灯功能时，可能难以获得自然的图像，原因是在闪光灯被照射的近距离处光会饱和。改善RGB相机在低照度环境下的图像质量的另一方法是将IR传感器与RGB相机一起使用。然而，对RGB颜色的灵敏度可能由于IR传感器而降低。因此，存在对用于改善RGB相机在弱光环境下的图像质量的新方法的需求。