[发明专利]图像传感器和使用图像传感器的相机模块

说明书

根据本发明的实施例的图像传感器包括：像素阵列，多个像素以网格形式排列在像素阵列中，并且像素阵列将从对象反射的反射光信号转换为电信号；图像处理器，对电信号进行转换以生成子帧，并提取第二深度信息片段，第二深度信息片段的分辨率比从多个子帧提取的第一深度信息片段的分辨率高；以及存储器，用于存储第一深度信息片段，其中，通过以像素阵列的子像素单位偏移的彼此不同的光路将反射光信号输入到像素阵列，并且存储器存储与彼此不同的光路对应的多个第一深度信息片段。

技术领域

本发明涉及图像传感器和使用该图像传感器的相机模块。

背景技术

除了游戏和文化领域以外，三维内容还应用于诸如教育、制造业、自动驾驶等各种领域，并且深度图对于获得三维内容是必需的。深度图是示出空间距离的图，并且示出二维图像中一个点相对于另一个点的视角信息。

获得深度图的方法之一是将红外(IR)结构光投射到对象上，并且对从对象反射的光进行解译以提取深度图。采用IR结构光，存在的问题在于，难以获得移动对象的期望水平的深度分辨率。

同时，作为一种替代IR结构光方法的技术，飞行时间(TOF)方法引起注意。

根据TOF方法，测量飞行时间(即光发射、反射并返回所用的时间)来计算距对象的距离。ToF方法的一个很大的优点是实时快速地提供三维空间中的距离的信息。而且，用户无需应用额外的算法或在硬件方面进行校正即可获得准确的距离信息。另外，即使在测量非常近的对象或移动对象时，也可以获得准确的深度图。

然而，在当前ToF方法的情况下，存在的问题在于，可以从一个帧获得的信息是不充足的，即其分辨率非常低。

作为提高分辨率的方法，存在一种增加图像传感器的像素的数量的方法。然而，在这种情况下，存在的问题在于，相机模块的体积和制造成本显着增加。

因此，需要一种在没有显著地增加相机模块的体积和制造成本的情况下提高分辨率的深度图的获得方法。

发明内容

技术问题

本发明旨在提供一种配置为使用飞行时间(TOF)方法提取深度图的图像传感器以及包括该图像传感器的相机模块。

技术解决方案

本发明的一个方面提供了一种图像传感器，包括：像素阵列，多个像素以网格形式排列在像素阵列中，并且像素阵列将对象反射的反射光信号转换为电信号；图像处理器，配置为对电信号进行转换以生成子帧，并提取第二深度图，第二深度图的分辨率比从多个子帧提取的第一深度图的分辨率高；以及存储器，配置为存储第一深度图，其中通过以像素阵列的子像素为单位偏移的不同光路将反射光信号输入到像素阵列中，并且存储器存储与不同光路对应的多个第一深度图。

图像处理器可以包括：转换器单元，配置为对从像素阵列接收的电信号进行转换以生成子帧，并配置为将深度计算应用于子帧以提取第一深度图；超分辨率(SR)处理单元，配置为使用存储器中存储的多个第一深度图来提取第二深度图；输出单元，配置为输出第二深度图；以及控制单元，配置为控制第一深度图和第二深度图的输入和输出。

当存储器存储第一深度图时，控制单元可以控制存储器中存储的多个第一深度图以传输到SR处理单元。

当SR处理单元接收到存储器中存储的多个第一深度图时，SR处理单元可以通过将SR技术应用于所接收的多个子帧来提取第二深度图。

当存储器从图像处理器接收第一深度图时，存储器可以删除其中预先存储的第一深度图之中对应于与从图像处理器接收的第一深度图的光路相同的光路的第一深度图，并且存储器可以存储从图像处理器接收的第一深度图。

像素阵列、图像处理器和存储器中的每一个可以形成为层类型，并且存储器可以堆叠在像素阵列和图像处理器之间。