[发明专利]深度感知三目相机系统

说明书

一种用于检测深度相机系统的失准的方法，所述系统包含在一方向上具有重叠视场的第一、第二和第三相机，所述方法包含：在所述第一相机所捕获的第一图像中检测特征；在所述第二相机所捕获的第二图像中检测所述特征；在所述第三相机所捕获的第三图像中检测所述特征，所述第三相机与所述第一和第二相机非共线；根据所述特征在所述第一图像中的检测位置和校准参数，识别所述第二图像中的第一共轭核线；根据所述特征在所述第三图像中的检测位置和所述校准参数，识别所述第二图像中的第二共轭核线；以及演算所述特征在所述第二图像中的检测位置与所述第一和第二共轭核线之间的差。

技术领域

本发明实施例的方面涉及深度相机系统。更详细地说，本发明实施例的一些方面涉及包含多个相机的深度相机系统以及用于检测失准状况的系统和方法。

背景技术

在包含移动、家庭娱乐、游戏、机器人、无人机、扩增或虚拟现实(AR/VR)系统、汽车、保全等的多种电子装置上产生高质量高分辨率深度数据的需求日益增长。深度数据在消费者和工业市场中用于许多成像和检测应用。

深度感知相机系统可以用于捕获场景，并估计场景中的每一像素的深度(或“z距离”)，借此生成“深度图”。通常，深度相机系统(或“深度相机”)可以分类成被动式深度相机和主动式深度相机。

主动式深度相机通常包含将光发射到场景上的主动式照射组件或投影器。概括地，这些相机包含：“飞行时间”主动式深度相机，其将扩散调制照射发射到场景上；和“结构光”主动式深度相机，其发射照射图案以便将图案投影到场景上。图案可以用于在一般情况下确定视差(例如，通过将额外纹理提供到低纹理对象或通过优化视差确定)，且还允许在具有不足环境照明的状况(例如，黑暗环境)下进行操作。被动式深度相机系统缺乏此类主动式照射组件。

一些深度相机系统利用立体视觉技术，在所述技术中基于在由多个相机所捕获的图像中发现的匹配特征之间的视差来计算深度数据。使用包含两个或多于两个相机的图像采集系统可以改进针对投影图案中之偏差的稳健性，且还可以实现在具有明亮环境照明的情况(例如，无法在环境光下检测到主动式照射组件投影的图案)下进行操作。

一些深度相机系统利用立体视觉技术，在所述技术中基于在由一个相机所捕获的图像中发现的匹配图案特征之间的视差、和所谓的结构光方法中投影的经译码图案来计算深度数据。在接下来的文本中，在较一般的多相机立体系统的脉络中描述主题，其中结构光方法可以被视为系统子层级。

在计算深度信息时，深度相机系统使用已知的校准参数，如下文更详细地论述。校准参数说明了深度演算对于相机之间的距离、和其相对于彼此的定向(例如，相机的光轴或光学平面之间的角度)是敏感的。

发明内容

本发明实施例的方面涉及了包含多个相机的深度相机系统。本发明实施例的方面还涉及了用于自动地检测多个相机的失准状态的系统和方法。

根据本发明的一个实施例，一种用于检测深度或深度和彩色相机系统的失准的方法，所述系统包含第一相机、第二相机和第三相机，所述第一、第二和第三相机在一方向上具有大体上重叠的视场，所述方法包含：在所述第一相机所捕获的第一图像中检测特征；在所述第二相机所捕获的第二图像中检测所述特征；在所述第三相机所捕获的第三图像中检测所述特征，所述第三相机与所述第一和第二相机非共线；根据所述特征在所述第一图像中的检测位置和多个校准参数，识别所述第二图像中的第一共轭核线；根据所述特征在所述第三图像中的检测位置和所述多个校准参数，识别所述第二图像中的第二共轭核线；演算所述特征在所述第二图像中的检测位置与所述第一和第二共轭核线之间的差；以及响应于所述差超出阈值而输出所述深度相机系统失准的指示。

所述差可包含第一差和第二差，且其中演算所述差之步骤可包含：演算所述特征在所述第二图像中的所述检测位置与所述第一共轭核线之间的第一差；以及演算所述特征在所述第二图像中的所述检测位置与所述第二共轭核线之间的第二差。