[发明专利]一种基于自适应双目结构光的深度感知方法和装置

说明书

本发明涉及一种基于自适应双目结构光的深度感知方法及装置。其中的方法首先构建了一种适应于场景变化的自适应结构光编码方案，用于解决当同一个场景中存在不同深度分布的物体时，双目畸变图像出现过/欠曝以及散焦的问题。并基于该编码方案构建了自适应结构光生成模型，构建数据集对自适应结构光生成模型进行训练。而后构建一种适用于自适应结构光的双目立体匹配网络用于获取场景的深度值。通过将自适应结构光生成模型生成的散斑结构光图案投射到实际场景中去，利用双目相机进行拍摄，得到含有结构光图案信息的双目图像，并将其作为网络的输入，输出深度图。其中的装置包括存储器和处理器，该处理器在执行储存在存储器的指令时实施所述方法。

技术领域

本发明涉及机器视觉领域，尤其涉及一种基于自适应双目结构光的深度感知方法和装置。

背景技术

深度感知技术对于自动驾驶仪、运动分析、医学诊断、虚拟现实系统等关键应用具有重要意义。目前成功商业化的深度感知技术主要有飞行时间法，双目立体匹配法和结构光法。飞行时间法原理简单但是测量分辨率较低，而且受硬件条件限制较大；双目立体匹配法测量精度高但是无法处理弱纹理场景而且算法复杂度较高；结构光法能够解决弱纹理场景但是容易受到深度感知场景及环境光影响，室外场景表现不佳。

为解决以上问题，双目结构光技术应运而生。双目结构光技术是在双目立体匹配法和结构光法基础上发展而来的。因此双目结构光技术能够适用于弱纹理以及室内室外等多种场景。目前较为成功的商用产品Realsense采用的即为双目结构光技术。Realsense的组成为一个红外点阵投射器、一个左红外相机、一个右红外相机以及一目图像，而后使用双目立体匹配原理获取视差图以及深度图。RGB相机用于采集彩色图像，将彩色视频流与深度流进行对齐。

Realsense相机以及传统的双目结构光虽然弥补了单一双目视觉以及结构光的缺点，但是双目结构光技术也面临一些问题。首先，固定的投射图案可能不适合环境光差别较大的场景。同时，当同一个场景中存在不同深度分布的物体时，相机获取的畸变图像可能出现照度不均匀(过/欠曝)和局部模糊(散焦)现象，这会极大地降低立体匹配算法的效果，最终导致较差的深度图像。

发明内容

本发明提供一种基于自适应双目结构光的深度感知方法和装置，旨在至少解决现有技术中存在的技术问题之一。

本发明的技术方案涉及一种基于自适应双目结构光的深度感知方法，所述方法包括以下步骤：

A、获取场景双目畸变图像，并利用传统立体匹配算法SGBM得到场景的粗略深度信息，而后将深度信息作为已训练的自适应结构光生成模型的输入，得到场景自适应投射图案；

B、将场景自适应投射图案进行实际投采，获取包含结构光信息的场景自适应双目畸变图像并将其作为已训练的双目立体匹配网络的输入；

C、结合相机和投影仪系统标定参数得到场景深度图像。

本方案中，所述步骤A包括：

A1、自适应结构光编码设计：

将结构光图像均匀分割为N个图像块，每个图像块由参数δ＝(b，q，s)唯一表示，通过改变每个图像块的参数δ调整对应区域照明以适应场景中存在不同深度范围物体表面的结构光投射；其中，通过改变投射散斑点图案的灰度b影响结构光光照强度进而控制投射在物体表面的曝光程度，改变散斑点的尺寸s影响结构光图案的频域信息，增强对散焦模糊的鲁棒性；此外，为了确保改变散斑点尺寸不会因散斑点过于稠密或稀疏影响最终获取的畸变图像质量，可通过实验手段选取合适的散斑点密度q与散斑点尺寸s相对应。

A2、利用自适应结构光生成模型得到场景自适应投射图案：