[发明专利]一种结构光解码与深度学习融合的三维测量方法及装置

说明书

本发明提出一种结构光解码与深度学习融合的三维测量方法及装置，属于三维测量领域。其中，所述方法包括：将待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用多台相机同时拍摄结构光模块投影到待测对象表面的双频相移结构光编码图案序列；将每台相机拍摄的编码图案序列串联后输入预设的多视角三维重建网络，得到待测对象在指定的相机1坐标系下的预测深度图像；计算待测对象在相机1坐标系下的结构光解码深度图像以及面结构光解码有效性掩模，结合预测深度图像，以得到待测对象的三维测量结果。本发明利用深度学习多视角三维重建与结构光测量融合，实现对于复杂光学特性物体的完整准确三维测量，具有很高的应用价值。

技术领域

本发明属于三维测量领域，具体涉及一种结构光解码与深度学习融合的三维测量方法及装置。

背景技术

基于结构光的三维测量方法，具有非接触、结构简单、测量效率高、空间分辨率高等优点，在逆向工程、工业质量检测、机器人操作等领域具有广泛应用。透明、半透明、反光、高反差物体被统称为复杂光学特性物体。目前，基于解码的结构光三维测量方法通过解码计算深度图像，对复杂光学特性物体的测量结果中存在缺失。而深度学习多视角三维重建方法可以通过训练提高复杂光学特性物体测量结果的完整性，但其测量精度不及编码图案反射强度适中区域的基于解码的结构光三维测量结果。

发明内容

本发明的目的是克服现有技术中基于解码的结构光三维测量方法对于复杂光学特性物体测量结果中存在缺失以及深度学习多视角三维重建测量精度有限的不足，提出一种结构光解码与深度学习融合的三维测量方法及装置。本发明可实现复杂光学特性物体的完整准确三维测量，可适用于逆向工程，工业质量检测等领域，具有很高的应用价值。

本发明第一方面实施例提出一种结构光解码与深度学习融合的三维测量方法，包括：

将待测对象置于结构光测量模块和多台相机构成的的公共测量视场中，利用所述多台相机同时拍摄所述结构光模块投影到所述待测对象表面的双频相移结构光编码图案序列；其中，所述多台相机中包含设定的相机1；

将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络，所述网络输出所述待测对象在所述相机1坐标系下的预测深度图像；

根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像；

对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模；

根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，以得到所述待测对象的三维测量结果。

在本发明的一个具体实施例中，所述待测对象为透明、半透明、反光或高反差物体中的任一种。

在本发明的一个具体实施例中，所述双频相移结构光编码图案序列，表达式如下：

式中，N_PSP为双频相移步数，I′,I″分别为双频相移结构光编码图案的灰度值均值与振幅；(u_p,v_p)为结构光投影模块投影的的任一图像像素坐标；分别为(u_p,v_p)对应的多周期编码相位与单周期编码相位；为第i张多周期双频相移结构光编码图案，i＝1,2,…,N_PSP；为第i张单周期双频相移结构光编码图案，i＝1,2,…,N_PSP。

在本发明的一个具体实施例中，在所述将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络之前，还包括：

训练所述多视角三维重建网络；

所述训练所述多视角三维重建网络包括：