[发明专利]一种结构光解码与深度学习融合的三维测量方法及装置

权利要求书

1.一种结构光解码与深度学习融合的三维测量方法，其特征在于，包括：

将待测对象置于结构光测量模块和多台相机构成的公共测量视场中，利用所述多台相机同时拍摄所述结构光测量模块投影到所述待测对象表面的双频相移结构光编码图案序列；其中，所述多台相机中包含设定的相机1；

将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络，所述网络输出所述待测对象在所述相机1坐标系下的预测深度图像；

根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像；

对所述相机1拍摄的所述编码图案序列中每个像素进行解码有效性判定，生成面结构光解码有效性掩模；

根据所述预测深度图像、所述结构光解码深度图像和所述面结构光解码有效性掩模，计算所述待测对象的融合深度图像，以得到所述待测对象的三维测量结果；

其中，所述双频相移结构光编码图案序列，表达式如下：

式中，N_PSP为双频相移步数，I′,I″分别为双频相移结构光编码图案的灰度值均值与振幅；(u_p,v_p)为结构光投影模块投影的任一图像像素坐标；分别为(u_p,v_p)对应的多周期编码相位与单周期编码相位；为第i张多周期双频相移结构光编码图案，i＝1,2,…,N_PSP；为第i张单周期双频相移结构光编码图案，i＝1,2,…,N_PSP。

2.根据权利要求1所述的方法，其特征在于，所述待测对象为透明、半透明、反光或高反差物体中的任一种。

3.根据权利要求1所述的方法，其特征在于，在所述将每台相机拍摄的所述编码图案序列串联后输入预设的多视角三维重建网络之前，还包括：

训练所述多视角三维重建网络；

所述训练所述多视角三维重建网络包括：

1)将选取的训练待测对象置于结构光测量模块和多台相机构成的公共测量视场中，利用所述多台相机同时拍摄所述结构光测量模块投影到所述训练待测对象表面的双频相移结构光编码图案序列；

2)获取训练待测对象的三维形状点云，将所述三维形状点云转换到相机1坐标系下，得到训练待测对象在相机1坐标系下对应的深度图像；

3)将每台相机拍摄的训练待测对象表面反射的编码图案序列以及训练待测对象在相机1坐标系下对应的深度图像组成一个训练样本；

4)通过改变训练待测对象的位置或更换训练待测对象，重复步骤1)-3)，以获得对应的训练样本，将所有训练样本组成训练数据集；

5)构建多视角三维重建网络，所述网络包含依次连接的粗粒度深度预测子网络和深度迭代优化子网络；所述粗粒度深度预测子网络的输入为由每台相机拍摄的待测对象表面反射的双频相移结构光编码图案序列组成的串联集合所构成的矩阵，其中，第j台相机对应的串联集合的表达式为所述粗粒度深度预测子网络输出待测对象在相机1坐标系下的初始预测深度图像；将所述初始预测深度图像输入深度迭代优化子网络，通过迭代，得到待测对象在相机1坐标系下优化后的预测深度图像；

6)利用所述训练数据集训练所述多视角三维重建网络，得到训练完毕的所述多视角三维重建网络。

4.根据权利要求1所述的方法，其特征在于，所述根据所述相机1拍摄的所述编码图案序列，计算所述待测对象在所述相机1坐标系下的结构光解码深度图像，包括：

利用相机1拍摄的编码图案序列计算相机1成像平面下任一像素坐标(u_c,v_c)的多周期编码相位与单周期编码相位表达式如下：

式中，为相机1拍摄的第i张双频相移结构光编码图案；

通过相位解包裹计算坐标(u_c,v_c)的绝对相位

式中，T_m,T_s分别为多周期编码图案与单周期编码图案的周期像素长度，[*]为就近取整运算符；

根据相机1和结构光投影模块的内参矩阵、相机1与结构光投影模块之间的坐标转换矩阵，利用三角测量法计算得到待测对象在相机1坐标系下的结构光解码深度图像D_PSP。