[发明专利]一种用于相位估计网络训练的数据集生成方法

说明书

本发明涉及一种用于相位估计网络训练的数据集生成方法，包括采用结构光三维扫描仪向平面投射相移条纹图，并拍摄相移条纹图存储为参考图；收集获取双目立体匹配数据集，并用参考图替换其右图后，确定落在左图每个点的最终条纹强度，生成训练图片；根据参考图计算出包裹相位，并根据视差映射得到某点的相位标签值；结合训练图片和相位标签值合成单目结构光数据集；本发明通过利用现有的双目立体匹配数据集合成出单目结构光数据集的图像，且该数据集训练得到的深度学习模型可泛化于真实场景之中，其效果优于传统的三步相移算法，并且与使用真实数据集训练得到的模型精度相当。

技术领域

本发明属于三维视觉技术领域，尤其是单目条纹结构光三维测量领域。

背景技术

随着深度学习技术的发展，其在各个领域的应用都表现出了很好的效果，展现出了强大的生命力；近些年来，基于深度学习的结构光三维重建技术的研究越来越多，也取得了一些不错的进展；对于深度学习技术而言，数据集是一个至关重要的部分；对于结构光方向，目前主要有两种获取数据集的方法，一种方法是使用结构光系统采集真实数据集，这样得到的数据集质量比较高，可用于真实场景，但缺点是难以采集大量数据；另一种方法是使用仿真数据集，这种方法可以很容易的得到大量的数据，但是往往也只能适用于仿真场景，难以适用于真实场景；此外，虽然目前，三维立体视觉比较倾向的方法是双目视觉系统，但是该双目系统的一个难点在于计算量非常大，对计算单元的性能要求非常高，这使得双目系统的产品化、小型化的难度较大，成本非常高，因此在实际应用中还是优选单目视觉技术，单目的优势在于成本较低，对计算资源的要求不高，系统结构相对简单，但是其缺点在于必须不断更新和维护一个庞大的样本数据库，才能保证系统达到较高的识别率；因此，亟待解决采集单目样本数据集的耗时费力和样本不足等问题。

发明内容

为了解决上述的问题，本发明通过以下技术方案来实现上述目的：

一种用于相位估计网络训练的数据集生成方法,包括以下步骤，

S1、采用结构光三维扫描仪向平面投射相移条纹图，并拍摄相移条纹图存储为参考图；

S2、收集获取双目立体匹配数据集，并用参考图替换其右图后，确定落在左图每个点的最终条纹强度，生成训练图片；

S3、根据参考图计算出包裹相位，并根据视差映射得到某点的相位标签值；

S4、结合训练图片和相位标签值合成单目结构光数据集。

作为本发明的进一步优化方案，所述S2中双目立体匹配数据包括左图、右图以及左视差图。

作为本发明的进一步优化方案，所述S2中双目立体匹配数据集还包括表面法线图和表面反射率图。

作为本发明的进一步优化方案，所述S2中确定落在其左图每个点的最终条纹强度的步骤包括，

S21、根据双目立体匹配数据集的左视差图，建立左图与条纹图之间点对点的对应关系，即将左图某点的横坐标值减去该点的视差值，作为某点在参考图上的横坐标，进而获取落在某点的初始条纹强度；

S22、根据条纹强度与深度的平方成反比的关系对得到的某点初始条纹强度进行衰减，得到衰减后的第一条纹强度；其中，某点的深度根据视差值、基线距离和焦距进行获取；

S23、获取某点在相机坐标系下的坐标，得到某点距离投影仪坐标之间的方向向量，将某点的方向向量和表面法向量做内积，且与第一条纹强度乘积得到第二条纹强度；

S24、将第二条纹强度与某点的反射率乘积，得到最终条纹强度。

作为本发明的进一步优化方案，所述S24中得到落在某点的最终条纹强度的公式为；