[发明专利]针对单视角下几何和材质高精度采集的结构光方法

说明书

本发明公开了一种针对单视角下几何和材质高精度采集的结构光方法，本发明通过引入LCD掩膜的渲染方程进行光场模拟，通过结构光的方式进行几何信息的编码，并采用最近邻搜索算法进行解码，获取物体的几何信息；通过光路复用的方式进行物体材质信息的编码，并基于材质模式下拍摄的图像和所获取的几何信息执行可微分优化，获取物体的材质信息。本发明将两种基于主动光的采集方法相结合，并实现了高效的编解码方案，从而解决了共同采集单视角下静态物体几何信息和材质信息的难题。本发明采集精度高，具有优秀的泛化能力。

技术领域

本发明属于计算机视觉领域，具体涉及一种针对单视角下几何和材质高精度采集的结构光方法。

背景技术

近年来，计算机视觉和图形学领域的突破性成果为文物保护、电子商务、视觉特效等一系列场景应用的发展做出了巨大的贡献。然而，在高速发展的同时，该领域也涌现了诸多亟需解决的关键性问题。其中，针对静态物体的几何信息和材质信息的共同采集问题，是一道充满挑战性的难题。

主动光方法，是获取高信噪比采集结果的一大类方法，包含了结构光照明(structured illumination)和光路复用(illumination multiplexing)等方法。结构光照明方法先通过投影仪将预计算的图案投射到物体上，再结合三角化进行几何信息的获取。光路复用方法基于一定的物理模型推导，通过对不同灯的亮度进行编程处理，从而获取物体的材质信息。

然而，针对几何信息和材质信息的共同采集问题，现有的方法尚存在诸多问题，主要表现在以下方面：

1)装置设计问题

若直接将结构光照明方法和光路复用方法结合，会导致硬件设计过于复杂。多投影仪加多相机的使用，还会导致信息竞争问题。也就是说，同一个灯，不能在采集几何信息的同时，采集材质信息。

2)采集精度问题

现有的方法通常采用一种主动光方法结合一种被动光方法的方式来完成静态物体的材质和几何信息的共同采集过程，然而，由于被动光方法在精度上的限制，这种结合方式会导致次优的结果。

发明内容

本发明的目的在于针对现有技术的不足，提供一种针对单视角下几何和材质高精度采集的结构光方法。

本发明的目的是通过以下技术方案实现的：一种针对单视角下几何和材质高精度采集的结构光方法，该方法包括以下步骤：

由LED模组、LCD掩膜、相机构成轻量级硬件原型；

提取所述硬件原型的参数，通过引入LCD掩膜的渲染方程进行光场模拟；

基于模拟光场搭建针对LCD掩膜像素值的优化器；

根据所述优化器得到最优LCD掩膜像素值，并在硬件原型上修改LCD掩膜的像素值，同时选取LED模组中的单个灯，将其设置为最亮状态；

使用修改后的硬件原型完成几何模式的拍摄；

将几何模式下拍摄的图像解码，获取物体的深度信息；

基于模拟光场搭建针对LED光照参数的神经网络；

根据所述神经网络训练得到的LED光照参数，在硬件原型上修改LED模组的亮度，同时将硬件原型中的LCD掩膜设置为透明状态；

使用修改后的硬件原型完成材质模式的拍摄；

基于材质模式下拍摄的图像和深度信息，执行可微分优化，获取优化后的BRDF参数；

利用优化后的BRDF参数和深度信息，实现最终的渲染结果。