[发明专利]基于自由视角光照传输矩阵的重光照方法及系统

权利要求书

1.一种基于自由视角光照传输矩阵的重光照方法，其特征在于，包括以下步骤：

在预设的可控变化光照条件下，利用摄像阵列在预设的多个曝光程度下分别采集目标物体对应的多组多视角视频图像；

根据获得的所述多组多视角视频图像获得所述目标物体的反照率信息和在起始时刻的三维模型和表面法向；

根据所述表面法向、光照方向和观察方向三者间的相对位置对多视角变光照的目标信息进行融合，以生成支持各向异性光照特性表示的所述目标物体的自由视角光照传输矩阵；

根据所述表面法向和所述自由视角光照传输矩阵对所述目标物体进行重光照操作，以生成重光照目标物体模型；和

结合依赖视角的模型渲染算法，实现自由视角的动态场景重光照。

2.如权利要求1所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，还包括：

获得所述预设的可控变化光照条件中各个光照状态对应的场景光照环境图。

3.如权利要求2所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，所述获得预设的可控变化光照条件中各个光照状态对应的场景光照环境图进一步包括：

在采集场景中央放置一枚水晶球，在所述预设的可控变化光照条件下利用所述摄像阵列对水晶球进行拍摄；

对所述摄像阵列拍摄的视频中的各帧水晶球图像进行全景拼图，以获得所述预设的可控变化光照条件下各光照状态对应的场景光照环境图。

4.如权利要求1所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，还包括：

对所述摄像阵列进行几何和颜色校准，并将所述摄像阵列和所述可控光源进行同步校准，所述预设的可控变化光照条件由所述可控光源产生。

5.如权利要求1所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，还包括：

结合匹配特征点和多视角相机校准参数，利用鲁棒的主分量分析方法RPCA对所述目标物体的表面各点在不同光照条件下各视角采集数据中置信度进行筛选，选择高置信度的成像信息计算所述目标物体表面各点的反照率信息。

6.如权利要求5所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，还包括：

结合球谐函数光照模型对所述目标物体各点的法向进行优化，以获得所述目标物体精确的方向和三维模型。

7.如权利要求6所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，所述根据表面法向、光照方向和观察方向三者间的相对位置对多视角变光照的目标信息进行融合，以生成支持各向异性光照特性表示的所述目标物体的自由视角光照传输矩阵进一步包括：

在各个采集时刻，计算所述目标物体表面各个顶点的法向与该时刻光照方向之间的相对位置，以及该时刻所述法向与各个拍摄视角之间的相对位置；

根据获得的所述法向与该时刻光照方向之间的相对位置，以及所述法向与各个拍摄视角之间的相对位置，将高置信度区域中的各像素分别填充至自由视角光照传输矩阵。

8.如权利要求7所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，还包括：

利用所述目标物体表面各点的反射属性的局部平滑及低秩特性作为约束，对填充后的自由视角光照传输矩阵进行恢复以生成完整的所述目标物体的自由视角光照传输矩阵。

9.如权利要求8所述的基于自由视角光照传输矩阵的重光照方法，其特征在于，所述根据表面法向和所述自由视角光照传输矩阵对所述目标物体进行重光照操作，以生成重光照目标物体模型包括：

根据用户给定的光照环境，生成光照环境图，并将所述光照环境图表示为多种基光照环境图的线性叠加；

根据所述多种基光照环境图计算多种基光照条件，以及各个采集时刻所述目标物体表面各点的相对光源方向，并从所述自由视角光照传输矩阵中选择相应元素，以生成各个时刻对应的所述目标物体的基光照自由视角成像信息；

对所述各个基光照自由视角成像信息进行线性加权，以生成所述目标物体对应的重光照目标物体模型。