[发明专利]基于液晶微透镜阵列的点云三维重建方法及装置

权利要求书

1.一种基于液晶微透镜阵列的点云三维重建方法，其特征在于，包括以下步骤：

基于液晶微透镜阵列获得光场图像；

利用非周期性视角图提取方法从光场图像中获取子视角图；

利用MVSNet网络对子视角图进行深度估计；

利用生成的深度图和RGB图像生成稠密点云。

2.根据权利要求1所述的基于液晶微透镜阵列的点云三维重建方法，其特征在于，基于液晶微透镜阵列获得光场图像包括：

将液晶微透镜阵列置于主透镜和探测器单元CCD之间，同时记录光线的方向以及光辐射量；

将被测物置于主透镜前，并对液晶微透镜加入外加电场，采集被测物的光场图像。

3.根据权利要求1所述的基于液晶微透镜阵列的点云三维重建方法，其特征在于，利用非周期性视角图提取方法从光场图像中获取子视角图包括：

标定微透镜中心；

结合相似三角形的原理，得出每个微透镜的偏移量，根据偏移量以非周期方式提取像素元，获得属于该视点的视角图。

4.根据权利要求3所述的基于液晶微透镜阵列的点云三维重建方法，其特征在于，标定微透镜中心包括：

拍摄多张白图像，分别用高斯滤波进行去噪处理，然后获得均值，得到一张白图像；根据透镜中心汇聚光最强的原理计算白图像的中心坐标；

根据白图像中心坐标，获得视点位置，以及微透镜对应的像素区域。

5.根据权利要求1所述的基于液晶微透镜阵列的点云三维重建方法，其特征在于，利用MVSNet网络对子视角图进行深度估计包括：

从获取的子视角图中选定参考图，将参考图和其余子视角图输入至MVSNet网络，进行深度特征提取、构造匹配代价、代价累计以及深度估计，得到深度图。

6.根据权利要求5所述的基于液晶微透镜阵列的点云三维重建方法，其特征在于，得到深度图之后，对深度图进行深度图优化。

7.根据权利要求1所述的基于液晶微透镜阵列的点云三维重建方法，其特征在于，利用生成的深度图和RGB图像生成稠密点云包括：

深度图像的估计会生成一个概率图，表示像素在深度方向的概率；

设定一个深度阈值来过滤深度概率，若一个像素对应的深度概率低于这个阈值，点云融合时这个深度值被过滤，即该像素不会出现在点云中，最终得到场景的点云三维重建。

8.根据权利要求1所述的基于液晶微透镜阵列的点云三维重建方法，其特征在于，液晶微透镜包括上、中、下三层，上层依次为玻璃衬底、ITO膜、聚酰亚胺层，中层为液晶层，下层依次为聚酰亚胺层、ITO膜、玻璃衬底。

9.一种用于实现权利要求1至8中任意一项所述的基于液晶微透镜阵列的点云三维重建方法的基于液晶微透镜阵列的点云三维重建装置，其特征在于，包括：

光场图像单元，用于基于液晶微透镜阵列获得光场图像；

视图提取单元，用于利用非周期性视角图提取方法从光场图像中获取子视角图；

深度估计单元，用于利用MVSNet网络对子视角图进行深度估计；

点云生成单元，用于利用生成的深度图和RGB图像生成稠密点云。