[发明专利]基于液晶微透镜阵列的点云三维重建方法及装置

说明书

本发明公开了一种基于液晶微透镜阵列的点云三维重建方法及装置，该方法包括以下步骤：基于液晶微透镜阵列获得光场图像；利用非周期性视角图提取方法从光场图像中获取子视角图；利用MVSNet网络对子视角图进行深度估计；利用生成的深度图和RGB图像生成稠密点云。普通的光学透镜因其不可避免的畸变效应，会造成图像一定程度上的失真；而液晶在受到特定频率的光照时可以自发显著的变形，并且圆孔阵列中的液晶分子呈现折射率梯度渐变分布，会大大减少畸变效应；因此本发明结合液晶微透镜阵列获取场景的冗余信息，再通过深度学习的方法重建出三维场景，可以应用于增强现实、混合现实、机器人导航、自动驾驶等领域。

技术领域

本发明属于计算机视觉三维重建技术领域，具体涉及一种基于液晶微透镜阵列的点云三维重建方法及装置。

背景技术

三维重建作为环境感知的关键技术之一，已在多个领域中广泛应用，如自动驾驶、运动目标检测，以及虚拟现实等等。

近年来诞生出许许多多计算机视觉三维重建方法，根据采集设备是否主动发出信号，分为主动视觉三维重建和被动视觉三维重建。其中，主动视觉三维重建方法包括结构光法和激光扫描法；被动视觉三维重建采集的信息则来自于摄像机。

三维重建首先需要采集重建场景信息，将采集的单视图或多视图，对比图像进行分析，再结合计算机视觉知识重建三维场景。由于单视图的信息不完全，因此需要利用经验知识。而基于多视图的三维重建方法相对比较容易，其原理基于三角学，通常情况下，需要将相机进行标定，求解出摄像机的图像坐标系和世界坐标系之间的关系，并利用多视图的信息获取深度数据、预处理信息、点云配准融合、生成表面，从而重建出场景。

常见三维重建的表达方式有深度图、点云、体素和网格，其中点云数据是某个坐标系下的点集，点包含了丰富的三维信息，例如坐标、颜色、强度等等信息。点云数据的呈现将现实世界以原子化表示，每个重建的物体都由大小相同的原子堆叠，高精度的点云能够还原现实世界。

发明内容

本发明的目的在于，提供一种基于液晶微透镜阵列的点云三维重建方法及装置，基于液晶微透镜阵列重建出三维场景。

为实现上述目的，本发明提供了一种基于液晶微透镜阵列的点云三维重建方法，包括以下步骤：

基于液晶微透镜阵列获得光场图像；

利用非周期性视角图提取方法从光场图像中获取子视角图；

利用MVSNet网络对子视角图进行深度估计；

利用生成的深度图和RGB图像生成稠密点云。

在一些可选的实施方案中，基于液晶微透镜阵列获得光场图像包括：

将液晶微透镜阵列置于主透镜和探测器单元CCD之间，同时记录光线的方向以及光辐射量；

将被测物置于主透镜前，并对液晶微透镜加入外加电场，采集被测物的光场图像。

在一些可选的实施方案中，利用非周期性视角图提取方法从光场图像中获取子视角图包括：

标定微透镜中心；

结合相似三角形的原理，得出每个微透镜的偏移量，根据偏移量以非周期方式提取像素元，获得属于该视点的视角图。

在一些可选的实施方案中，标定微透镜中心包括：

拍摄多张白图像，分别用高斯滤波进行去噪处理，然后获得均值，得到一张白图像；根据透镜中心汇聚光最强的原理计算白图像的中心坐标；

根据白图像中心坐标，获得视点位置，以及微透镜对应的像素区域。

在一些可选的实施方案中，利用MVSNet网络对子视角图进行深度估计包括：