[发明专利]一种基于立方体模板的神经网络编码解码方法及系统

说明书

本发明公开了一种基于立方体模板的神经网络编码解码方法及系统，包括确定所需要的数据集作为输入点云数据，数据集为单类别或多类别的点云数据，点云数据为矩阵形式；获得矩阵形式的点云数据的逐点局部几何特征；对局部几何特征以及输入点云数据进行统一角度的旋转实现数据增强；将增强后不同长度的点云数据编码成统一大小的隐藏编码向量；将统一大小的隐藏编码向量基于立方体模板解码成与输入点云接近的输出点云。本发明直接基于点云数据的真实采样机制，能够有效地对点云格式数据进行编码，并从隐藏编码中解码出与编码前数据接近的点云，减少信息损失。

技术领域

本发明涉及图像处理领域，具体涉及一种基于立方体模板的神经网络编码解码方法及系统。

背景技术

深度学习是一类受启发于生理学神经网络传播机制的、在计算机中利用人工神经网络构造解决各类问题的技术统称。随着相关理论的发展以及计算机硬件技术的进步，深度学习也逐渐延伸至传统计算机三维图形学的领域。

计算机三维图形学主要研究的是采样或模拟真实世界物体数据，并将其在计算机虚拟空间中重新构建并可视化的方法。传统三维图形学中的一些经典问题，如物体分类、语义分割、三维配准、模型自动生成和曲面网格重建等，受益于深度学习的发展，也有了新的解决路径。而该领域中的点云格式数据，区别于网格表面、体素以及多视角图片等类型，由于其通常直接采样于真实世界，而且具有简单统一的矩阵形式，近年来成为了三维深度学习常用的数据格式。

目前已经出现了基于点云格式数据的三维深度学习，但其中较多都是判别式模型，生成式相关的研究较少，且效果不佳，如何将传统图像生成式深度学习的方法引入至该平行领域成为了一个具有挑战性的问题。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种基于立方体模板的神经网络编码解码方法及系统。

本发明主要采用如下技术方案：

一种基于立方体模板的神经网络编码解码方法，包括：

确定所需要的数据集作为输入点云数据，数据集为单类别或多类别的点云数据，点云数据为矩阵形式；

获得矩阵形式的点云数据的逐点局部几何特征；

对局部几何特征以及输入点云数据进行统一角度的旋转实现数据增强；

将增强后不同长度的点云数据编码成统一大小的隐藏编码向量；

将统一大小的隐藏编码向量基于立方体模板解码成与输入点云接近的输出点云。

进一步，所述获得矩阵形式点云数据的逐点局部几何特征，具体包括如下；

首先构建点云逐点近邻索引，并将其拼接为近邻索引矩阵；

然后基于近邻索引矩阵得到点的局部中心化协方差矩阵进行特征值和特征向量提取，利用得到三个长度为3的特征向量拼接成向量几何特征，利用最小特征值对应特征向量计算法向量平均夹角距离的标量几何特征，利用三个标量几何特征近似计算曲率标量几何特征，然后基于近邻索引矩阵得到点与近邻点的平均距离标量几何特征即是逐点局部几何特征。

进一步，所述构建点云逐点近邻索引，具体是是结合k近邻方法与欧氏距离方法，将点云数据中每个点的近邻点索引集合。

进一步，所述将点云逐点近邻索引拼接为近邻索引矩阵，具体是由一个点云数据中所有点的近邻索引集合向量化拼接而成，维度大小为N×k，N为点云中点的个数，k为预先设定的k近邻参数值。

进一步，所述将统一大小的隐藏编码向量基于立方体模板解码成与输入点云接近的输出点云，具体包括：

立方体模板与隐藏编码向量进行通道拼接得到拼接后的矩阵步骤；

对拼接后的矩阵进行解码步骤。