[发明专利]一种端到端的点云深度学习网络模型和训练方法

说明书

一种端到端的点云深度学习网络模型和训练方法，可同时定位不同尺度人脸上的标识点，网络的定位精度好，定位速度快。网络模型，为类卷积神经网络CNN的深度学习网络结构，包括：(1)该网络从输入点云逐级降采样得到一系列采样点集，并使用点分布特征提取器逐级提取每个采样点集中采样点的邻域点云的点分布特征，采样点的邻域点云的点分布特征逐级抽象且空间感受野逐级扩大；(2)从采样点集中选取部分点集，并将这些采样点集中所有的采样点称为监测点，使用这些监测点对标识点进行定位；(3)对每个监测点位于不同标识点邻域的概率以及与不同的标识点的偏移量进行预测。

技术领域

本发明涉及点云图像处理和深度学习的技术领域，尤其涉及一种端到端的点云深度学习网络模型，以及一种端到端的点云深度学习的训练方法。

背景技术

三维图像是一种特殊的信息表达形式，其特征是表达的空间中三个维度的数据，表现形式包括：深度图(以灰度表达物体与相机的距离)，几何模型(由CAD软件建立)，点云模型(所有逆向工程设备都将物体采样成点云)。和二维图像相比，三维图像借助第三个维度的信息，可以实现天然的物体——背景解耦。点云数据是最为常见也是最基础的三维模型。点云模型往往由测量直接得到，每个点对应一个测量点，未经过其他处理手段，故包含了最大的信息量。这些信息隐藏在点云中需要以其他提取手段将其萃取出来，提取点云中信息的过程则为三维图像处理。

点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”(PointCloud)。

点云中标识点的快速精准定位在身份识别、3D模型分割、3D模型检索等领域均有非常重要的应用，其中3D人脸点云中的标识点的自动定位在人脸识别、表情识别、头部位姿识别、头部运动估计、头部点云稠密匹配、嘴唇形状分析、头部手术以及疾病诊断等方面均有十分重要应用。

但是，目前的技术不能同时保证算法的精度与速度，速度较快的算法精度较低，而精度较高的算法速度较慢，无法满足对精度和速度同时要求较高的应用。

发明内容

为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种端到端的点云深度学习网络模型，可同时定位不同尺度人脸上的标识点，网络的定位精度高，定位速度快。

本发明的技术方案是：这种端到端的点云深度学习网络模型，其为类卷积神经网络CNN的深度学习网络结构，其包括以下步骤：

(1)该网络从输入点云逐级降采样得到一系列采样点集，并使用点分布特征提取器逐级提取每个采样点集中采样点的邻域点云的点分布特征，采样点的邻域点云的点分布特征逐级抽象且空间感受野逐级扩大；

(2)从采样点集中选取部分点集，并将这些采样点集中的所有的采样点称为监测点，使用这些监测点对标识点进行定位；

(3)对每个监测点位于不同标识点邻域的概率以及与不同的标识点的偏移量进行预测。

本发明使用点分布特征提取器提取采样点的邻域点云分布特征，点的邻域点分布特征逐级抽象且空间感受野逐级扩大，从而能够表达不同空间范围内点的分布特征，本发明使用多个具有不同空间感受野的监测点集，使网络能够同时定位不同尺度人脸上的标识点；本网络使用端到端的训练机制，因此可使网络取得比较高的定位精度，由于算法消耗时间为点云在网络的前向传播的耗时，经过轻量型设计，算法耗时较短且较稳定。

还提供了一种端到端的点云深度学习网络模型的训练方法，其将每个监测点与多个标识点进行匹配，只要监测点与某个标识点是邻近的，便将此标识点与监测点进行匹配，使用每个监测点的特征对与它匹配的标识点的位置进行预测，将点云中标识点的定位问题转化成一个多标签预测及回归的问题。

附图说明

图1是Landmark Net的结构及其应用在一个具有正常尺度人脸点集上的应用流程图。