[发明专利]一种三维点云修复方法、装置及电子设备

说明书

本申请实施例提供了一种三维点云修复方法、装置及电子设备，方法包括：获取待修复三维点云；按照预设映射关系，对待修复三维点云进行UV展开，得到待修复UV图像；将待修复UV图像输入预先训练好的三维修复模型，得到修复后UV图像，三维修复模型为根据预设训练集对神经网络进行训练得到的模型，预设训练集包括样本完整UV图像和空洞掩模，样本完整UV图像为按照预设映射关系，对样本完整三维点云进行UV展开得到的UV图像，样本完整三维点云不存在空洞；按照预设映射关系，对修复后UV图像进行采样，得到待修复三维点云对应的完整三维点云。应用本申请实施例提供的技术方案，能够修复三维点云中的空洞，保证三维点云的有效性。

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种三维点云修复方法、装置及电子设备。

背景技术

目前，运用3D(Dimension，维)扫描仪对人体、人脸、人手或物体等数据进行采集时，受光照、环境的影响，采集到的3D数据往往会存在空洞缺失的部分，导致采集到的3D数据失效。

申请内容

本申请实施例的目的在于提供一种三维点云修复方法、装置及电子设备，以修复三维点云中的空洞，保证三维点云的有效性。具体技术方案如下：

第一方面，本申请实施例提供了一种三维点云修复方法，所述方法包括：

获取待修复三维点云；

按照预设映射关系，对所述待修复三维点云进行UV展开，得到待修复UV图像；

将所述待修复UV图像输入预先训练好的三维修复模型，得到修复后UV图像，所述三维修复模型为根据预设训练集对神经网络进行训练得到的模型，所述预设训练集包括样本完整UV图像和空洞掩模，所述样本完整UV图像为按照所述预设映射关系，对所述样本完整三维点云进行UV展开得到的UV图像，所述样本完整三维点云不存在空洞；

按照所述预设映射关系，对所述修复后UV图像进行采样，得到所述待修复三维点云对应的完整三维点云。

可选的，所述三维修复模型采用如下步骤训练得到：

获取所述预设训练集，所述预设训练集包括所述样本完整UV图像和所述空洞掩模；

将所述空洞掩模作用于所述样本完整UV图像，得到第一样本空洞UV图像；

将所述第一样本空洞UV图像输入神经网络，得到预测UV图像；

根据所述预测UV图像和所述样本完整UV图像，确定所述神经网络的损失值；

若根据所述损失值确定所述神经网络未收敛，则调整所述神经网络的参数，并重新执行所述将所述第一样本空洞UV图像输入神经网络，得到预测UV图像的步骤；

若根据所述损失值确定所述神经网络收敛，则结束训练，将所述神经网络作为三维修复模型。

可选的，所述获取所述预设训练集的步骤，包括：

获取样本空洞三维点云；按照所述预设映射关系，对所述样本空洞三维点云进行UV展开，得到第二样本空洞UV图像；提取所述第二样本空洞UV图像中未映射到三维点的区域，得到空洞掩模；和/或

获取样本完整三维点云；按照所述预设映射关系，对所述样本完整三维点云进行UV展开，得到样本完整UV图像。

可选的，所述根据所述预测UV图像和所述样本完整UV图像，确定所述神经网络的损失值的步骤，包括：

利用如下公式，确定所述神经网络的损失值：