[发明专利]一种三维点云修复方法、装置及电子设备

权利要求书

1.一种三维点云修复方法，其特征在于，所述方法包括：

获取待修复三维点云；

按照预设映射关系，对所述待修复三维点云进行UV展开，得到待修复UV图像；

将所述待修复UV图像输入预先训练好的三维修复模型，得到修复后UV图像，所述三维修复模型为根据预设训练集对神经网络进行训练得到的模型，所述预设训练集包括样本完整UV图像和空洞掩模，所述样本完整UV图像为按照所述预设映射关系，对所述样本完整三维点云进行UV展开得到的UV图像，所述样本完整三维点云不存在空洞；

按照所述预设映射关系，对所述修复后UV图像进行采样，得到所述待修复三维点云对应的完整三维点云。

2.根据权利要求1所述的方法，其特征在于，所述三维修复模型采用如下步骤训练得到：

获取所述预设训练集，所述预设训练集包括所述样本完整UV图像和所述空洞掩模；

将所述空洞掩模作用于所述样本完整UV图像，得到第一样本空洞UV图像；

将所述第一样本空洞UV图像输入神经网络，得到预测UV图像；

根据所述预测UV图像和所述样本完整UV图像，确定所述神经网络的损失值；

若根据所述损失值确定所述神经网络未收敛，则调整所述神经网络的参数，并重新执行所述将所述第一样本空洞UV图像输入神经网络，得到预测UV图像的步骤；

若根据所述损失值确定所述神经网络收敛，则结束训练，将所述神经网络作为三维修复模型。

3.根据权利要求2所述的方法，其特征在于，所述获取所述预设训练集的步骤，包括：

获取样本空洞三维点云；按照所述预设映射关系，对所述样本空洞三维点云进行UV展开，得到第二样本空洞UV图像；提取所述第二样本空洞UV图像中未映射到三维点的区域，得到空洞掩模；和/或

获取样本完整三维点云；按照所述预设映射关系，对所述样本完整三维点云进行UV展开，得到样本完整UV图像。

4.根据权利要求2所述的方法，其特征在于，所述根据所述预测UV图像和所述样本完整UV图像，确定所述神经网络的损失值的步骤，包括：

利用如下公式，确定所述神经网络的损失值：

其中，L_sr表示所述神经网络的损失值，I_UV表示所述预测UV图像，表示所述样本完整UV图像，f_s(x,y)表示利用x对y进行采样，R表示所述预设映射关系。

5.一种三维点云修复装置，其特征在于，所述装置包括：

获取单元，用于获取待修复三维点云；

映射单元，用于按照预设映射关系，对所述待修复三维点云进行UV展开，得到待修复UV图像；

修复单元，用于将所述待修复UV图像输入预先训练好的三维修复模型，得到修复后UV图像，所述三维修复模型为根据预设训练集对神经网络进行训练得到的模型，所述预设训练集包括样本完整UV图像和空洞掩模，所述样本完整UV图像为按照所述预设映射关系，对所述样本完整三维点云进行UV展开得到的UV图像，所述样本完整三维点云不存在空洞；

采样单元，用于按照所述预设映射关系，对所述修复后UV图像进行采样，得到所述待修复三维点云对应的完整三维点云。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括训练单元，用于训练得到所述三维修复模型，所述训练单元包括：

获取子单元，用于获取所述预设训练集，所述预设训练集包括所述样本完整UV图像和所述空洞掩模；

作用子单元，用于将所述空洞掩模作用于所述样本完整UV图像，得到第一样本空洞UV图像；

预测子单元，用于将所述第一样本空洞UV图像输入神经网络，得到预测UV图像；

确定子单元，用于根据所述预测UV图像和所述样本完整UV图像，确定所述神经网络的损失值；

处理子单元，用于若根据所述损失值确定所述神经网络未收敛，则调整所述神经网络的参数，并重新执行所述将所述第一样本空洞UV图像输入神经网络，得到预测UV图像的步骤；若根据所述损失值确定所述神经网络收敛，则结束训练，将所述神经网络作为三维修复模型。