[发明专利]基于注意力机制的单幅图像到三维点云模型重建方法及系统

权利要求书

1.一种基于注意力机制的单幅图像到三维点云模型重建方法，其特征是：包括以下步骤：

对待处理图像进行特征提取，得到图像全局特征向量和图像局部特征矩阵；

利用一模型特征转换网络对图像全局特征向量进行处理，得到初始的稀疏点云模型特征，并生成点云模型；

根据当前点云模型特征和图像局部特征矩阵，引入注意力机制，计算当前点云模型中每个子区域的图像关联特征矩阵；

利用下一模型特征转换网络对当前点云模型特征和对应的图像关联特征矩阵进行处理，生成优化后的点云模型；

重复上述优化过程，依次轮询每一个模型特征转换网络，得到最终的稠密点云模型；

具体地，所述模型特征转换网络有多个，依次级联，结合图像局部特征嵌入和图像再生成对齐约束，形成基于注意力机制的多阶段点云模型重建框架；

所述基于注意力机制的多阶段点云模型重建框架中有多个生成器，每个生成器的输入为隐藏层特征，每个生成器都配置有一个判别器；

所述基于注意力机制的多阶段点云模型重建框架的目标函数为：

其中，λ是用于平衡损失的超参数，为生成对抗损失项，为语义对齐损失函数，m表示生成器的个数；

所述生成对抗损失项为：

其中，为无条件损失，为条件损失，D_i(·)为判别器，为第i个生成器输出的点云模型，为图像的全局特征向量；

所述语义对齐损失函数为：

其中，j表示训练样本的索引号，表示重建点云样本，表示真实点云样本，表示重建点云样本与真实点云样本之间的距离；是使用Euclidean distance作为图像点云再生图像之间距离的度量，表示图像模型空间中的模型特征向量。

2.如权利要求1所述的一种基于注意力机制的单幅图像到三维点云模型重建方法，其特征是：对待处理图像进行特征提取的具体过程包括利用卷积神经网络对图像进行编码，得到图像全局特征向量和图像局部特征矩阵。

3.如权利要求1所述的一种基于注意力机制的单幅图像到三维点云模型重建方法，其特征是：计算当前点云模型中每个子区域的图像关联特征矩阵的具体过程包括：根据当前点云模型特征计算当前点云模型每个子区域的图像关联特征矩阵，当前点云模型特征中的每一列向量表示模型的一个子区域，对于生成点云模型中的任意一个子区域，用所有图像关联特征向量进行表示。

4.一种基于注意力机制的单幅图像到三维点云模型重建系统，其特征是：包括：

图像特征提取模块，被配置为对待处理图像进行特征提取，得到图像全局特征向量和图像局部特征矩阵；

点云模型预重建模块，利用一模型特征转换网络对图像全局特征向量进行处理，得到初始的稀疏点云模型特征，并生成点云模型；

点云模型优化模块，被配置为根据当前点云模型特征和图像局部特征矩阵，引入注意力机制，计算当前点云模型中每个子区域的图像关联特征矩阵，利用下一模型特征转换网络对当前点云模型特征和对应的图像关联特征矩阵进行处理，生成优化后的点云模型；

点云模型重建模块，被配置为依次轮询每一个模型特征转换网络，得到最终的稠密点云模型；

具体地，所述模型特征转换网络有多个，依次级联，结合图像局部特征嵌入和图像再生成对齐约束，形成基于注意力机制的多阶段点云模型重建框架；

所述基于注意力机制的多阶段点云模型重建框架中有多个生成器，每个生成器的输入为隐藏层特征，每个生成器都配置有一个判别器；

所述基于注意力机制的多阶段点云模型重建框架的目标函数为：

其中，λ是用于平衡损失的超参数，为生成对抗损失项，为语义对齐损失函数，m表示生成器的个数；

所述生成对抗损失项为：

其中，为无条件损失，为条件损失，D_i(·)为判别器，为第i个生成器输出的点云模型，为图像的全局特征向量；

所述语义对齐损失函数为：

其中，j表示训练样本的索引号，表示重建点云样本，表示真实点云样本，表示重建点云样本与真实点云样本之间的距离；是使用Euclidean distance作为图像点云再生图像之间距离的度量，表示图像模型空间中的模型特征向量。