[发明专利]基于图像序列的三维模型生成方法、装置、设备及介质

权利要求书

1.一种基于图像序列的三维模型生成方法，其特征在于，包括：

获取物体的多张不同角度图像，作为目标图像；

通过对所述目标图像进行特征提取以及特征匹配处理，得到物体稀疏点云信息，并对所述物体稀疏点云信息进行重建处理，得到第一稀疏点云信息；

获取所述目标图像的分割掩膜，并基于所述分割掩膜对所述目标图像进行前景分割处理，得到第二稀疏点云信息；

将所述第一稀疏点云信息及所述第二稀疏点云信息进行点云筛选，得到物体区域点云；

通过对物体区域点云进行重构处理，得到物体的三维图模型。

2.根据权利要求1所述的基于图像序列的三维模型生成方法，其特征在于，所述通过对所述目标图像进行特征提取以及特征匹配处理，得到物体稀疏点云信息，并对所述物体稀疏点云信息进行重建处理，得到第一稀疏点云信息，包括：

针对每一张所述目标图像，通过对所述目标图像进行尺度不变特征变换的特征提取，得到每一张所述目标图像的图像特征；

将多张所述目标图像的图像特征进行特征匹配处理，得到所述物体稀疏点云信息；

采用增量式的运动结构恢复算法对所述物体稀疏点云信息进行重建处理，得到所述第一稀疏点云信息。

3.根据权利要求2所述的基于图像序列的三维模型生成方法，其特征在于，所述针对每一张所述目标图像，通过对所述目标图像进行尺度不变特征变换的特征提取，得到每一张所述目标图像的图像特征，包括：

针对每一张所述目标图像，提取所述目标图像的关键点，得到目标关键点；

通过对所述目标关键点进行定位以及确定特征方向，得到关键点的特征向量；

匹配所述关键点的特征向量，以使得对所述目标图像进行尺度不变特征变换的特征提取，得到每一张所述目标图像的图像特征。

4.根据权利要求1所述的基于图像序列的三维模型生成方法，其特征在于，所述获取所述目标图像的分割掩膜，并基于所述分割掩膜对所述目标图像进行前景分割处理，得到第二稀疏点云信息，包括：

采用前景分割算法，识别出所述目标图像中的物体信息，以获取所述分割掩膜；

基于所述分割掩膜，将所述物体从所述目标图像中进行前景分割处理，得到所述第二稀疏点云信息。

5.根据权利要求1所述的基于图像序列的三维模型生成方法，其特征在于，所述将所述第一稀疏点云信息及所述第二稀疏点云信息进行点云筛选，得到物体区域点云，包括：

获取所述第一稀疏点云信息及所述第二稀疏点云信息中点云的映射关系，其中，所述映射关系为二维物体点云与三维物体点云之间的映射联系；

基于所述映射关系，将所述第一稀疏点云信息及所述第二稀疏点云信息进行点云筛选，以提取出所述目标图像中物体区域的点云，得到所述物体区域点云。

6.根据权利要求1至5任一项所述的基于图像序列的三维模型生成方法，其特征在于，所述通过对物体区域点云进行重构处理，得到物体的三维图模型，包括：

采用半全局匹配算法，对所述物体区域点云进行深度图估计处理，得到物体稠密点云；

通过对所述物体稠密点云进行网格化和纹理映射处理，得到所述物体的三维图模型。

7.一种基于图像序列的三维模型生成装置，其特征在于，包括：

目标图像获取模块，用于获取物体的多张不同角度图像，作为目标图像；

第一稀疏点云信息获取模块，用于通过对所述目标图像进行特征提取以及特征匹配处理，得到物体稀疏点云信息，并对所述物体稀疏点云信息进行重建处理，得到第一稀疏点云信息；

第二稀疏点云信息获取模块，用于获取所述目标图像的分割掩膜，并基于所述分割掩膜对所述目标图像进行前景分割处理，得到第二稀疏点云信息；

物体区域点云生成模块，用于将所述第一稀疏点云信息及所述第二稀疏点云信息进行点云筛选，得到物体区域点云；

三维图模型生成模块，用于通过对物体区域点云进行重构处理，得到物体的三维图模型。