[发明专利]序列图像动态场景三维时变无约束重建方法及系统

说明书

本发明属于三维重建技术领域，特别涉及一种序列图像动态场景三维时变无约束重建方法及系统，对序列影像数据进行空间姿态恢复处理，获得带地理空间信息的图像数据；针对图像数据，通过语义识别和场景动态目标识别，将影像数据场景划分为静态背景和动态目标；采用多视立体匹配方法进行静态背景三维重建，为动态目标重建提供相容性约束；并通过粒子学习对动态目标完成时变重建。本发明能够仅需要外部输入序列影像数据，无需其他先验信息，即可实现对动态场景三维信息的感知，生成时变重建成果，便于三维时变重建的实际应用，具有较好的应用前景。

技术领域

本发明属于三维重建技术领域，特别涉及一种序列图像动态场景三维时变无约束重建方法及系统。

背景技术

三维重建技术研究不断向更深入的方向发展，三维重建的发展要不断的摆脱光照、场景、物体、摄像机等约束条件的束缚。动态场景三维时变重建是三维重建未来发展的一个重要的方向，但动态场景三维时变重建的理论以及技术方法还很不成熟。现实中完全静态的场景几乎是不存在的，因此研究利用普通的动态视频数据(手机、监控、无人机以及卫星等获取得的任意的动态场景视频数据)构建一种通用型的动态场景三维时变无约束重建方法，具有非常重要的现实意义和很强的科学意义。

发明内容

为此，本发明提供一种序列图像动态场景三维时变无约束重建方法及系统，能够仅需要外部输入序列影像数据，无需其他先验信息，即可实现对动态场景三维信息的感知，生成时变重建成果，便于三维时变重建的实际应用。

按照本发明所提供的设计方案，一种序列图像动态场景三维时变无约束重建方法，包含如下内容：

对序列影像数据进行空间姿态恢复处理，获得带地理空间信息的图像数据；

针对图像数据，通过语义识别和场景动态目标识别，将影像数据场景划分为静态背景和动态目标；

采用多视立体匹配方法进行静态背景三维重建，为动态目标重建提供相容性约束；并通过粒子学习对动态目标完成时变重建。

作为本发明序列图像动态场景三维时变无约束重建方法，进一步的，针对序列影像数据，采用不同的位移矢量组合通过灰度共生矩阵描述影像纹理特征；对灰度共生矩阵依次通过特征提取、自适应误差剔除及稳健平差进行图像数据空间姿态恢复处理。

作为本发明序列图像动态场景三维时变无约束重建方法，进一步地，特征提取中，依据点特征、线特征及面特征顺序依次进行特征提取匹配；并对所有特征提取匹配结果进行交叉验证，输出融合特征。

作为本发明序列图像动态场景三维时变无约束重建方法，进一步地，通过设定最小化虚警值，并利用随机抽样一致算法对特征匹配结果进行误差剔除；采用最小二乘法并利用稳健代价函数对数据进行稳健平差处理。

作为本发明序列图像动态场景三维时变无约束重建方法，进一步地，利用深度学习网络对图像数据进行语义分割，并生成掩码和边界框，得到物体类别和语义信息；寻找影像中动态特征点，将动态特征点与语义信息相融合来查找动态物体，将影像数据场景划分为静态背景和动态目标。

作为本发明序列图像动态场景三维时变无约束重建方法，进一步地，多视立体匹配的三维重建中，采用颜色与梯度混合匹配，将语义识别中的图像分割信息添加至能量函数中，并利用场景动态目标识别中特征提取匹配的同名像素点作为控制点来强制使动态规划路径经过该像素点，以纠正错误匹配路径；将多条一维路径拟合二维路径来解算能量函数；利用几何一致性将各帧关联，并通过颜色一致性和几何一致性约束对视差估计进行优化。

作为本发明序列图像动态场景三维时变无约束重建方法，进一步地，动态目标重建中，依据参考图像和源图像共同可见特征选择关键帧进行视差估计；并依据视差一致性检验项、同名像点符合度及根据视差值惩罚像素的惩罚项来设置非动态目标区每个像素的置信度。