[发明专利]序列图像动态场景三维时变无约束重建方法及系统

权利要求书

1.一种序列图像动态场景三维时变无约束重建方法，其特征在于，包含如下内容：

对序列影像数据进行空间姿态恢复处理，获得带地理空间信息的图像数据；

针对图像数据，通过语义识别和场景动态目标识别，将影像数据场景划分为静态背景和动态目标；

采用多视立体匹配方法进行静态背景三维重建，为动态目标重建提供相容性约束；并通过粒子学习对动态目标完成时变重建；

针对序列影像数据，采用不同的位移矢量组合通过灰度共生矩阵描述影像纹理特征；对灰度共生矩阵依次通过特征提取、自适应误差剔除及稳健平差进行图像数据空间姿态恢复处理；

特征提取中，依据点特征、线特征及面特征顺序依次进行特征提取匹配；并对所有特征提取匹配结果进行交叉验证，输出融合特征；

动态目标重建中，依据参考图像和源图像共同可见特征选择关键帧进行视差估计；并依据视差一致性检验项、同名像点符合度及根据视差值惩罚像素的惩罚项来设置非动态目标区每个像素的置信度；

通过设定最小化虚警值，并利用随机抽样一致算法对特征匹配结果进行误差剔除；采用最小二乘法并利用稳健代价函数对数据进行稳健平差处理；

关键帧选择中，对于任意一个参考图像I^r采用公式s＝arg_jmax d^rjo^rj从源图像I^s中寻找第s帧，其中，d^rj表示参考图像I^r和源图像I^j相机中心位置的L₂范数，o^rj代表参考图像I^r和源图像I^j两者共同可见特征，且表示为V^r为在参考图像I^r中可见特征，V^j为在源图像I^j中可见特征；

置信度设置中，对于非动态目标区的每一个像素p，其置信度表示为C(p)＝C_lr(p)C_ep(p)C_pa(p)，其中，C_lr为视差一致性检验项，C_ep代表同名像点极线符合度，C_pa为根据视差值惩罚像素的惩罚项。

2.根据权利要求1所述的序列图像动态场景三维时变无约束重建方法，其特征在于，利用深度学习网络对图像数据进行语义分割，并生成掩码和边界框，得到物体类别和语义信息；寻找影像中动态特征点，将动态特征点与语义信息相融合来查找动态物体，将影像数据场景划分为静态背景和动态目标。

3.根据权利要求1所述的序列图像动态场景三维时变无约束重建方法，其特征在于，多视立体匹配的三维重建中，采用颜色与梯度混合匹配，将语义识别中的图像分割信息添加至能量函数中，并利用场景动态目标识别中特征提取匹配的同名像素点作为控制点来强制使动态规划路径经过该像素点，以纠正错误匹配路径；将多条一维路径拟合二维路径来解算能量函数；利用几何一致性将各帧关联，并通过颜色一致性和几何一致性约束对视差估计进行优化。

4.根据权利要求1所述的序列图像动态场景三维时变无约束重建方法，其特征在于，动态目标重建中，设定时间间隔上点的连续三维轨迹，连续三维轨迹的起点和终点，及用于描述三维轨迹每个时空点的速度；依据点的连续三维轨迹及每个时空点的速度来获取两者之间的微分方程，通过该微分方程获取用于描述起点在任意时刻速度矢量场的前向流，对前向流进行逆变换获取其跨时空对应关系的反向流；利用占用函数向每个三维点赋予占用率值，并通过神经网络对占用函数和速度进行参数化，将动态目标的时变重建转换为对占用网络参数和速度网络参数的求解。

5.根据权利要求4所述的序列图像动态场景三维时变无约束重建方法，其特征在于，粒子学习中，依据反向流及三维点在时间上的预测占用度，利用四维空间提取的样本数据并通过最小化在时间上的预测占有率和三维点的观测占用率之间的二进制交叉熵误差对占用网络和速度网络进行训练学习；将训练学习后的占用网络和速度网络用于时变重建。

6.一种序列图像动态场景三维时变无约束重建系统，其特征在于，基于权利要求1所述的方法实现，包含：数据恢复模块、图像识别模块和图像重建模块，其中，

数据恢复模块，用于对序列影像数据进行空间姿态恢复处理，获得带地理信息的图像数据；

图像识别模块，用于针对图像数据，通过语义识别和场景动态目标识别，将影像数据场景划分为静态背景和动态目标；

图像重建模块，用于采用多视立体匹配方法进行静态背景三维重建，为动态目标重建提供相容性约束；并通过粒子学习对动态目标完成时变重建。