[发明专利]一种三维场景的重建方法和电子设备

权利要求书

1.一种三维场景的重建方法，其特征在于，包括：

电子设备从图像序列中选取第一帧图像以及第二帧图像；所述图像序列中包括所述电子设备拍摄三维场景时得到的N帧图像；

所述电子设备基于所述第一帧图像以及第二帧图像中匹配的特征点确定三维场景、第一帧图像的位姿和第二帧图像的位姿；其中，一帧图像的位姿包括所述电子设备的摄像机在获取这一帧图像时相对于世界坐标系的旋转以及平移；

所述电子设备基于第M帧图像中的第一类特征点以及所述第一类特征点在所述三维场景中对应的三维点确定所述第M帧图像的位姿；基于所述第M帧图像的位姿确定所述第M帧图像中的第二类特征点对应的三维点以更新所述三维场景，得到更新后的三维场景；所述第一类特征点为所述第M帧图像中满足第一条件的特征点，所述满足第一条件为第一已注册图像中有第三特征点与所述第一类特征点匹配且所述第三特征点在所述三维场景中有对应的三维点；所述第一已注册图像为已注册图像中一帧图像；所述第一类特征点在所述三维场景中对应的三维点为所述第三特征点对应的三维点；所述三维场景包括三维点集合；其中，所述已注册图像包括参与三维场景确定以及更新的部分或者全部图像；所述第M帧图像为所述图像序列中未注册图像中的一帧图像；所述第二类特征点为所述第M帧图像中满足第二条件的特征点，所述满足第二条件为所述第一已注册图像中有第四特征点与所述第二类特征点匹配且所述第四特征点在所述三维场景中没有对应的三维点；

所述电子设备基于所述第M帧图像的实时位姿对所述更新后的三维场景进行验证，去除所述更新后的三维场景中的错误三维点以更新所述更新后的三维场景；所述错误三维点为所述第M帧图像的特征点对应的三维点中的部分或全部；所述第M帧图像的实时位姿包括在拍摄所述第M帧图像时与拍摄所述第M帧图像的相邻帧图像时所述摄像机的旋转以及平移；

在所述电子设备确定所述N帧图像都参与了三维场景确定以及更新的情况下，所述电子设备得到重建后的三维场景。

2.根据权利要求1所述的方法，其特征在于，所述电子设备得到重建后的三维场景之后，所述方法还包括：

所述电子设备结合所述N帧图像与所述重建后的三维场景之间的重投影误差之和以及N-1组相邻两帧图像的相对位姿以及相对实时位姿对所述重建后的三维场景进行优化，得到优化后的三维场景；其中，所述N-1组相邻两帧图像为所述图像序列中第一帧图像到第N帧图像间每相邻两帧图像间进行结合所得到的；所述相邻两帧图像的相对位姿为所述相邻两帧图像的位姿变化关系；所述相邻两帧图像的相对实时位姿为所述相邻两帧图像的实时位姿变化关系；

所述电子设备将所述优化后的三维场景作为重建后的三维场景。

3.根据权利要求2所述的方法，其特征在于，所述电子设备基于所述第一帧图像以及第二帧图像中匹配的特征点确定三维场景、第一帧图像的位姿和第二帧图像的位姿，具体包括：

将所述第一帧图像的摄像机坐标系作为所述世界坐标系，所述电子设备确定所述第一帧图像的位姿中的各参数为0；所述第一帧图像的位姿中的各参数为0表示所述摄像机在获取所述第一帧图像时相对于所述世界坐标系没有旋转以及平移；

基于所述第一帧图像以及第二帧图像中匹配的特征点以及所述第一帧图像的位姿，确定所述第二帧图像的位姿以及三维场景。