[发明专利]一种运动恢复结构计算方法

说明书

一种运动恢复结构计算方法，包括以下步骤：从拍摄的视频中提取标准帧，标定相机内参；采用标定的相机内参拍摄场景视频，对所述场景视频进行采样，提取关键帧；将所述关键帧分组进行运动恢复结构计算；从每组关键帧中抽取代表帧，对代表帧进行运动恢复结构计算，根据计算结果标定每组关键帧；对每组关键帧进行优化，得到整个场景三维结构信息。本发明的运动恢复结构计算方法，使用分组合并的方式，大大提高了大规模运动恢复结构计算速度，节约计算资源。

技术领域

本发明涉及视频处理技术领域，尤其涉及一种运动恢复结构计算方法。

背景技术

运动恢复结构是一种从二维图像序列帧自动恢复出相机参数和场景三维结构的技术，广泛用于增强现实、三维重建、自动驾驶、机器人等领域。

现有的运动恢复结构计算方法分为两类：一类是将整个场景所有视角同时加入计算过程的全局运动恢复结构算法；一类是在计算过程中逐渐加入新的视角，每次加入后通过光束法平差的方法逐步优化，最终得到场景信息的算法。上述运动恢复结构计算方法是从图像数据中自动恢复出采集时的相机姿态、相机内参以及场景三维点云，计算时间复杂度随场景规模的平方成正比，因此对于大规模的场景，高效地计算运动恢复结构的问题是一个重要的难题。例如，

将场景中总视角数记为N，现有计算方法的时间复杂度均和N的平方成正比关系，在大规模的运动恢复结构计算问题中，耗时常常长达几天。对于高质量的三维重建，场景视角总数常可能多大上万甚至十万的数量级，在这种规模的问题里，以上两种方法耗时长，需要大量计算资源。

发明内容

为了解决现有技术存在的不足，本发明的目的在于提供一种运动恢复结构计算方法，利用相机采集的视频数据为输入，采样视频，抽出序列帧，分组进行结构恢复，最后合并分组，得到整个场景的三维结构，提高计算的速度，节约计算资源。

为实现上述目的，本发明提供的一种运动恢复结构计算方法，包括以下步骤：

从拍摄的视频中提取标准帧，标定相机内参；

采用标定的相机内参拍摄场景视频，对所述场景视频进行采样，提取关键帧；

将所述关键帧分组进行运动恢复结构计算；

从每组关键帧中抽取代表帧，对代表帧进行运动恢复结构计算，根据计算结果标定每组关键帧；

对每组关键帧进行优化，得到整个场景三维结构信息。

进一步的，所述从拍摄的视频中提取标准帧，标定相机内参的步骤，还包括，

调整相机设置，拍摄棋盘格标定视频；

从视频中提取关键帧，选取标准和拍摄标准保持一致，通过棋盘格标定法标定相机参数。

进一步的，所述采用标定的相机内参拍摄场景视频，对所述场景视频进行采样，提取关键帧的步骤，还包括，控制电机带动所述相机运动，根据所述电机参数设置，按角度采样抽取视频关键帧并存储。

进一步的，所述将所述关键帧分组，还包括，

将所述关键帧按照序列顺序，将相邻帧划分到同一组；

按顺序选择每组关键帧中相同位置的关键帧划分为一组。

进一步的，所述将所述关键帧分组进行运动恢复结构计算的步骤，还包括，

检测组内每张图像的特征点，对组内所有图像进行特征点匹配，得到二维图像特征点结构信息；

根据标定的相机参数和图像特征点匹配三角化得到初始场景三维点结构化信息，初始化相机三维位置，通过多视角几何过滤异常三维数据点；

采用运动恢复结构优化过滤后的场景三维结构及相机内外参数。