[发明专利]关键帧图像的采集方法、装置、系统和三维重建方法

说明书

本公开涉及一种关键帧图像的采集方法、装置、系统和三维重建方法，涉及计算机技术领域。该采集方法包括：根据图像获取设备在当前拍摄位置获取的目标物体的多帧深度图像和图像获取设备的内部参数，确定目标物体的点云数据；根据目标物体的点云数据的位置信息、图像获取设备的内部参数和在当前拍摄位置的外部参数，建立能够包围目标物体的三维模型，三维模型的表面被划分为多个网格，每一个网格对应一个拍摄位置；根据各拍摄位置对应的网格、在各拍摄位置获取的多帧深度图像的拍摄位置和拍摄方向，在各拍摄位置的多帧深度图像中确定目标物体在相应的拍摄位置的关键帧图像。

技术领域

本公开涉及计算机技术领域，特别涉及一种关键帧图像的采集方法、关键帧图像的采集装置、关键帧图像的采集系统、关键帧图像的三维重建方法、关键帧图像的三维重建装置和非易失性计算机可读存储介质。

背景技术

三维重建技术是计算机图像学和计算机视觉领域的一个研究热点。在消费级的深度相机出现之前，三维重建的输入数据通常只有RGB(Red Green Blue，红绿蓝)图像。基于一系列不同角度拍摄的RGB图像，通过立体视觉算法恢复出物体的三维模型。这些RGB图像就是三维重建依赖的关键帧。为了准确完整地重建出物体的3D模型，关键帧覆盖的角度必须要全，且关键帧也不能太模糊。

随着各种消费级深度摄像头的出现，基于深度相机的三维重建技术得到了快速发展。借助深度相机采集的深度图像，可以快速恢复出物体的三维模型。为了还原三维模型的真实感，还需要通过纹理映射还原物体的真实纹理。纹理映射依赖于一系列覆盖三维模型各个角度的关键帧。

因此，不管采用哪种三维重建技术，要想获得高质量的三维模型，覆盖角度全面且足够清晰的关键帧是必不可少的。

在相关技术中，可以根据各帧图像的时间间隔和模糊程度进行时间采样，以选取各角度关键帧图像；也可以围绕目标物体架设多台相机，以获取各角度的关键帧图像。

发明内容

本公开的发明人发现上述相关技术中存在如下问题：关键帧图像覆盖的拍摄角度不全面，导致关键帧图像采集的质量下降；或者获取完整角度的关键帧图像的成本过高。

鉴于此，本公开提出了一种关键帧图像的采集技术方案，在不增加成本的情况下，能够采集完整拍摄角度的关键帧图像，从而提高关键帧图像的采集质量。

根据本公开的一些实施例，提供了一种关键帧图像的采集方法，包括：根据图像获取设备在当前拍摄位置获取的目标物体的多帧深度图像和图像获取设备的内部参数，确定目标物体的点云数据；根据目标物体的点云数据的位置信息、图像获取设备的内部参数和在当前拍摄位置的外部参数，建立能够包围目标物体的三维模型，三维模型的表面被划分为多个网格，每一个网格对应一个拍摄位置；根据各拍摄位置对应的网格、在各拍摄位置获取的多帧深度图像的拍摄位置和拍摄方向，在各拍摄位置的多帧深度图像中确定目标物体在相应的拍摄位置的关键帧图像。

在一些实施例中，建立能够包围目标物体的三维模型包括：根据图像获取设备的内部参数，计算三维模型从三维坐标系到二维坐标系的投影矩阵；根据投影矩阵、各网格的顶点的位置信息、图像获取设备在各网格对应的拍摄位置的外部参数，建立三维模型。

在一些实施例中，建立能够包围目标物体的三维模型包括：根据目标物体的点云数据进行平面拟合，确定目标物体所在的平面；根据目标物体在平面上的位置，建立三维模型。

在一些实施例中，根据目标物体在平面模型上的位置，建立三维模型包括：根据目标物体在平面模型上的位置，确定圆心位置；根据圆心位置，在平面模型上建立三维半球模型作为三维模型。