[发明专利]一种静态物体重建方法和系统

说明书

技术领域

本发明涉及图形图像处理技术领域，特别涉及静态物体重建方法和系统。

背景技术

物体重建在计算机图形学和计算机视觉领域有很多应用，比如电影特效，三维立体图形(Three Dimensions，3D)游戏，虚拟现实和人机交互等等。大部分重建系统能够重建出细节化的三维模型，这些重建系统主要是利用多个同步摄像机或者三维扫描设备(比如激光和结构光相机)采集物体的信息，然后进行建模，但是昂贵的设备，复杂而繁琐的用户交互接口，大大限制了这些重建系统的应用。自从微软推出Kinect深度相机，由于价格便宜和易操作的特性，由其衍生的RGB-D相机开始被广泛应用在物体建模相关的研究上。

具体地，RGB-D相机会采集物体的二维图像信息和深度信息，然后重建系统再根据二维图像和深度信息进行建模，但是当RGB-D相机采集的深度信息丢失，会导致静态物体的重建失败。

发明内容

本发明实施例提供静态物体重建方法和系统，实现了当深度相机采集的深度数据丢失时，可以实现静态物体的重建。

本发明实施例第一方面提供一种静态物体重建方法，包括：

分别获取静态物体的当前帧图像中的三维特征点和二维特征点；

将所述三维特征点与参考特征点进行匹配，计算所述当前帧图像的相机外参，其中，所述参考特征点是所述静态物体的多个帧图像上的特征点累积形成的；

如果基于所述三维特征点计算所述当前帧图像的相机外参时，未在预置的时间内得到所述相机外参，则将所述二维特征点，与所述参考特征点中三维特征点匹配，或与所述静态物体的当前帧图像的前一帧图像中的二维特征点进行匹配，计算所述当前帧图像的相机外参；

通过所述计算的相机外参，将所述当前帧图像的点云转换到所述参考特征点组成的参考坐标系下，以对所述静态物体进行建模。

本发明实施例第一方面的第一种可能实现方式中，所述将所述三维特征点与参考特征点进行匹配，计算所述当前帧图像的相机外参，具体包括：

在所述参考特征点中，选择与所述当前帧图像的三维特征点距离最近的多个候选对应点；

选取所述当前帧图像的所有三维特征点中部分三维特征点分别对应的候选对应点；

根据所述部分三维特征点分别对应的候选对应点，计算模型参数；

对所述计算的模型参数对应模型进行评分；

循环执行所述选取候选对应点、计算模型参数和评分的步骤，并将评分最高的模型的模型参数作为所述当前帧图像的相机外参，其中：

如果在所述循环中连续K_s次选取的所述部分三维特征点与候选对应点包含异常对应的概率小于预置的值，或所述循环步骤的次数超过预置的值，或执行所述循环步骤的时间超过预置的值，则停止执行所述选取候选对应点、计算模型参数和评分的循环步骤。

结合本发明实施例第一方面的第一种可能实现方式，在本发明实施例第一方面的第二种可能实现方式中，所述选取所述当前帧图像的所有三维特征点中部分三维特征点分别对应的候选对应点，具体包括：

根据所述前一帧图像中包含所述静态物体的各个空间区域内特征点，与参考特征点的正确对应概率，从所述当前帧图像的所有三维特征点中选取所述部分三维特征点；

根据所述前一帧图像中特征点的候选对应点被选取的概率，从所述多个候选对应点中选择所述三维特征点的候选对应点。

结合本发明实施例第一方面的第一种或第二种可能实现方式，在本发明实施例第一方面的第三种可能实现方式中，所述将所述三维特征点与参考特征点进行匹配，计算所述当前帧图像的相机外参之前，所述方法还包括：

将所述三维特征点，与所述静态物体的当前帧图像的前一帧图像中的特征点进行匹配，得到初始相机外参；

则将所述三维特征点与参考特征点进行匹配，计算所述当前帧图像的相机外参，具体包括：以所述初始相机外参作为根据模型评分确定相机外参的条件，将所述三维特征点，与所述静态物体的参考特征点进行匹配，最终得到所述当前帧图像的相机外参。

结合本发明实施例第一方面，或第一方面的第一种到第三种可能实现方式中任一种可能实现方式，在本发明实施例第一方面的第四种可能实现方式中，所述将所述二维特征点与所述参考特征点中三维特征点进行匹配，计算所述当前帧图像的相机外参，具体包括：

将所述二维特征点与所述参考特征点中三维特征点进行匹配，确定与所述二维特征点对应的三维参考特征点；