[发明专利]一种全自动的基于单幅图像的三维场景构建方法

摘要

发明公开了一种全自动的基于单幅图像的三维场景模型构建方法，包括：基于机器学习的方法，利用训练图像集训练得到能够对输入的图像进行粗略分类标注的分类器。利用所述的分类器将输入的图像划分成竖立、地面和天空三种子区域，获得图像区域的粗略分类标注结果。基于所述的粗略分类标注结果中的“可信”区域，利用GrabCut图像分割算法来修正粗略分类标注结果并获得图像几何区域之间精准的边界。在获取了所述的图像几何区域的精确分类标注结果和图像几何区域之间精准边界的基础上，利用计算机图形学的方法进行具有真实感三维场景的建模。通过采用本发明公开的方法实现了全自动的基于单幅图像的三维场景构建。

主权项

一种全自动的基于单幅图像的三维场景构建方法，其特征在于包括以下步骤： 步骤1：利用训练图像集获得能够进行图像几何区域划分的分类器； 图像几何区域划分的分类器是基于机器学习获得的，首先需要收集训练图像集，然后利用训练图像集获得一组训练样本，最后利用训练样本训练分类器；所述训练样本的是在训练图像集上获得，包括样本标注和样本提取； 所述样本标注是指对训练图像集里面的每一幅图进行几何区域的标注，即把每一幅图像的整个区域划分成多个几何子区域，每个几何子区域应当归属为三种类别中的一种，这三种类别分别是：竖立区域、地面区域和天空区域； 经过样本标注后，需要提取真正用于训练的样本集；为了尽可能精确的对图像区域进行几何子区域的划分，以30*40的矩形块作为样本单元，把每一幅图像以10为间隔步长划分成一系列具有一定重叠区域的30*40的样本矩形块；对于每个样本矩形块，提取1031维的样本特征；对于每一幅训练图像获得一组训练样本(一个训练样本集)，而所有训练图像的训练样本集形成最终的训练样本集； 提取了训练样本集，采用有监督的训练方式获得能够进行图像几何区域划分的分类器，即采用支持向量机SVM(Support Vector Machine)分类器，训练得到的模型能够输出一个测试样本分别属于三种类别的概率； 步骤2：利用训练得到的分类器对用户输入的图像进行几何区域的划分，得到粗略分类标注的结果； 输入一幅图像，先以10为间隔步长将图像区域划分成一系列具有一定重叠区域的30*40的样本矩形块，对于每一个样本矩形块提取1031维度的样本特征；对于每一个样本矩形块，分类器根据其1031维的样本特征，输出该样本分别属于三种类别的概率：p(v|Pi)、p(g|Pi)和p(s|Pi)，其中p(v|Pi)表示样本Pi属于竖立区域的概率，p(g|Pi)和p(s|Pi)分别表示样本Pi属于地面区域和天空区域的概率； 对于每一个决策单元Cj其属于三种类别的概率由N个包含该决策单元的样本矩形块的类别共同决定，每一个决策单元Cj其属于三种类别的概率计算为： 其中N表示包含决策单元Cj的样本矩形块的个数，Pi表示N个矩形块中的某个，从而获得决策单元Cj分别属于三种类别的概率大小；p(v|Cj)表示决策单元Cj属于竖立区域的概率，p(g|Cj)和p(s|Cj)分别表示决策单元Cj属于地面区域和天空区域的概率； 当且仅当决策单元Cj属于某种类别的概率p*＞0.5时，才标注该决策单元为该所述属类别，否则将其标注为未知类别； 步骤3：利用基于GrabCut图像分割算法修正步骤2中获得的粗略分类标注结果，并优化图像几何区域之间的边界，获得图像几何区域之间精准的边界； 利用基于GrabCut图像分割算法时，以粗略分类结果中“可信的”的区域作为GrabCut的初始输入进行全自动地优化粗略标注结果；所述“可信”区域为具有较大可能性属于某种类别的像素的集合，即属于某种类别的概率大于0.5且在属于该类别的所有像素集合中属于概率较大的前90％；对于每一个类别均计算相应的“可信”区域，获得对于图像区域中某种类别P*的“可信”区域；基于粗略分类标注的“可信”区域，利用GrabCut图像分割算法的输出来修正粗略分类标注的结果，以获得图像中几何区域之间精准的边界； 步骤4：针对步骤3输出的标注结果，利用计算机图形学的方法进行三维场景的建模，提供用户具有真实感的三维场景漫游； 根据图像中几何区域之间精准的边界信息，把图像区域裁剪成不同的几何区域；在设定相机参数的基础上，通过参考地面引入相对深度信息，从而恢复出图像场景中几何区域的重要顶点的三维坐标；最终利用平面近似各个几何子区域，并把各个区域按照几何关系放置在三维场景中，从而生成具有真实感的三维场景漫游。