[发明专利]一种基于深度学习的增强现实系统虚实混合建模方法

权利要求书

1.一种基于深度学习的增强现实系统虚实混合建模方法，其特征在于，包括以下步骤：

1)、输入虚拟模型视图和实际物体图像，首先基于目标先验知识对相邻帧的虚拟模型视图和实际物体图片进行了初步筛选，去除掉显著地虚假目标有差异的区域；

2)、完成第一步之后的虚拟模型视图和实际物体图像经过PBAS算法进行检测，完成对前景目标的分割，得到疑似目标区域；其中，PBAS算法中融合了SACON算法的背景建模部分和VIBE算法的前景检测部分；

3)、然后将分割得到的疑似目标区域送入VGGNet-16模型进行二次判断，将判断出的前景图像坐标输出；

4)、结合模型贴图与初始图像，得到虚实混合的模型结果。

2.根据权利要求1所述的一种基于深度学习的增强现实系统虚实混合建模方法，其特征在于，所述步骤1)是基于目标先验知识对结果进行了初步筛选，去除掉显著虚假目标。

3.根据权利要求1所述的一种基于深度学习的增强现实系统虚实混合建模方法，其特征在于，所述步骤2)经过PBAS算法进行检测，完成对前景目标的分割，得到疑似目标区域具体包括：

A1、采用类似SACON算法的背景建模方法，收集前N帧像素作为背景建模，得到背景模型；

A2、在步骤A1背景模型下，当前像素属于前景还是背景通过比较当前帧I(x_i)与背景模型B(x_i)来决定，通过比较样本集合中的像素值与当前帧像素值在颜色空间的欧氏距离，若距离小于距离阈值R(x_i)的样本个数比当前帧像素值在颜色空间的欧氏距离样本个数S_dmin少，则判定当前像素点为前景点，否则为背景点；

A3、背景模型的更新和背景复杂度的计算；

A4、前景分割阈值的自适应调整及更新策略；

A5、空洞填充与非目标区域消除步骤。

4.根据权利要求3所述的一种基于深度学习的增强现实系统虚实混合建模方法，其特征在于，所述步骤A1具体包括：对于每个像素来说，其背景模型表示为：

B(x_i)＝{B₁(x_i),…,B_k(x_i),…,B_N(x_i)}

其中，x_i代表第i帧图像的第一个像素，B(x_i)表示第i帧时的背景模型，B_k(x_i)代表背景模型B(x_i)中的一个样本的像素值，对于彩色图像来说，B_k(x_i)＝(r_i,g_i,b_i)，对应其在RGB空间的值；针对灰度图像，则为灰度值。

5.根据权利要求4所述的一种基于深度学习的增强现实系统虚实混合建模方法，其特征在于，所述步骤A2的前景检测结果为：

F(x_i)为前景图像像素点x_i的集合，其中若距离小于距离阈值R(x_i)的样本个数比当前帧像素值在颜色空间的欧氏距离样本个数S_dmin少则为前景点，数值为1，否则为背景点，数值为0，dist表示像素点与其在背景模型对应的点在颜色空间上的欧氏距离。