[发明专利]一种基于深度学习的增强现实系统虚实混合建模方法

说明书

本发明请求保护一种基于深度学习的增强现实系统虚实混合建模方法，针对增强现实系统虚实混合建模问题，该方法首先将相邻帧的虚拟模型视图和实际物体图片有差异的区域全部提取出来，输入的图像首先经过PBAS算法进行检测，完成对前景目标的分割，然后将分割得到的疑似目标区域送入VGGNet‑16模型进行二次判断，将判断出的前景图像坐标输出，结合模型贴图与初始图像，得到虚实混合的模型结果。利用本发明提出的虚实混合建模方案，既能够大幅度降低算法整体的运算量，有效地降低算法对硬件的需求，又能够充分利用深度卷积神经网络模型VGGNET‑16的高图像分类准确率保证目标检测效果，有效提高建模精确度。

技术领域

本发明属于增强现实技术领域，具体涉及一种基于深度学习的增强现实系统虚实混合建模方法。

背景技术

增强现实(Augmented Reality,AR)技术作为一门新兴技术，可将计算机生成的二维或三维虚拟物体与真实场景实时叠加；并利用交互技术实现真实场景与虚拟物体之间的互动，从视听感觉上给人带来超越现实的体验，其通过附加虚拟的数字信息以提升用户与真实环境的交互体验。增强现实的大致流程为：首先在真实场景中定位摄像机位姿，然后采用计算机图形渲染技术将虚拟物体注册到真实场景中生成虚实融合的应用视图。但是由于单摄像机透视关系进行虚实合成的图像不能根据所摄物体深度关系进行识别和优化显示，所合成的虚实结合模型常常存在真实感差，结合较为粗糙等问题。

针对增强现实系统虚实混合建模问题，由于现存深度识别配准方法不能满运动目标足较长时间跨度的虚实建模对准，长间隔图像序列会导致帧间背景的较大变化，帧差法、高斯混合模型等方法对背景变化较大时的适应性不足，VIBE方法也采用了恒定的背景更新阈值，均难以用于强现实系统虚实混合建模。PBAS算法是近年提出的一种有效运动目标检测方法，其利用了背景建模的方法，背景更新阈值与前景分割阈值都可以随背景复杂度自适应改变，同时对于光照具有一定的鲁棒性。基于深度学习的分类器进行二次判断，可以有效提高建模精确度。本发明融合以上几种方案的优点，提出一种基于深度学习的增强现实系统虚实混合建模方法。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种既能够大幅度降低算法整体的运算量，有效地降低算法对硬件的需求，又能够充分利用深度卷积神经网络模型VGGNET-16的高图像分类准确率保证目标检测效果，有效提高建模精确度的基于深度学习的增强现实系统虚实混合建模方法。本发明的技术方案如下：

一种基于深度学习的增强现实系统虚实混合建模方法，其包括以下步骤：

1)、输入虚拟模型视图和实际物体图像，首先基于目标先验知识对相邻帧的虚拟模型视图和实际物体图片进行了初步筛选，去除掉显著地虚假目标有差异的区域；

2)、完成第一步之后的虚拟模型视图和实际物体图像经过PBAS算法进行检测，完成对前景目标的分割，得到疑似目标区域；其中，PBAS算法中融合了SACON算法的背景建模部分和VIBE算法的前景检测部分；

3)、然后将分割得到的疑似目标区域送入VGGNet-16模型进行二次判断，将判断出的前景图像坐标输出；

4)、结合模型贴图与初始图像，得到虚实混合的模型结果。

进一步的，所述步骤1)是基于目标先验知识对结果进行了初步筛选，去除掉显著虚假目标。

进一步的，所述步骤2)经过PBAS算法进行检测，完成对前景目标的分割，得到疑似目标区域具体包括：

A1、采用类似SACON算法的背景建模方法，收集前N帧像素作为背景建模，得到背景模型；