[发明专利]一种融合真实环境的虚实结合的交互方法及系统

说明书

技术领域

本发明涉及人机交互技术领域，特别是指一种融合真实环境的虚实结合的交互方法及系统。

背景技术

电子游戏作为一种娱乐活动已遍布计算机、手机、游戏主机等各种可安装游戏的电子设备。现有的电子游戏主要由玩家(即：游戏用户)操纵电子设备上的触摸屏、游戏手柄、鼠标、键盘等输入装置与电子设备显示的游戏的虚拟内容进行交互，虚拟内容包括但不限于游戏中的场景、人物、道具等。这种交互方式下的游戏体验完全局限于电子设备中游戏本身涉及的虚拟内容，与玩家身边的真实环境没有建立联系。

近年来，为打破这一局限，出现了一些虚实结合的游戏探索，试图将真实环境和玩家的肢体动作引入游戏，以提升游戏体验。主要体现在体感游戏和增强现实游戏两方面。

体感游戏以微软开发的电子游戏平台(Xbox)游戏机上的Kinect相关游戏为代表，通过深度摄像头或其它传感装置及相应的算法，跟踪玩家全身或半身的肢体动作，并由此控制游戏中的虚拟人物的动作。此类游戏用玩家真实的身体动作代替了通常的游戏输入装置，但游戏显示的内容仍为游戏中的虚拟内容，没有达到真正的虚实结合体验。

增强现实游戏是通过在真实环境上叠加显示游戏中的虚拟内容达到虚实结合的效果。叠加显示可通过投影直接叠加在真实环境之上，或通过透视式头戴显示器(智能眼镜)将虚拟内容叠加在人眼与真实环境之间，或通过普通显示器同时显示摄像头拍摄到的真实环境与虚拟内容达到间接叠加的效果。其中前两种方式因需要专用设备，目前主要在研究探索阶段，最后一种方式对设备要求较低，在手机上已有一些实际游戏例子。

简单的增强现实游戏并不对真实环境作分析，真实环境仅仅作为游戏显示的背景，不与游戏中的虚拟内容进行交互；较为高级的增强现实游戏会实时识别和跟踪真实环境中的一些预设标志，如二维码、特定图片等，并将虚拟内容与这些标志在二维或三维空间中对齐显示，以加强虚实结合的感受，但除这些预设标志以外的真实环境依然只作为显示背景，对游戏自身交互不发生作用。因此目前的增强现实游戏的“虚实结合”基本上局限在视觉效果上，而游戏自身的交互机制与传统的“纯虚拟”游戏并无本质区别。也就是说，目前存在的体感游戏和增强现实游戏并没有达到真正的虚实结合的游戏交互机制和体验。

发明内容

本发明要解决的技术问题是提供一种融合真实环境的虚实结合的交互方法及系统，以解决现有技术所存在的体感游戏和增强现实技术并没有达到真正的虚实结合的交互机制和体验的问题。

为解决上述技术问题，本发明实施例提供一种融合真实环境的虚实结合的交互方法，其特征在于，包括：

步骤1，捕捉一帧真实环境的图像，确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态；

步骤2，检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用；

步骤3，根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示，返回步骤1继续执行，直至虚实交互结束。

可选地，所述捕捉一帧真实环境的图像，确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态包括：

通过摄像装置捕捉一帧真实环境的图像；

对该图像进行边缘检测，确定该图像中的边缘点，所述边缘点对应于真实环境中相应物体的轮廓；

结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态。

可选地，所述对该图像进行边缘检测，确定该图像中的边缘点包括：

根据虚拟内容中预设的属性，对已捕捉的图像进行分割，提取出与预设的属性相对应的图像，所述预设的属性包括：用于指定与虚拟内容进行交互的存在于真实环境中的物体和/或其运动状态，所述真实环境中的物体包括：存在于自然界中的一切生物和非生物；

对提取的图像进行边缘检测，确定该图像中的边缘点。

可选地，所述结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态包括：

针对每个被检测出的边缘点，结合被捕捉到的前一帧图像，确定对应在所述边缘点上的真实环境中的物体上的点在前一帧图像与当前图像之间的运动状态。

可选地，所述检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用包括：

基于叠加显示的方式，检测虚拟内容中每个虚拟物体的周围是否有边缘点；