[发明专利]一种融合真实环境的虚实结合的交互方法及系统

摘要

本发明提供一种融合真实环境的虚实结合的交互方法及系统，能够达到真正的虚实结合的交互机制和体验。所述方法包括步骤1，捕捉一帧真实环境的图像，确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态；步骤2，检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用；步骤3，根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示，返回步骤1继续执行，直至虚实交互结束。所述系统包括确定边缘点运动单元，作用单元，显示单元。本发明适用于人机交互技术领域。

主权项

一种融合真实环境的虚实结合的交互方法，其特征在于，包括：步骤1，捕捉一帧真实环境的图像，利用边缘检测算法对捕捉的图像进行边缘检测，得到所述图像中的边缘点，结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态；步骤2，检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用；其中，所述步骤2包括：具体为：基于叠加显示的方式，检测虚拟内容中每个虚拟物体的周围是否有边缘点；若有，则基于所述边缘点的运动状态模拟真实的物理定律，并结合所述虚拟物体的自身状态，将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果，所述虚拟物体的自身状态包括：虚拟内容中为虚拟物体设定的虚拟属性；其中，所述将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果包括：将真实环境中与所述边缘点对应的物体的运动状态以物理方式作用到所述虚拟物体上并产生相应的作用效果；或者，将真实环境中与所述边缘点对应的物体的运动状态以超越物理方式作用到所述虚拟物体上并产生相应的作用效果；所述将真实环境中与所述边缘点对应的物体的运动状态以物理方式作用到所述虚拟物体上并产生相应的作用效果包括：通过模拟真实的物理定律，利用真实环境中的物体去碰撞、击打虚拟物体；或者，将真实环境中的物体作为攻击、防御或引导工具帮助虚拟物体越过障碍物；或者，虚拟物体在玩家设定的场景里运动，并与玩家设定的场景以及玩家进行交互；所述将真实环境中与所述边缘点对应的物体的运动状态以超越物理方式作用到所述虚拟物体上并产生相应的作用效果包括：利用真实环境中的物体去扭曲、压矮虚拟物体；步骤3，根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示，返回步骤1继续执行，直至虚实交互结束；其中，所述根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示包括：根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容与真实环境进行叠加，完整地显示在屏幕上；或者，根据虚拟内容中预设的属性，将虚拟内容与真实环境的部分区域进行叠加显示；或者，根据虚拟内容中预设的属性，将真实环境只显示在屏幕或虚拟场景中的一部分区域。