[发明专利]混合现实交互系统

说明书

本发明实施例公开了一种混合现实交互系统，包括，用户影像采集模块，用于采集用户实时立体影像，交互场景构建模块，用于构建用户交互场景，用户模型构建模块，用于基于所述用户实时立体影像构建用户模型，所述用户模型构建于所述用户交互场景中并用于确定所述用户影像的物理边界，显示模块，用于显示交互图像，其中，所述用户实时立体影像与所述用户模型相匹配渲染。基于简化模型确定用户影像的物理边界，同时将用户实时立体影像与所述用户模型相匹配渲染，避免了影像虚无飘忽的问题的同时，降低了即时计算成本，并由于模型与影像的匹配渲染，提高了模型的真实度，提高系统交互的真实感。

技术领域

本发明实施例涉及混合现实技术领域，具体涉及一种混合现实交互系统。

背景技术

混合现实技术(MR)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

现有的混合现实技术中，公开了诸如混合现实显示设备及其图像形成方法、全息内容的调整方法及装置、眼球追踪方法及电子装置、眼镜对焦控制方法系统及拍照设备等，以提高用户的混合现实交互体验，当用户使用MR产品系统时，系统可根据用户的头部乃至身体的位移偏转和视线变焦，为用户提供由系统生成的对应的虚拟交互影像。

然而，现有技术中普遍存在的问题是，当所述虚拟交互影像为实时真实物体时，特别的，当所述虚拟交互影像为其他用户的实时影像或实时虚拟形象时，多个用户之间无法通过混合现实系统实现具有真实体验的实时交互，比如在远程谈判或是远程约会场景中，用户限于只能看到其他用户的实时平面影像，即使该影像经过处理后可以展示完整的用户头像表情，如中国专利CN107608513A——″一种穿戴式设备及数据处理方法″中所述，也无法实现用户之间的真实交互体验，如用户之间的目光对视、眼神交流等，特别的，由于显示图像由系统单方面输出，用户需要根据看到的图像去自行适应，且图像没有真实的变焦虚化变化，画面缺乏真实感，容易造成用户的眼睛疲劳、眩晕不适等问题。

发明内容

为此，本发明实施例提供一种混合现实交互系统，以解决现有技术中存在的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的一种混合现实交互系统，包括，

用户影像采集模块，用于采集用户实时立体影像，

交互场景构建模块，用于构建用户交互场景，

用户模型构建模块，用于基于所述用户实时立体影像构建用户模型，所述用户模型构建于所述用户交互场景中并用于确定所述用户影像的物理边界，

显示模块，用于显示交互图像，

其中，所述用户实时立体影像与所述用户模型相匹配渲染。

由此，基于简化模型确定用户影像的物理边界，同时将用户实时立体影像与所述用户模型相匹配渲染，避免了影像虚无飘忽的问题的同时，降低了即时计算成本，并由于模型与影像的匹配渲染，提高了模型的真实度，提高系统交互的真实感。

优选的，所述用户影像采集模块包括第一影像采集模块和第二影像采集模块，其中，

所述第一影像采集模块采集第一用户由所述显示模块覆盖的外部全身实时立体影像，

所述第二影像采集模块采集第一用户由所述显示模块覆盖的内部面部实时立体影像，

所述第一用户的实时立体影像由外部全身实时立体影像和内部面部实时立体影像合成而成。

由此避免了由于可穿戴设备导致的面部图像缺失问题，利于完成用户之间的表情判断、眼神交流等交互动作。

优选的，所述用户影像采集模块包括眼球追踪模块，