[发明专利]混合现实交互系统

权利要求书

1.一种混合现实交互系统，其特征在于，包括，

用户影像采集模块，用于采集用户实时立体影像，

交互场景构建模块，用于构建用户交互场景，

用户模型构建模块，用于基于所述用户实时立体影像构建用户模型，所述用户模型构建于所述用户交互场景中并用于确定所述用户影像的物理边界，

显示模块，用于显示交互图像，

其中，所述用户实时立体影像与所述用户模型相匹配渲染。

2.根据权利要求1所述的混合现实交互系统，其特征在于，所述用户影像采集模块包括第一影像采集模块和第二影像采集模块，其中，

所述第一影像采集模块采集第一用户由所述显示模块覆盖的外部全身实时立体影像，

所述第二影像采集模块采集第一用户由所述显示模块覆盖的内部面部实时立体影像，

所述第一用户的实时立体影像由外部全身实时立体影像和内部面部实时立体影像合成而成。

3.根据权利要求1所述的混合现实交互系统，其特征在于，所述用户影像采集模块包括眼球追踪模块，

其中，所述眼球追踪模块用于实时捕捉第二用户眼球偏转方向角度以及视线焦点。

4.根据权利要求3所述的混合现实交互系统，其特征在于，所述影像采集模块至少包括第一摄像装置和第二摄像装置，

所述第一摄像装置和第二摄像装置可围绕在第一用户周围移动，并

分别基于所述眼球追踪模块实时捕捉的第二用户左右眼球偏转方向角度以及视线焦点改变所述第一摄像装置和第二摄像装置的拍摄方向角度及焦距和第一摄像装置与第二摄像装置之间的相对位置关系。

5.根据权利要求4所述的混合现实交互系统，其特征在于，所述用户交互场景包括第一交互场景和第二交互场景，所述第一交互场景和第二交互场景基于相同的选定场景生成，其中，

所述第一交互场景至少部分的基于所述眼球追踪模块实时捕捉的第二用户一个眼球的偏转方向角度以及视线焦点实施所述选定场景的坐标偏转和图像虚化，

所述第二交互场景至少部分的基于所述眼球追踪模块实时捕捉的第二用户另一个眼球的偏转方向角度以及视线焦点实施所述选定场景的坐标偏转和图像虚化。

6.根据权利要求5所述的混合现实交互系统，其特征在于，所述用户模型包括第一模型和第二模型，

所述第一模型构成为至少基于所述第一摄像装置所采集的第一用户的第一实时立体影像构建生成于所述第一交互场景中，

所述第二模型构成为至少基于所述第二摄像装置所采集的第一用户的第二实时立体影像构建生成于所述第二交互场景中，其中，

所述第一实时立体影像与所述第一模型相匹配渲染，所述第二实时立体影像与所述第二模型相匹配渲染。

7.根据权利要求6所述的混合现实交互系统，其特征在于，所述显示模块包括第一显示模块和第二显示模块，

所述第一显示模块设定为显示第一图像信息，所述第一图像信息由所述第一交互场景构成，

所述第二显示模块设定为显示第二图像信息，所述第二图像信息由所述第二交互场景构成。

8.根据权利要求1所述的混合现实交互系统，其特征在于，所述用户模型构建模块包括预存用户模型，所述预存用户模型基于用户以往采集的立体影像生成并存储，用于当用户进入所述混合现实交互系统时调取用户模型与用户实时立体影像进行匹配渲染。

9.根据权利要求1-8任一项所述的混合现实交互系统，其特征在于，还包括物理引擎模块，所述物理引擎模块基于所述交互场景和用户模型初始化物理模型及其坐标关系，用于用户-场景以及用户-用户的交互。

10.根据权利要求1-8任一项所述的混合现实交互系统，其特征在于，所述交互场景包括虚拟场景、现实拍摄场景、虚拟现实叠加场景中的至少一种。