[发明专利]一种融合现实互动系统和方法

权利要求书

1.一种融合现实互动系统，其特征在于，包括：

裸眼3D显示设备，用于获取并显示融合现实图像；

互动设备，用于采集实体对象的实体图像、和/或所述实体对象的互动输入数据；

处理设备，用于分别获取虚拟图像、实体图像、和/或互动输入数据，并根据所述互动输入数据，将调整后的所述虚拟图像和实体图像映射至融合坐标系中，以形成所述融合现实图像，提供给所述裸眼3D显示设备。

2.根据权利要求1所述的系统，其特征在于，所述裸眼3D显示设备还用于根据所述处理设备的渲染控制指令，对获取到的所述融合现实图像进行渲染后进行显示。

3.根据权利要求1所述的系统，其特征在于，所述互动设备包括非接触式采集设备；所述非接触式采集设备包括摄像头，还包括下述至少一种：红外传感器、麦克风、超声传感器和3D传感器。

4.根据权利要求1所述的系统，其特征在于，所述互动输入数据包括下述至少一种：所述实际对象的整体移动轨迹、所述实际对象的设定部位的移动轨迹、所述实际对象的手势、姿态、表情、所述实际对象的音频、和/或所述实际对象操作输入设备产生的输入事件。

5.根据权利要求1所述的系统，其特征在于，互动设备还包括：

人体跟踪传感器，用于对所述裸眼3D显示设备的观看范围内的人体进行位置跟踪；

相应的，所述处理设备，与所述人体跟踪传感器相交互，还用于根据人体跟踪位置，调整所述融合现实图像，以使所述融合现实图像在所述人体跟踪位置处呈现3D显示效果。

6.根据权利要求1所述的系统，其特征在于，所述裸眼3D显示设备的数量为一个或多个；所述处理设备，分别与各裸眼3D显示设备相交互，还用于根据所述融合现实图像确定相同或不同的分屏现实图像，分别提供给各所述裸眼3D显示设备进行显示。

7.根据权利要求1或2所述的系统，其特征在于，所述处理设备包括：

虚拟图像转换单元，用于获取虚拟图像，并将所述虚拟图像按照虚拟融合转换关系，从虚拟坐标系转换至融合坐标系；

实体图像转换单元，用于获取实体图像，并将所述实体图像按照实体融合转换关系，从实体坐标系转换至融合坐标系；

图像融合单元，用于在所述融合坐标系下，将转换后的虚拟图像和实体图像进行叠加，以形成所述融合现实图像；

互动调整单元，用于根据互动设备采集的互动输入数据和预设的互动策略，确定虚拟图像的调整策略，并根据所述调整策略调整所述虚拟图像，将调整后的虚拟图像提供给所述虚拟图像转换单元。

8.根据权利要求1所述的系统，其特征在于，所述处理设备还包括：

远程接收单元，用于接收远程传输的互动输入数据或融合现实图像；

远程推送单元，用于将所述互动设备采集的互动输入数据，或本地产生的所述融合现实图像，基于远程传输方式提供给另一融合现实互动系统的处理设备。

9.一种融合现实互动方法，其特征在于，由权利要求1-8任一所述的融合现实互动系统的处理设备来执行，所述方法包括：

分别获取虚拟图像、实体图像和互动输入数据，并根据所述互动输入数据，将调整后的所述虚拟图像和实体图像映射至融合坐标系中，以形成所述融合现实图像；

将所述融合现实图像提供给所述裸眼3D显示设备。

10.根据权利要求9所述的方法，其特征在于，还包括：

根据所述融合现实图像产生渲染控制指令，发送给所述裸眼3D显示设备，以控制所述裸眼3D显示设备对获取到的所述融合现实图像进行渲染后进行显示。