[发明专利]一种用于沉浸式内容的交互方法和系统

权利要求书

1.一种用于沉浸式内容的交互方法，其特征在于，包括：

S1：获取空间中投影设备的初始姿态信息，其中，所述姿态信息包括所述投影设备的空间姿态和朝向；

S2：根据待投影的文件，构建虚拟3D场景模型，并在所述虚拟3D场景模型中建立虚拟相机和虚拟头部听觉模型，其中，所述虚拟3D场景模型中包括被设置为接受交互指令后能够改变状态或位置的物体；

S3：将所述虚拟相机和所述虚拟头部听觉模型映射至所述投影设备，计算获取当前姿态信息和所述交互指令下的投影画面和音频数据，其中，所述虚拟相机的视场角和成像面的宽高比和所述投影设备相同，且所述虚拟相机、所述虚拟头部听觉模型的初始姿态信息与所述投影设备相同，响应于所述虚拟相机的轴线与前景物体相交且所述前景物体为被设置为接受交互指令后能够改变状态或位置的物体，记录该物体为待操作虚拟物体；响应于用户发出交互指令且当前存在所述待操作虚拟物体，将所述待操作虚拟物体切换为可交互状态；

S4：输出所述当前姿态信息和所述交互指令下的所述投影画面和所述音频数据。

2.根据权利要求1所述的用于沉浸式内容的交互方法，其特征在于，所述3D场景模型包括前景物体、背景物体和音源，且所述前景物体、所述背景物体随时间变化而改变位置和外观。

3.根据权利要求2所述的用于沉浸式内容的交互方法，其特征在于，所述被设置为接受交互指令后能够改变状态或位置的物体为所述前景物体中的一个或多个。

4.根据权利要求1所述的用于沉浸式内容的交互方法，其特征在于，步骤S1中的姿态信息的获取是利用设置于所述投影设备上的姿态传感器通过姿态解算获得，所述姿态解算采用卡尔曼滤波的传感器融合算法解算，所述姿态传感器为包括有加速度传感器、角速度传感器和地磁数据传感器的6轴或9轴传感器。

5.根据权利要求1所述的用于沉浸式内容的交互方法，其特征在于，步骤S3中计算所述交互指令下的投影画面和音频数据具体为：

所述可交互状态包括形态变换、位置变换、大小变换或其组合；

响应于用户解除交互指令且当前存在所述待操作虚拟物体，将所述待操作虚拟物体还原为正常状态，并清空所述待操作虚拟物体的记录。

6.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至5中任一项所述的方法。

7.一种用于沉浸式内容的交互系统，其特征在于，所述系统包括：

投影设备，用于接收待投影的画面，并将其投射至空间表面；

姿态传感器模块，用于获取所述投影设备在当前空间中的姿态信息，其中，所述姿态信息包括所述投影设备的空间姿态和朝向；

交互模块，用于接收用户做出的交互指令；

处理器模块，用于根据待投影的文件，构建虚拟3D场景模型，并在所述虚拟3D场景模型中建立虚拟相机和虚拟头部听觉模型，其中，所述虚拟3D场景模型中包括被设置为接受交互指令后能够改变状态或位置的物体；将所述虚拟相机和所述虚拟头部听觉模型映射至所述投影设备，获取当前姿态信息和所述交互指令下的投影画面和音频数据，根据所述投影设备在空间中旋转时的不同姿态信息和所述交互指令，确定所述投影设备在当前姿态信息和所述交互指令下的投影画面和音频数据；其中，所述虚拟相机的视场角和成像面的宽高比和所述投影设备相同，且所述虚拟相机、所述虚拟头部听觉模型的初始姿态信息与所述投影设备相同，响应于所述虚拟相机的轴线与前景物体相交且所述前景物体为被设置为接受交互指令后能够改变状态或位置的物体，记录该物体为待操作虚拟物体；响应于用户发出交互指令且当前存在所述待操作虚拟物体，将所述待操作虚拟物体切换为可交互状态。

8.根据权利要求7所述的用于沉浸式内容的交互系统，其特征在于，所述姿态传感器模块包括加速度、角速度、地磁数据的6轴或9轴传感器；所述投影设备上还包括音频输出模块，用于输出至少一个声道的音频或至少两个声道的立体声音频，所述交互模块包括设置于所述系统上的按钮、摇杆或手柄，所述交互指令包括点击、拨动或不同按键指令。

9.根据权利要求7所述的用于沉浸式内容的交互系统，其特征在于，所述处理器模块还配置用于响应于所述虚拟相机的轴线与前景物体相交且所述前景物体为被设置为接受交互指令后能够改变状态或位置的物体，记录该物体为待操作虚拟物体；响应于用户发出交互指令且当前存在所述待操作虚拟物体，将所述待操作虚拟物体切换为可交互状态，其中，所述可交互状态包括形态变换、位置变换、大小变换或其组合；响应于用户解除交互指令且当前存在所述待操作虚拟物体，将所述待操作虚拟物体还原为正常状态，并清空所述待操作虚拟物体的记录。