[发明专利]一种用于沉浸式内容的交互方法和系统

说明书

本发明给出了一种用于沉浸式内容的交互方法和系统，包括获取空间中投影设备的初始姿态信息，其中，姿态信息包括投影设备的空间姿态和朝向；根据待投影的文件，构建虚拟3D场景模型，并在虚拟3D场景模型中建立虚拟相机和虚拟头部听觉模型；将虚拟相机和虚拟头部听觉模型映射至投影设备，计算获取当前姿态信息下的投影画面和音频数据；以及输出当前姿态信息下的投影画面和音频数据。利用该方法和系统能够以低成本、无需预先安装调试的硬件装置，提供360°环绕用户的全景视听内容。

技术领域

本发明涉及投影技术领域，尤其是一种用于沉浸式内容的交互方法和系统。

背景技术

沉浸式内容包括全景图像或全景视频，通常通过全方位摄像机或一组摄像机同时记录所有可能方向上的场景视图来再现真实场景的全景视图，或者通过3D创建软件来进行虚拟制作。沉浸式内容越来越多地用于营销或广告中，以吸引更多的消费者，因为沉浸式内容能够令商品和服务的感觉更加鲜活。沉浸式内容也用于音乐表演、剧院、音乐会等，以拥有更多的不必出席活动的观众；沉浸式内容在游戏娱乐领域和教育领域也有应用。在通过投影技术展示沉浸式视听内容的使用场景中，经常需要与投影内容的交互。例如，使用者点击、拖动沉浸式3D场景里的物体，改变投影出来的物体状态或位置。此技术可广泛应用于演示、教学、游戏娱乐。

迄今为止在个人层面上最广泛且唯一可访问的沉浸式内容再现技术是使用虚拟现实(VR)眼镜。然而，VR眼镜仅允许佩戴它们的人享受内容，却将用户与真实环境隔离开来。而且VR眼镜仅限单人使用，无法供多人同时观看同一沉浸式内容。

在真实空间中显示沉浸式内容，可以规避上述VR眼镜的缺陷。现有的解决方案例如公开号为CN107592514A的中国专利，其公开了一种全景投影系统及方法，该系统具有多个投影仪，通过投影算法，将待展示的全景图像分割成多个小画面，分别用投影仪投到投影房的数个墙面上。多个小画面拼接成连续的沉浸式画面。该解决方案投影面积大，需要多台投影仪，硬件成本高。且系统需要预先安装、精确调试位置，使用复杂。再例如公开号为CN109076203A的中国专利，公开了一种用于投影沉浸式内容的系统，使用带有鱼眼透镜的投影仪，在真实空间中投影出水平方向视角为180°的画面。该解决方案投影面积很大，为了投影画面具有足够的亮度，对投影仪的功率要求高。且单个投影仪至多只能投出180°视角的画面，覆盖360°全景仍然需要2台投影仪，具有和前述公开号为CN107592514A的专利解决方案同样的问题。

在现有技术中，与投影内容交互的方法主要是通过图像采集设备拍摄实体空间中的画面，用计算机视觉等方法从采集的画面识别出使用者人体或人手的位置，转换为投影内容中的坐标位置，从而和沉浸式内容交互。例如公开号为CN205788098U的中国专利，其公开了一种基于双目机器视觉的非接触投影交互系统，用位于投影幕布上方的双目摄像机采集图像，使用计算机视觉方法识别出使用者位置，实现与内容的交互。再如公开号为CN103383731A的中国专利，其公开了一种一种基于指尖定位的投影交互方法、系统及计算设备，使用摄像机捕捉投影屏幕上的图像，通过计算机视觉的方法分析人手指尖的位置，判定人手是否触摸了投影屏幕，实现模拟触摸屏的输入。上述投影沉浸式内容交互方法，需要使用额外的图像采集设备，成本较高，且图像识别等算法的运算量较大，不适用于运算能力较弱的低成本设备。

发明内容

为了解决现有技术中的投影沉浸式内容交互方法，需要使用额外的图像采集设备，成本较高，且图像识别等算法的运算量较大，不适用于运算能力较弱的低成本设备等技术问题，本发明提出了一种用于沉浸式内容的交互方法和系统，用以解决上述技术问题。

在一个方面，本发明提出了一种用于沉浸式内容的交互方法，包括以下步骤：

S1：获取空间中投影设备的初始姿态信息，其中，姿态信息包括投影设备的空间姿态和朝向；

S2：根据待投影的文件，构建虚拟3D场景模型，并在虚拟3D场景模型中建立虚拟相机和虚拟头部听觉模型，其中，虚拟3D场景模型中包括被设置为接受交互指令后能够改变状态或位置的物体；