[发明专利]一种基于多通道交互的实时渲染互动影院系统及方法

说明书

技术领域

本发明涉及一种基于多通道交互的实时渲染互动影院系统及方法。

背景技术

随着国内主题公园如雨后春笋般兴起，互动影院也随着不断发展，它将当今国际流行的3D影视技术与多人互动交互式技术相结合，使观影者能够成为电影中的角色，通过相应的交互设备介入到影片的环境与剧情，让观影者身临其境般感受到自己就是电影里的一份子，观影者就是影片里的主角或是其中一员，并持续与影片内容产生交互作用。互动影院满足观众在观看影片的同时，主动参与到影片的剧情中，成为剧情的参与者，而不是单纯的被动接受剧情，增加了观众的参与感和存在感，这是普通的4D影院所不能达到的效果。

目前互动影院仍然以虚拟射击影院为主，其存在缺陷如下：

1)观众通过特制的互动枪进行交互，交互方式单一；

2)互动枪的代入感不强；

3大部分采用平面投影，画面分辨率低，沉浸感不足；

4)虽然观众能够共同合作完成影片任务，但各个观众参与影片互动的方式千篇一律，并且没有分工协作，观众与观众之间缺少互动，交互体验一般。

发明内容

本发明为了解决上述问题，提出了一种基于多通道交互的实时渲染互动影院系统及方法，本发明采用了基于大型弧幕3D立体投影的展示技术，能够实时渲染高分辨率立体图像，集成了包括三自由度座椅、六自由度平台(配有方向盘、油门以及刹车等交互方式)、具有后坐力的互动仿真枪、手机以及Kinect姿态识别在内的多种交互方式，允许观众体验不同的交互方式，分工协作共同完成任务，集沉浸感、互动性、趣味性、挑战性于一身的优点。

为了实现上述目的，本发明采用如下技术方案：

一种基于多通道交互的实时渲染互动影院系统，包括提供通信和数据传输途径的网络模块，实时获取用以驱动三自由度座椅以及六自由度平台姿态数据的动感平台模块，获取用户肢体动作、并进行数据编码的Kinect动作识别模块，获取用户输入并将其封装的手机交互模块，依据用户输入信息和肢体动作在弧幕上进行反馈的反馈模块，以及利用立体相机并行渲染出角色视点对应的左右眼帧画面，对左右眼帧画面进行拼接融合后交替顺序输出，投影至弧幕上以得到立体画面的弧幕立体渲染模块。

所述网络模块，包括服务器子模块和客户端子模块，进行网络通信和数据传递，所述服务器子模块，构建场景并维持其正常执行、连接客户端并根据客户端类型选择向对应客户端发送或者接收数据，最后根据接收的数据做出正确反馈；

所述客户端子模块，与服务器子模块进行连接，依据自身所连接的交互设备的类型从服务器子模块接收或发送交互数据，若接收数据，则根据接收的数据更新当前连接的交互设备的状态。

所述手机交互模块，利用手机内置传感器以及手机触摸屏获取用户输入，封装输入数据，将数据通过网络发送至服务器端，在场景中利用数据做出相应反馈。

所述弧幕立体渲染模块，利用系统场景中的立体相机并行渲染出角色视点对应的左右眼帧画面，对左右眼帧画面进行拼接融合处理后交替顺序输出，投影至弧形金属幕布上，从而得到立体画面；

所述六自由度平台由主机控制，用户对应的虚拟角色的姿态通过平台的六根电动缸协同工作支持平台完成垂直向、横向、纵向、俯仰、滚转和摇摆六个自由度的模拟动作，通过平台上的方向盘，油门以及刹车获取用户输入以进行交互。

所述手机交互模块通过手机内置传感器获取手机偏转信息并利用偏转信息控制手机中准星移动；通过触摸屏获取滑屏信息，将该信息转化为射击信号并与之前获取的准星移动信息一起通过网络传输的方式发送到服务器端。

所述服务器端接收数据并将其映射到场景当中，控制场景中准星的移动以及射击。

基于上述系统的工作方法，包括以下步骤：

(1)服务器端运行系统主程序，程序自动运行系统场景并构建与用户对应的虚拟角色；

(2)进行网络通信，确定服务器端与客户端的连接，确认数据交互是否正常；

(3)通过手机交互模块、动感平台模块或/和Kinect动作识别模块与场景互动交互，渲染立体相机通过用户视点观察场景所得的左眼帧和右眼帧，通过弧幕立体渲染模块对左眼帧和右眼帧画面进行处理，最后通过3台立体投影仪将处理后的图像交替显示在弧形屏幕上。

所述步骤(1)中，检查是否有三自由度座椅、六自由度平台或仿真枪接收器接入，如果没有系统不提供用户与场景之间的交互，等待所有设备正常接入。