[发明专利]一种沉浸式视频播放方法和系统

权利要求书

1.一种沉浸式视频播放系统，其特征在于，包括：

三维摄像设备，用于对用户进行实时拍摄；

主机设备，用于对三维摄像设备拍摄得到的用户初始图像进行识别，根据识别到的初始特征数据创建虚拟用户模型；根据用户选择的现场效果和演唱曲目，加载对应的虚拟舞台模型和伴奏音频，对该虚拟舞台模型、该伴奏音频、虚拟用户模型以及音频输入设备采集到的用户音频进行合成，生成沉浸式视频数据，并对该沉浸式视频数据进行实时播放；对三维摄像设备拍摄得到的用户实时图像进行识别，根据识别到的实时特征数据，实时更新沉浸式视频数据中的虚拟用户模型；

显示设备，用于在播放所述沉浸式视频数据的过程中，显示所述沉浸式视频数据的播放画面；

音频输出设备，用于在播放所述沉浸式视频数据的过程中，输出所述沉浸式视频数据的音频信息。

2.如权利要求1所述的系统，其特征在于，所述显示设备为三种不同类型的设备中的至少一种：投影设备、环绕曲面屏和环绕拼接设备。

3.如权利要求1所述的系统，其特征在于，所述显示设备包括内容显示屏和触控显示屏，所述内容显示屏用于显示二维视听内容，所述触控显示屏用于显示全景视听内容。

4.如权利要求1所述的系统，其特征在于，所述主机设备，具体用于对用户初始图像进行面部识别和形体识别，从识别出的面部区域和形体区域中分别获取面部特征点和形体特征点，根据面部特征点和形体特征点分别创建面部模型和形体模型，并对面部模型和形体模型进行合并，得到虚拟用户模型。

5.如权利要求4所述的系统，其特征在于，所述面部模型具有多个面部绑点，所述多个面部绑点与创建所述面部模型所使用的多个面部特征点一一对应；所述形体模型具有多个形体绑点，所述多个形体绑点与创建所述形体模型所使用的多个形体特征点一一对应。

6.如权利要求4所述的系统，其特征在于，所述主机设备，具体用于对所述用户实时图像进行面部识别和形体识别，从识别出的面部区域和形体区域中分别获取面部特征点和形体特征点，对面部特征点和形体特征点分别进行坐标转换，得到所述面部模型中的面部绑点和所述形体模型中的形体绑点的实时位置，并根据该实时位置更新虚拟用户模型。

7.一种沉浸式视频播放方法，其特征在于，应用于包括三维摄像设备、音频输入设备、显示设备和音频输出设备的沉浸式视频播放系统，所述方法包括以下步骤：

通过所述三维摄像设备对用户进行实时拍摄；

对三维摄像设备拍摄得到的用户初始图像进行识别，根据识别到的初始特征数据创建虚拟用户模型；

根据用户选择的现场效果和演唱曲目，加载对应的虚拟舞台模型和伴奏音频，对该虚拟舞台模型、该伴奏音频、虚拟用户模型以及音频输入设备采集到的用户音频进行合成，生成沉浸式视频数据，并对该沉浸式视频数据进行实时播放；

对三维摄像设备拍摄得到的用户实时图像进行识别，根据识别到的实时特征数据，实时更新沉浸式视频数据中的虚拟用户模型。

8.如权利要求7所述的方法，其特征在于，所述显示设备为三种不同类型的设备中的至少一种：投影设备、环绕曲面屏和环绕拼接设备。

9.如权利要求7所述的方法，其特征在于，所述显示设备包括内容显示屏和触控显示屏，所述内容显示屏用于显示二维视听内容，所述触控显示屏用于显示全景视听内容。

10.如权利要求7所述的方法，其特征在于，所述对三维摄像设备拍摄得到的用户初始图像进行识别，根据识别到的初始特征数据创建虚拟用户模型，包括：

对用户初始图像进行面部识别和形体识别，从识别出的面部区域和形体区域中分别获取面部特征点和形体特征点，根据面部特征点和形体特征点分别创建面部模型和形体模型，并对面部模型和形体模型进行合并，得到虚拟用户模型。