[发明专利]一种沉浸式视频播放方法和系统

说明书

本发明公开一种沉浸式视频播放方法和系统，该方法应用于包括三维摄像设备、音频输入设备、显示设备和音频输出设备的沉浸式视频播放系统，所述方法包括：对三维摄像设备拍摄得到的用户初始图像进行识别，根据初始特征数据创建虚拟用户模型；根据用户选择的现场效果和演唱曲目，加载对应的虚拟舞台模型和伴奏音频，对虚拟舞台模型、伴奏音频、虚拟用户模型以及音频输入设备采集到的用户音频进行合成，生成沉浸式视频数据，并对沉浸式视频数据进行实时播放；对三维摄像设备拍摄得到的用户实时图像进行识别，根据实时特征数据，实时更新沉浸式视频数据中的虚拟用户模型。本发明能够为用户提供具有沉浸感、互动性更强、社交性更好的歌唱娱乐体验。

技术领域

本发明涉及音视频技术领域，特别涉及一种沉浸式视频播放方法和系统。

背景技术

移动KTV是一种新的KTV形式，其结构简单，移动方便，不受地点和场合的限制。移动KTV通常包括点歌机、音箱和话筒，通过电线将播放显示器和点歌显示器分别与点歌机连接，且点歌机、音箱、播放显示器和点歌显示器放置于一个箱体里面，箱体里面有隔板将箱体分为上下两部分，点歌机和音箱放置在箱体下部；活动连接件把播放显示器和点歌显示器分别与箱体上部靠近端口的位置连接，播放显示器和点歌显示器相对；两个显示器从箱体翻出后能够竖立。

目前，无论是传统KTV，还是移动KTV，都只能提供用户面对播放MTV的电视屏幕并伴随着音乐进行演唱的功能，观众难以感受现场氛围，娱乐形式单一，缺乏互动体验。

近几年，随着移动互联网及新零售的发展，移动KTV中增加了音调修正、润色、歌曲保存和分享等功能，甚至有厂商在移动KTV中加入了视频录制的功能，即，利用摄像头把用户图像信息保留，叠加在MTV的视频中。然而，由于MTV的视频是由版权方制作的，将用户图像硬性叠加到视频上，非常违和且奇怪，导致用户体验较差。

发明内容

本发明提供了一种沉浸式视频播放方法和系统，以解决现有技术中的移动KTV缺乏互动体验以及用户体验差的问题。

本发明提供了一种沉浸式视频播放系统，包括：

三维摄像设备，用于对用户进行实时拍摄；

主机设备，用于对三维摄像设备拍摄得到的用户初始图像进行识别，根据识别到的初始特征数据创建虚拟用户模型；根据用户选择的现场效果和演唱曲目，加载对应的虚拟舞台模型和伴奏音频，对该虚拟舞台模型、该伴奏音频、虚拟用户模型以及音频输入设备采集到的用户音频进行合成，生成沉浸式视频数据，并对该沉浸式视频数据进行实时播放；对三维摄像设备拍摄得到的用户实时图像进行识别，根据识别到的实时特征数据，实时更新沉浸式视频数据中的虚拟用户模型；

显示设备，用于在播放所述沉浸式视频数据的过程中，显示所述沉浸式视频数据的播放画面；

音频输出设备，用于在播放所述沉浸式视频数据的过程中，输出所述沉浸式视频数据的音频信息。

可选地，所述显示设备为三种不同类型的设备中的至少一种：投影设备、环绕曲面屏和环绕拼接设备。

可选地，所述显示设备包括内容显示屏和触控显示屏，所述内容显示屏用于显示二维视听内容，所述触控显示屏用于显示全景视听内容。

可选地，所述主机设备，具体用于对用户初始图像进行面部识别和形体识别，从识别出的面部区域和形体区域中分别获取面部特征点和形体特征点，根据面部特征点和形体特征点分别创建面部模型和形体模型，并对面部模型和形体模型进行合并，得到虚拟用户模型。

可选地，所述面部模型具有多个面部绑点，所述多个面部绑点与创建所述面部模型所使用的多个面部特征点一一对应；所述形体模型具有多个形体绑点，所述多个形体绑点与创建所述形体模型所使用的多个形体特征点一一对应。