[发明专利]一种音频与视频视角匹配的方法、客户端和服务器

说明书

本申请公开了一种音频与视频视角匹配的方法、客户端和服务器，以解决现有的客户端播放全景视频的方案中存在的客户端在当前视角发生变化时，无法选择与之匹配的音频文件进行播放，导致用户体验差的问题。该方法为，客户端向服务器发送用于获取全景视频的MPD文件的携带有所述MPD文件的标识第一请求消息；接收服务器根据所述MPD文件的标识反馈的所述MPD文件，所述MPD文件中包括至少一个音频分片的标识及其对应的空间描述信息，所述音频空间描述信息用于描述所述MPD文件中的至少一个音频分片的关联区域；根据用户的当前视角范围和所述至少一个音频空间描述信息，确定与所述当前视角范围匹配的第一音频分片。

技术领域

本申请涉及多媒体技术领域，尤其涉及一种音频与视频视角匹配的方法、客户端和服务器。

背景技术

全景视频也称为360度全景视频，是通过位于中心位置的相机对四周进行360度全景拍摄，并通过同步、拼接、投影等技术，将多个角度拍摄的图像合成全景图像，并将多个帧的全景图像组成全景视频。

用户观看全景视频时可以上下左右任意改变观看的角度，获得更好的体验。全景视频与传统普通视频的一个很大区别是：用户某一时刻观看到的不是完整的视频画面，只是完整视频画面的一部分区域。通常把用户当前实际观看的内容在全景视频坐标系所处的区域称为当前视角，本申请中将用户在当前视角观看到的视频画面称为视频视角。用户观看时通过滑动屏幕或转动头部(头盔)，来转换当前视角观看到不同的视频视角。

目前的全景视频应用中，只考虑了视频视角随着用户当前视角的改变而不同，而没有考虑音频、字幕等其他媒体组件。而在一些应用场景中，当用户当前视角发生变化时，如果音频可以与视频视角进行同步匹配将为用户带来更好的观看体验。例如，当我们观看如《爸爸去哪儿》等娱乐节目时，当多组家庭在一起集合时，如果用户当前视角为家庭1时，表示用户对家庭1比较感兴趣，此时与之匹配的可以是家庭1成员相关的音频。而当用户当前视角切换为家庭2时，与之匹配的应为家庭2成员相关的音频。当用户没有特别关注的家庭或者视频画面中包含多个家庭时，与之匹配的可以是默认音频，但是，当前的全景视频应用中，在用户当前的视频视角发生变化时，无法选择与之匹配的音频文件进行播放，导致用户体验差。

发明内容

本申请实施例提供一种音频与视频视角匹配的方法、客户端和服务器，以解决现有的客户端播放全景视频的方案中存在的客户端在当前视角发生变化时，无法选择与之匹配的音频文件进行播放，导致用户体验差的问题。

本申请实施例提供的具体技术方案如下：

第一方面，本申请实施例提供一种音频与视频视角匹配的方法，包括：

服务器接收客户端发送的用于获取全景视频的媒体展示描述MPD文件的第一请求消息，所述第一请求消息中携带有所述MPD文件的标识；

所述服务器根据所述MPD文件的标识，向所述客户端返回所述MPD文件，所述MPD文件中包括至少一个音频分片的标识及其对应的音频空间描述信息，所述音频空间描述信息用于描述所述至少一个音频分片的关联区域。

采用上述方法，客户端向服务器请求获取包含音频分片的标识及其对应的音频空间描述信息的MPD文件，使得客户端可以在当前视角范围确定后，根据音频空间描述信息计算出各个音频在全景视频图像中的关联区域。当某个音频分片对应的关联区域与用户当前视角范围相匹配时，使客户端获取到与视频图像精准匹配的音频文件进行播放，从而实现音频与视频图像的同步匹配，提升用户的观看体验。通过本申请实施例可以用以解决现有的客户端播放全景视频的方案中存在的客户端在当前视角发生变化时，无法选择与之匹配的音频文件进行播放，导致用户体验差的问题。

结合第一方面，一种可能的设计中，所述MPD文件中还包括所述MPD文件中的至少一个音频分片的区域匹配条件和/或多音频分片的匹配策略。