[发明专利]一种远程呈现技术中媒体数据发送和播放的方法及系统

说明书

技术领域

本发明涉及视频会议技术，特别是指一种远程呈现技术中媒体数据发送和播放的方法及系统。

背景技术

远程呈现(telepresence)是一种高级的远程会议系统。远程呈现以其真实的临场感深受高端用户的喜爱，在远程呈现系统中，听声辨位、真身大小、眼神交流直接关系到用户是否能够有身临其境的感受，因此是衡量远程呈现系统非常重要的技术指标。在传统视频会议系统中，每个会场听到的声音是整个会议中前几个声音最大的会场混音叠加后的声音，每个会场声音的输入源和输出只有一个，用户无法感受到声音从会场的哪个方位发出。

在远程呈现会议系统中，各个会场有的是单屏会场有的是多屏会场。多屏会场中，每个屏幕显示一处坐席与会者的图像，相应的每处坐席与会者对应了一路音频输入。如果要达到听声辨位的效果，在多屏会场中，发言者图像显示在会场哪个屏，声音即从该屏所在方位发出，即实现声音跟随图像。例如三屏会场中，左席发言，那么应该听到声音从左侧发出；中席发言，其应该听到声音从中间发出；右席发言，与会人员应该听到声音从右侧发出。

这种情况下，不同方位的音频输入输出，需要区别对待进行不同的混音，传统的单路音频混音方法显然不能满足这种情况。同时在单屏和多屏会场互通的多点会议中，单屏和多屏会场如何混音输出，同时不影响两个会场听声辨位的效果，也是需要解决的问题。进一步的，若采用多路码流分别传输的方式，则多路码流之间的严格同步非常困难，难以达到视频会议对音频的同步要求。

发明内容

有鉴于此，本发明的主要目的在于提供一种远程呈现技术中媒体数据发送和播放的方法及系统，解决了现有的电视会议系统中，采用多路码流分别传输的方式来传输媒体数据，不易实现音频同步或视频同步的问题。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种远程呈现技术中媒体数据发送的方法，所述方法包括：

采集与坐席相对应的音频或视频数据，对采集到的音频或视频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息；

对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。

其中，所述包含多路音频或视频的数据包，包括：数据包头部分和数据包体部分，其中，数据包头部分携带每一路的音频或视频数据的码流标识，并且标明码流长度，所述码流标识对应所述采集位置信息；数据包体部分携带多路码流数据的内容。

其中，所述对采集到的音频或视频数据分别进行处理，具体为：将每一个采集位置采集到的音频或视频数据都分别处理为一路码流数据。

本发明还提供了一种远程呈现技术中媒体数据播放的方法，所述方法包括：

接收端接收到包含多路音频或视频的数据包后，解析出多路音频数据或视频数据，以及各路码流数据的采集位置信息；

将多路音频数据或视频数据，按照各路码流数据的采集位置信息所对应的播放位置输出完成播放。

其中，所述解析出多路音频数据或视频数据，以及各路码流数据的采集位置信息，具体为：读取数据包头部分的码流标识得到码流数据的采集位置信息，根据码流长度，从数据包体部分解析出相应的多路音频数据或视频数据。

本发明还提供了一种远程呈现技术中媒体数据发送的系统，所述系统包括：一个或多个音视频采集设备、多路码流数据处理模块和多路码流数据传输模块，其中，

所述一个或多个音视频采集设备，用于分别采集与坐席相对应的音频或视频数据，将采集到的数据发送给多路码流数据处理模块；

所述多路码流数据处理模块，用于对采集到的音频或视频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息，将多路码流数据和所述采集位置信息发送给多路码流数据传输模块；

所述多路码流数据传输模块，用于对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。

其中，所述包含多路音频或视频的数据包，包括：数据包头部分和数据包体部分，其中，数据包头部分携带每一路的音频或视频数据的码流标识，并且标明码流长度，所述码流标识对应所述采集位置信息；数据包体部分携带多路码流数据的内容。