[发明专利]一种在不同设备上分别播放音频与视频的唇音同步方法

说明书

本发明公开了一种在不同设备上分别播放音频与视频的唇音同步方法，所述不同设备包括音频播放设备和视频播放设备，包括使用发送端发送音视频码至所述音频播放设备和视频播放设备，所述发送端对其发送的数据包增加时间戳信息，所述音频播放设备和视频播放设备分别使用同步机制以同步播放具备相同时间戳的音频和视频信息。本发明设计的唇音同步播放机制，可以应对99％的网络抖动情况，保证在网络质量不稳定时，在不同设备上的音视频仍然可以同步播放。

技术领域

本发明涉及多媒体技术领域，具体而言，涉及一种在不同设备上分别播放音频与视频的唇音同步方法。

背景技术

在视频会议场景中，每个参会的终端都接收来自于其他参会者的视频和音频码流，并通过本地的图像显示设备(比如显示屏)和声音播放设备(比如扬声器)把接收到的视频和音频进行显示和播放。由于音视频码流是由同一设备接收并且播放的，所以相应的音频和视频图像在播放时是唇音同步的，即视频图像中参会者说话时的口型与对应的声音是一致的。

但在没有人为干预的情况下，声音和视频的播放时间由于IP网络的不稳定性，有可能是不一致的。导致用户感受到的声音和视频不同步，即唇音不同步。

例如在一些特定场景下(如图1-2)，对音视和视频的接收和播放有时需要在不同的设备上进行，比如视频图像的接收是由会议室中的视频终端完成的，而音频的接收，则是由与该终端通过某种方式配对连接的无线麦克风+音箱完成的；或者如智能终端一体机NE60是一款适合桌面或者小型会议室使用的音视频通讯设备，触屏操控，方便易用，它可以同ME终端配对，实现利用桌面上的NE60上的音频设备来播放声音，而通过与ME终端相连接的电视屏幕输出视频图像。在这些场景下，声音和视频就会从不同的设备上接收并进行播放和显示。由于两个独立的设备通过IP网络接收音视频数据码流，而IP网络的不稳定性，声音和视频到达不同设备的时间可能是不同的，如果每个设备直接播放所接收到的音视频码流，就会存在音视频不同步的问题，即所显示的参会者说话时的口型与所对应的声音是不一致的。

本发明解决的就是在使用IP网络条件下分别传输声音和视频数据到不同设备时，进行音视频同步播放的问题。

发明内容

本发明提出了一种在不同设备上分别播放音频与视频的唇音同步方法，所述不同设备包括音频播放设备和视频播放设备，其特征在于，所述方法包括，

使用发送端发送音视频码至所述音频播放设备和视频播放设备，所述发送端对其发送的数据包增加时间戳信息，所述音频播放设备和视频播放设备分别使用同步机制以同步播放具备相同时间戳的音频和视频信息。

进一步的，音频播放设备和视频播放设备为声音和视频各自维护了一个缓冲队列，待缓冲一定数量的数据包之后，再通过所述同步机制进行播放。

进一步的，其还包括将所述声音播放设备在同步机制中设为主动方，其从本地的缓冲队列中均匀地播放声音数据，同时按一时间周期定期地向视频显示设备发送同步消息，把当前正在播放的声音数据的采集时间戳同步给视频显示设备，视频显示设备根据所收到的时间戳来控制视频数据的缓冲队列长度，进行适度播放，从而保证声音和视频的同步

进一步的，所述声音播放设备每播放一所述时间周期的数据，就向视频播放设备发送一个同步消息，所述视频播放设备收到同步消息后，返回一个确认消息至所述发送端，所述确认消息中包括接收到的来自于音频播放设备的当前发送时间戳；当确认消息被发送端接收到时，发送端用当前接收的系统时间减去发送时的系统时间以确认在当前网络下的往返延时值Δ；

所述发送端每隔一加权周期对所述往返延时值Δ进行加权处理后发送至所述声音播放设备，所述声音播放设备将采集时间戳加上当前的加权处理后的往返延时值Δ后发送至所述视频播放设备，所述视频播放设备按照该时间戳进行视频的同步播放。

进一步的，所述对所述往返延时值Δ进行加权处理包括，将往返延时值Δ除以2得到单向延时值并对所述单向延时值采用滤波算法处理。