[发明专利]一种唇音同步方法和装置

说明书

本申请提供一种唇音同步方法和装置，该方法包括：接收第一设备的视频帧和音频帧；以及，接收所述第一设备的视频同步参数对和音频同步参数对；所述视频同步参数对包括视频数据的采集时刻与视频帧的时间戳的对应关系，所述音频同步参数对包括音频数据的采集时刻与音频帧的时间戳的对应关系；基于所述第一设备的视频同步参数对，确定所述第一设备的视频帧的采集时刻；以及，基于所述第一设备的音频同步参数对，确定所述第一设备的音频帧的采集时刻；基于所述第一设备的视频帧的采集时刻与音频帧的采集时刻，对所述第一设备的视频帧与音频帧进行同步。该方法可以实现视频会议中的唇音同步。

技术领域

本申请涉及视频会议以及实时通信，尤其涉及一种唇音同步方法和装置。

背景技术

视频会议，是指位于两个或多个地点的人们，通过通信设备和网络，进行面对面交谈的会议。使用视频会议系统，参会者可以听到其它会场的声音、看到其它会场现场参会人的形象、动作和表情，还可以发送电子演示内容，使与会者有身临其境的感觉。

视频会议系统涉及到音视频的传输，同一个与会者的音频和视频在传输过程中可能会由于网络因素导致到达接收端的时间不一样，从而导致唇音不同步。

发明内容

有鉴于此，本申请提供一种唇音同步方法和装置。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种唇音同步方法，包括：

接收第一设备的视频帧和音频帧；以及，接收所述第一设备的视频同步参数对和音频同步参数对；所述视频同步参数对包括视频数据的采集时刻与视频帧的时间戳的对应关系，所述音频同步参数对包括音频数据的采集时刻与音频帧的时间戳的对应关系；

基于所述第一设备的视频同步参数对，确定所述第一设备的视频帧的采集时刻；以及，基于所述第一设备的音频同步参数对，确定所述第一设备的音频帧的采集时刻；

基于所述第一设备的视频帧的采集时刻与音频帧的采集时刻，对所述第一设备的视频帧与音频帧进行同步。

根据本申请实施例的第一方面，提供一种唇音同步装置，包括：

接收单元，用于接收第一设备的视频帧和音频帧；以及，接收所述第一设备的视频同步参数对和音频同步参数对；所述视频同步参数对包括视频数据的采集时刻与视频帧的时间戳的对应关系，所述音频同步参数对包括音频数据的采集时刻与音频帧的时间戳的对应关系；

确定单元，用于基于所述第一设备的视频同步参数对，确定所述第一设备的视频帧的采集时刻；以及，基于所述第一设备的音频同步参数对，确定所述第一设备的音频帧的采集时刻；

处理单元，用于基于所述第一设备的视频帧的采集时刻与音频帧的采集时刻，对所述第一设备的视频帧与音频帧进行同步。

本申请实施例的唇音同步方法，通过接收第一设备的视频帧和音频帧；以及，接收第一设备的视频同步参数对和音频同步参数对，基于第一设备的视频同步参数对，确定第一设备的视频帧的采集时刻；以及，基于第一设备的音频同步参数对，确定第一设备的音频帧的采集时刻；进而，基于第一设备的视频帧的采集时刻与音频帧的采集时刻，对第一设备的视频帧与音频帧进行同步，从而实现了视频会议中的唇音同步。

附图说明

图1是本申请一示例性实施例示出的一种唇音同步方法的流程示意图；

图2是本申请又一示例性实施例示出的另一种唇音同步方法的流程示意图；

图3是本申请又一示例性实施例示出的另一种唇音同步方法的流程示意图；

图4是本申请一示例性实施例示出一种视频会议系统的架构示意图；

图5A～图5D是本申请示例性实施例示出的音视频数据转发场景的示意图；