[发明专利]一种基于视频通信的音视频同步方法

权利要求书

1.一种基于视频通信的音视频同步方法，其特征在于，包括：

获得第一视频通信终端在第一时间发送的第一待处理音频数据包，其中，该第一待处理音频数据包包括第一待处理语音信息和该第一待处理语音信息对应的第一时间戳信息；

获得第二视频通信终端在所述第一时间之前发送的至少一个第二已处理音频数据包的音频属性信息；

在预设的音频处理方法集合包括的多个音频处理方式中，基于所述音频属性信息确定出目标音频处理方式，其中，所述音频处理方式是指基于预设的神经网络模型对待处理语音信息进行处理，不同的音频处理方式中包括的神经网络模型的数量不同，和/或，不同的音频处理方式中包括的相同类型的神经网络模型在训练过程中训练样本的数量和迭代次数不同；

基于所述目标音频处理方式对所述第一待处理音频数据包中的第一待处理语音信息进行处理，得到第一已处理语音信息；

基于所述第一已处理语音信息和所述第一时间戳信息，得到所述第一待处理音频数据包对应的第一已处理音频数据包；

将所述第一已处理音频数据包发送给所述第二视频通信终端，以使该第二视频通信终端基于该第一已处理音频数据包中的第一时间戳信息和获取到的视频数据包中的第二时间戳信息，将该第一已处理音频数据包中的第一已处理语音信息与该视频数据包中的视频信息进行同步播放处理；

其中，所述在预设的音频处理方法集合包括的多个音频处理方式中，基于所述音频属性信息确定出目标音频处理方式的步骤，包括：

基于预设的第一对应关系，得到所述音频属性信息对应的音频处理效率信息，其中，所述第一对应关系中具有一一对应的多种音频属性信息和多种音频处理效率信息；

对所述至少一个第二已处理音频数据包包括的第二已处理语音信息进行语义识别处理，确定所述第二视频通信终端对应的第二用户是否有表示请求所述第一视频通信终端对应的第一用户进行重新陈述；

若所述第二视频通信终端对应的第二用户有表示请求所述第一视频通信终端对应的第一用户进行重新陈述，则对所述音频处理效率信息进行效率值降低处理，得到新的音频处理效率信息；

在预设的音频处理方法集合包括的多个音频处理方式中，根据各所述音频处理方式对待处理语音信息的处理效率和所述新的音频处理效率信息，确定出目标音频处理方式；

其中，所述获得第二视频通信终端在所述第一时间之前发送的至少一个第二已处理音频数据包的音频属性信息的步骤，包括：

获得基于第二视频通信终端在所述第一时间之前发送的至少一个第二待处理音频数据包进行处理得到的至少一个第二已处理音频数据包；

基于所述至少一个第二已处理音频数据包对目标数据库进行遍历处理，得到该至少一个第二已处理音频数据包对应的第一遍历结果；

基于所述第一遍历结果中的目标第一音频属性信息在本地数据库的音频属性关联关系中进行关联查找处理，得到所述目标第一音频属性信息对应的目标第二音频属性信息，其中，所述音频属性关联关系中的每一条信息关联子关系包括第一音频属性子信息集合和对应的第二音频属性信息，该第一音频属性子信息集合至少包括多个第一音频属性子信息中的部分多个，该多个第一音频属性子信息基于对第一音频属性信息进行分解处理得到；

基于所述目标第二音频属性信息对所述第一遍历结果中的所述目标第一音频属性信息进行更新处理，得到第二遍历结果；

将所述第二遍历结果作为所述至少一个第二已处理音频数据包的音频属性信息；

其中，该方法还包括生成所述音频属性关联关系的步骤，该步骤包括：

获取至少一条音频属性对应关系，其中，每一条所述音频属性对应关系包括第一音频属性信息和对应的第二音频属性信息，所述至少一条音频属性对应关系基于响应用户的操作生成，或接收通信连接的其它设备发送的音频属性对应关系得到；

针对每一条所述音频属性对应关系，对该音频属性对应关系包括的信息内容进行格式校验处理，以基于该格式校验处理的结果确定该音频属性对应关系包括的信息内容的格式是否规范；

针对每一条所述音频属性对应关系，若该音频属性对应关系包括的信息内容的格式规范，则在历史音频属性对应关系集合中对将该音频属性对应关系进行比较处理，以基于比较处理的结果确定该音频属性对应关系是否属于重复音频属性对应关系；

针对每一条所述音频属性对应关系，若该音频属性对应关系在所述历史音频属性对应关系集合中不属于重复音频属性对应关系，则基于获取该音频属性对应关系的时间信息确定的目标数量从所述历史音频属性对应关系集合中抽取至少部分音频属性对应关系，其中，所述时间信息越晚，所述目标数量越大；

针对每一条不属于重复音频属性对应关系的所述音频属性对应关系，在所述至少部分音频属性对应关系的第一音频属性信息包括的各部分信息内容中，对该音频属性对应关系中的第一音频属性信息进行第一校验处理，其中，所述第一校验处理包括校验双方的第一音频属性信息是否相同；

针对每一条不属于重复音频属性对应关系的所述音频属性对应关系，若在所述至少部分音频属性对应关系的第一音频属性信息包括的各部分信息内容中，该音频属性对应关系中的第一音频属性信息的校验结果满足预设条件，则判定该音频属性对应关系通过所述第一校验；

针对每一条不属于重复音频属性对应关系的所述音频属性对应关系，若该音频属性对应关系通过所述第一校验，则对该音频属性对应关系中的第一音频属性信息进行分解处理，得到第一音频属性子信息集合；

针对每一条不属于重复音频属性对应关系的所述音频属性对应关系，基于该音频属性对应关系对应的第一音频属性子信息集合和对应的所述第二音频属性信息生成信息关联子关系；

针对每一条所述信息关联子关系，对该信息关联子关系进行关联关系验证处理；

针对每一条所述信息关联子关系，获得该信息关联子关系的关联关系验证结果，并基于该关联关系验证结果确定该信息关联子关系是否通过所述关联关系验证；

针对每一条所述信息关联子关系，若该信息关联子关系通过所述关联关系验证，则基于该信息关联子关系得到音频属性关联关系。