[发明专利]混音方法、装置、设备、系统及可读存储介质

权利要求书

1.一种混音方法，其特征在于，应用于多点会议控制器，包括：

接收各个会议终端发送的音频RTP包，并读取各个所述音频RTP包的扩展头信息；所述扩展头信息包括声音特征信息或静音标记信息；

利用当前混音时间对应的所述静音标记信息判断当前混音时间是否为静音状态；

如果是，则生成含有静音标记的音频帧；

如果否，则利用所述声音特征信息从各个所述音频RTP包中筛选出目标音频RTP包，并对所述目标音频RTP包进行解码混音；对混音结果进行编码，得到当前混音时间各个所述会议终端分别对应的混音RTP包，将所述混音RTP包发送至各个所述会议终端，以便所述会议终端利用所述混音RTP包播放会议语音；

所述声音特征信息包括语音标记、能量值、噪音标记和音乐标记；利用所述声音特征信息从各个所述音频RTP包中筛选出目标音频RTP包，包括：

判断具有所述声音特征信息的音频RTP包的路数是否小于预设阈值；

如果否，则按所述能量值的大小进行排序，并结合所述音乐标记、所述语音标记和所述噪音标记筛选出所述目标音频RTP包；

如果是，则将具有所述声音特征信息的音频RTP包确定为所述目标音频RTP包。

2.根据权利要求1所述的混音方法，其特征在于，所述对混音结果进行编码，得到混音RTP包，包括：

分别判断各个所述会议终端分别对应的上一帧混音RTP包是否发送给各个所述会议终端；

将未发送的帧数添加至相应的会议终端对应的RTP扩展头中，获得所述混音RTP包。

3.根据权利要求1所述的混音方法，其特征在于，在所述生成含有静音标记的音频帧之后，还包括：

分别判断各个所述会议终端对应的所述音频帧对应的上一个音频帧是否包括所述静音标记；

如果否，则将预设字节数据作为帧数据并将RTP扩展头中添加所述静音标记，将所述含有静音标记的音频帧发送至相应所述会议终端；

如果是，则不发送所述含有静音标记的音频帧。

4.根据权利要求1至3任一项所述的混音方法，其特征在于，在所述接收各个会议终端发送的音频RTP包之前，包括：

各个所述会议终端生成并发送的具有与声音识别结果相匹配的扩展头信息的音频RTP包；其中，所述声音识别结果为所述会议终端利用声音特征识别模型对自身采集得到的声音信号进行识别后获得的；所述声音特征识别模型为利用深度学习训练后获得的模型。

5.一种混音方法，其特征在于，应用于选择性转发单元，包括：

接收各个会议终端发送的音频RTP包，并读取各个所述音频RTP包的扩展头信息；所述扩展头信息包括声音特征信息或静音标记信息；

利用所述静音标记信息判断当前混音时间是否为静音状态；

如果是，则暂停向各个接收终端转发所述音频RTP包；

如果否，则利用所述声音特征信息从各个所述音频RTP包中筛选出目标音频RTP包，将所述目标音频RTP包发送至各个所述接收终端，以便所述接收终端利用所述目标音频RTP包进行混音后播放会议语音；

所述声音特征信息包括语音标记、能量值、噪音标记和音乐标记；利用所述声音特征信息从各个所述音频RTP包中筛选出目标音频RTP包，包括：

判断具有所述声音特征信息的音频RTP包的路数是否小于预设阈值；

如果否，则按所述能量值的大小进行排序，并结合所述音乐标记、所述语音标记和所述噪音标记筛选出所述目标音频RTP包；

如果是，则将具有所述声音特征信息的音频RTP包确定为所述目标音频RTP包。

6.根据权利要求5所述的混音方法，其特征在于，所述接收各个会议终端发送的音频RTP包，包括：

接收各个会议终端发送的具有与声音识别结果相匹配的扩展头信息的音频RTP包；其中，所述声音识别结果为所述会议终端利用声音特征识别模型对自身采集得到的声音信号进行识别后获得的；所述声音特征识别模型为利用深度学习训练后获得的模型。