[发明专利]一种实时音频传输系统及其使用方法

权利要求书

1.一种实时音频传输系统，其特征在于：建立包括如下五个部分的音频传输构架：

音频发布源(Src)，能够将自身采集的音频数据发出，且所有音频发布源在发出音频数据的同时携带一个用来描述当前音频数据的音量大小的字段；

音频服务单元(MSU)，能从音频发布源或其他音频服务单元订阅音频数据，并能将接收到的音频数据分发出去；音频服务单元能运行在客户端，也能运行在服务器端；音频服务单元具有传输网络的Qos服务功能，音频服务单元还具有能对分发的音频数据进行动态管理功能；

音频订阅端(Subs)，能从音频服务单元订阅音频数据；

音频中转服务器端(SS)，能作为音频发布源，将自身采集的音频数据发送给音频服务单元；也能从音频服务单元订阅音频数据，然后对音频数据进行处理，再将处理后的音频数据发送出去，这里的处理包括以下内容之一或任意组合：提取、混合、解码、编码；

群组控制单元(GCU)，负责实时音频会议群组的会话管理，实时音频会议群组的用户包括：音频发布源或音频中转服务器端、音频服务单元、音频订阅端；群组控制单元会主动为该实时音频会议群组生成一个音频服务管理单元(Main MSU)和若干个为实时音频会议群组的用户服务的音频服务单元，音频服务管理单元同时具有音频服务单元的所有功能；

客户端在使用上述音频传输构架时，采用如下三种模式：

第一模式：

有N个客户端注册音频发布源，N为自然数，并通过网络连接到群组控制单元，同时发布自己具有发出音频数据的能力；至少一个音频中转服务器端，并通过网络连接到群组控制单元，同时发布自己具有发出音频数据的能力，也具有能从音频服务单元订阅音频数据、然后对音频数据进行处理、再将处理后的音频数据发送出去的能力；M个客户端注册音频订阅端，M为自然数，并通过网络连接到群组控制单元，表示自己需要订阅音频数据；群组控制单元为N个音频发布源、音频中转服务器端和M个音频订阅端建立一个实时通信群组，同时马上生成一个音频服务管理单元和若干个实时音频会议群组的用户服务的音频服务单元；N个音频发布源通过运行在自身上的音频服务单元或通过其他音频服务单元将自身的音频数据发送给音频中转服务器端，音频中转服务器端动态提取音量最大的两路音频数据，并将这两路音频数据不做音频解码和编码直接一起发送给各个音频订阅端；

第二模式：

有N个客户端注册音频发布源，N为自然数，并通过网络连接到群组控制单元，同时发布自己具有发出音频数据的能力；至少一个音频中转服务器端，并通过网络连接到群组控制单元，同时发布自己具有发出音频数据的能力，也具有能从音频服务单元订阅音频数据、然后对音频数据进行处理、再将处理后的音频数据发送出去的能力；M个客户端注册音频订阅端，M为自然数，并通过网络连接到群组控制单元，表示自己需要订阅音频数据；群组控制单元为N个音频发布源、音频中转服务器端和M个音频订阅端建立一个实时通信群组，同时马上生成一个音频服务管理单元和若干个实时音频会议群组的用户服务的音频服务单元；N个音频发布源通过运行在自身上的音频服务单元或通过其他音频服务单元将自身的音频数据发送给音频中转服务器端，音频中转服务器端按照如下a、b两种情况进行处理：

a、音频订阅端所在的客户端不发声，或音频订阅端所在的客户端同时注册了音频发布源，且该客户端发出的音频数据发声音量小于音量最大的两路音频数据，音频中转服务器端提取当前时间段内所接收到的所有音频数据中音量最大的两路音频数据，并进行解码，然后将解码后的两路音频数据合并为一路新的音频数据，将混合后的一路新的音频数据进行编码，将编码后的这路新的音频数据发送给音频订阅端；

b、音频订阅端所在的客户端同时注册了音频发布源，且该客户端发出的音频数据的为音量最大的两路音频数据之一，提取当前时间段内所接收到的所有音频数据中音量最大的两路音频数据，去除自己发出的音频数据，将另一路音频数据不做音频解码和编码直接转发给音频订阅端；

由此，第二模式下，音频中转服务器端在同一个时间点最多进行两路音频解码和一路混合后的音频编码；

第三模式：

有N个音频中转服务器端，并通过网络连接到群组控制单元，同时发布自己具有发出音频数据的能力，也具有能从音频服务单元订阅音频数据、然后对音频数据进行处理、再将处理后的音频数据发送出去的能力，此时每个音频发布源同时也是音频订阅端；群组控制单元为N个音频中转服务器端建立一个实时通信群组，同时马上生成一个音频服务管理单元和若干个实时音频会议群组的用户服务的音频服务单元；任意一个音频中转服务器端判断如果当前接收的两路及以上音频数据的音量大于自己发出的音频数据音量时，则不将接收的音频数据向外发送，如果当前接收的音频数据只有一路或虽然有多路但没有音量大于自己的音频数据，则将接收的那一路音频数据向外发送或将接收的多路音频数据中音量最大的两个音频数据合并成一路新的音频数据向外发送。