[发明专利]基于IOS可选择多音频通道硬件混音、采集及播放的方法

说明书

本发明公开了基于IOS可选择多音频通道硬件混音、采集及播放的方法，包括建立音频采集及播放设备接口、编解码器异步处理队列、主播连麦混音器、主播连麦编码器、数据网络广播模块及数据异步发送队列、音频解码器等流程；其采用全套硬件处理方式，包含音频硬转码、音轨硬混音和输入输出设备音频原始编码采集及处理，硬件核心处理可大幅提高程序的高效执行，降低音频采集和播放的音质损耗，减少系统资源占用，重点提高手机待电时长，经测试可有效提高IOS系统的待机时长约40％左右。

技术领域

本发明涉及音频处理技术领域，具体为基于IOS可选择多音频通道硬件混音、采集及播放的方法。

背景技术

目前，iOS系统不支持同个APP里重复挂接同一个采集设备，或播放设备，每个AUGraph里的每个AudioUnit的音频格式必须完全相同，在iphone不同型号手机或不同采集和播放设备连接时，音频数据也会有极大的偏差，这就需要将所有将会出现的格式最大化的分类处理掉，导致系统在转码过程中要一直等待转码结束，造成声音播放不及时或卡顿，同时，多次转码带来的不必要的系统资源消耗和效率消耗。

发明内容

本发明的目的在于提供基于IOS可选择多音频通道硬件混音、采集及播放的方法，在采集、播放及混音时均采用的原始音元数据PCM，直播发布到服务器之前将原始的音元数据转码成AAC，以解决上述背景技术中提出的多次转码带来的不必要的系统资源消耗和效率消耗等问题。

为实现上述目的，本发明提供如下技术方案：基于IOS可选择多音频通道硬件混音、采集及播放的方法，包括以下步骤：

S1：建立音频采集及播放设备接口：首先创建AudioComponentInstance，即音频组件实例，在初始化完成实例后，将实例与硬件设备关联，并使用系统提供的apiAudioUnitSetProperty，即音频组件实例的一个接口，打开对应的录制和播放端口，将录制和播放回调函数关联上去，进行声音的采集及播放；

S2：编解码器异步处理队列：建立一个异步顺序处理队列将所有数据顺序存储并按分段处理；

S3：主播连麦混音器：获得麦克风的音频和背景音乐及音效混音并压缩成AAC发给每个人，背景及音效和所有连麦者合成插入耳机的耳回，没有麦克风的声音的所有声音混音作为没有插入耳机的耳回；

S4：主播连麦编码器：主播连麦编码器用于将主播自己的声音、背景音乐和各个连麦者的声音混音后的数据编码压缩成AAC音频格式后进行网路发送广播给每一个连麦者和听众，并将原始的音元数据，即PCM压缩编码成高压缩比，高还原性的AAC；

S5：数据网络广播模块及数据异步发送队列：基于开源RTMP编码改良优化出特有DXRTMP模块，在原有基础上优化网络响应频率及广播率；

S6：音频解码器：解码器主要工作于接收到网络传输的AAC格式音频数据，用来将AAC压缩的音频数据还原成原始的音元数据PCM，即将音元数据还原成模拟声音。

优选的，所述步骤S3中混音器内核采用多线程数据队列多并发阻塞机制，同一编号类数据处理将等待该编号类前一数据处理完后才会继续处理，其他编号类不受影响，达到混音转码最大化效率。

优选的，所述步骤S4编码器将原始的音元数据转码成AAC采用单独的线程音元数据队列机制进行处理。

优选的，根据实际需求，麦克风采集音频、背景音乐及连麦音频需整体本机同步播放，播放的背景音乐、麦克风及其他用户连麦音频需整体网络广播发送，麦克风采集音频、背景音乐及其他用户连麦需单独点对点发送给其他连麦者。

优选的，音频输入输出设备均采用原始音元数据。

与现有技术相比，本发明的有益效果是：