[发明专利]一种基于感兴趣区域的音频增强编码传输系统及方法

说明书

本发明公开了一种基于感兴趣区域的音频增强编码传输系统及方法，该系统包含：麦克风阵列采样模块、多声源提取模块、降采样模块、神经网络感兴趣识别模块、声音感兴趣选择模块、声音感兴趣编码模块、打包传输模块、声音感兴趣解码模块、升采样模块、声音选择混合模块和扬声器渲染模块。本发明的一种基于感兴趣区域的音频增强编码传输系统及方法，对感兴趣区域的声音采用高帧率编码，提高感兴趣区域的声音内容信息量，非感兴趣区域采用低帧率编码，平衡网络传输与后续数据存储数据量。

技术领域

本发明涉及一种基于感兴趣区域的音频增强编码传输系统及方法。

背景技术

现有声音采集设备对各个方位声音无差别选择或挑响度最高声音进行统一音频编码，这边感兴趣区域的声音与非感兴趣区域的声音无差统一处理，这里制造无用信息对传输与存储资源占用，无法平衡网络传输与后续数据存储数据量。

发明内容

本发明提供了一种基于感兴趣区域的音频增强编码传输系统及方法解决上述提到的技术问题，具体采用如下的技术方案：

一种基于感兴趣区域的音频增强编码传输系统，包含：麦克风阵列采样模块、多声源提取模块、降采样模块、神经网络感兴趣识别模块、声音感兴趣选择模块、声音感兴趣编码模块、打包传输模块、声音感兴趣解码模块、升采样模块、声音选择混合模块和扬声器渲染模块；

麦克风阵列采样模块通过多个麦克风采集声音，每个麦克风独立输出高采样率的PCM音频数据和时间戳至多声源提取模块；

多声源提取模块接收麦克风阵列采样模块发送的每个声音源的PCM音频数据和时间戳，获取每个声音源的角度方位，分别针对每个声音源的角度，使用多个麦克风接收到声波的相位之间的差异对余下角度的声波进行过滤，得到需要的每个声音源的高采样率PCM数据，根据每个声音源的角度获取区块标号，把每个声音源的高采样率PCM数据、区块标号和时间戳发送至降采样模块和声音感兴趣编码模块；

降采样模块对每个声音源的高采样率PCM数据进行降低采样率处理得到第一低采样率PCM数据，将每个声音源的第一低采样率PCM数据、区块标号和时间戳发送至神经网络感兴趣识别模块，降采样模块再对每个声音源的第一低采样率PCM数据进行降低采样率处理得到第二低采样率PCM数据，将每个声音源的第二低采样率PCM数据、区块标号和时间戳发送至声音感兴趣编码模块；

神经网络感兴趣识别模块接收每个声音源的第一低采样率PCM数据、区块标号和时间戳，将语音转为文字，对文字进行分类，判断其是否为感兴趣的声音源，神经网络感兴趣识别模块将每个声音源的分类结果、区块标号和时间戳发送至声音感兴趣选择模块；

声音感兴趣选择模块接收神经网络感兴趣识别模块的每个声音源的分类结果、区块标号和时间戳，声音感兴趣选择模块把时间戳按照分片时长T进行分片，将该时间戳除以分片时长T得到时间编号序号，联合时间编号序号和区块标号生成每个声音源的分区时间槽位ID，对于分类结果为感兴趣的声音源，把符合声音源对区块标号以及时间编号序号大于等于当前时间编号序号且时间编号序号小于等于当前时间编号序号加调节宽度K的分区时间槽位ID标识为感兴趣选择，并将标识为感兴趣选择的分区时间槽位ID发送至声音感兴趣编码模块；