[发明专利]基于麦克风阵列的时频联合特征乐器音质评价系统及方法

权利要求书

1.基于麦克风阵列的时频联合特征乐器音质评价系统，其特征在于包括麦克风阵列模块、硬件预处理模块和时频联合评价模块；麦克风阵列模块用于乐器演奏时的声波信号采集，硬件预处理模块用于把采集的电信号转数字信号以及前置放大滤波，时频联合评价模块主要生成神经网络模型，并通过模型判断乐器的音质；时频联合评价模块包括信号重组降噪单元、声场时域特征值提取单元、频域特征值提取单元以及神经网络评价单元；

时频联合评价模块的信号重组降噪单元主要连接硬件预处理模块，从每个硬件预处理模块的独立存储单元中导出各自生成的预处理数字信号组，通过对每一组预处理数字信号进行拼接和分帧，组合后生成可播放的音频文件，每个音频文件对应了一个麦克风单元；随后对生成好的音频文件降噪，去除采集时带入的白噪声和环境噪声。

2.根据权利要求1所述的基于麦克风阵列的时频联合特征乐器音质评价系统，其特征在于麦克风阵列模块由多组麦克风、支架组成；每个麦克风采集所在点的声波信号，并通过连接电路把收到的电信号传输到硬件预处理模块。

3.根据权利要求2所述的基于麦克风阵列的时频联合特征乐器音质评价系统，其特征在于通过多组支架对麦克风进行安放和调节。

4.根据权利要求1所述的基于麦克风阵列的时频联合特征乐器音质评价系统，其特征在于硬件预处理模块将串口、控制芯片、独立存储单元、滤波放大电路集成在同一个集成电路板中，目的是将传入的电信号转化为数字信号；连接在板上的多个麦克风所传入的电信号，通过前置滤波放大，获得预处理的信号，随后每块电路板通过控制芯片内置程序通过数模转换，把得到的电信号转化为数字信号；因为控制芯片通常将连接在同一个硬件预处理模块上的多路麦克风采集的信号解析在一组信号里，因此把生成的一组数字信号称为预处理数字信号组，并将预处理数字信号组存入每个电路板自带的独立存储单元中；为了提升信噪比，获取更理想的信号，在前置放大滤波电路后还有一个小的滑动变阻器，可以放大或缩小信号。

5.根据权利要求1所述的基于麦克风阵列的时频联合特征乐器音质评价系统，其特征在于时频联合评价模块的声场时域特征值提取单元主要用于提取降噪后的音频文件的阵列相关时域特征值；同一种乐器在一次弹奏时采用n个麦克风同时采集，所得数据作为一组音频；根据声场分布的特性，这些不同位置的麦克风采集的声波信号是不同的；因为采集是同时进行的，对一组音频求取同一段时间内的两个音频之间的相关系数，最终组成一个n*n的相关系数矩阵；相关系数能够反映声场不同位置声波信号的相关性，即是能够反映出声场的时域特征，相关系数维度较大，需要进一步的降维，即需要对求得的矩阵求取特征值，一组特征值对应了乐器的一次演奏，反映了一次演奏的阵列相关时域特征。

6.根据权利要求1所述的基于麦克风阵列的时频联合特征乐器音质评价系统，其特征在于时频联合评价模块的频域特征值提取单元主要用于提取降噪后的音频文件的频域特征值；频率特征值选用较为常规的特征值提取方法，反映声场频域特征。

7.根据权利要求1所述的基于麦克风阵列的时频联合特征乐器音质评价系统，其特征在于时频联合评价模块的神经网络评价单元主要是对以上生成的特征值做标注后训练得到评价模型以及对需要评价的乐器音频求取评价结果；建立两个神经网络模型，一个用于时域的分析，一个用于频域的分析，当传入的是经过标注的训练数据时，将上面所得的特征值放入神经网络进行训练，通过参数的调整获得较为满意的评价模型；当传入的是未经评价的音频数据的时频特征时，通过对相应的时、频两个神经网络分别得出的结果求取平均值，便得到最终评价结果。

8.利用权利要求1~7任一项所述一种基于麦克风阵列的时频联合特征乐器音质评价系统的方法，其特征在于包括模型训练部分和乐器音质评价部分；

模型训练部分步骤包括：

（1）乐器演奏时，按照声场的特性，以设定弧度安放和调整麦克风阵列，通过多路麦克风获得声场的最佳状态，同时麦克风连接硬件预处理模块；

（2）麦克风连接好硬件预处理模块后，打开硬件预处理模块的独立电源，这时麦克风阵列开始录音采集工作，采集特定时长的乐器演奏结果，通过内置控制芯片的处理，把得到的电信号转化为预处理数字信号组存入硬件预处理模块独立存储单元中；

（3）时频联合评价模块的信号重组降噪单元在收到预处理数字信号组文件夹后，对每组预处理数字信号文件进行信号重组，生成对应麦克风采集的可播放音频文件，这时的音频含有环境噪声，随后对音频进行降噪处理，处理后的音频声音清晰可辨；

（4）时频联合评价模块的声场时域特征值提取单元对于传入的同一组降噪后的音频，两两求得之间的相关系数，一组n个麦克风最终组成一个n*n的相关系数矩阵；对矩阵求特征值进行降维，求得的n个特征值便是提取的阵列相关时域特征；

（5）时频联合评价模块的频域特征值提取单元提取降噪后的音频文件的频域特征值；频率特征值选用较为常规的特征值提取方法作为音频的频域特征；

（6）分别接收提取的阵列相关时域特征值，频域特征值，并标注好每个特征值对应的乐器的音质评价结果，分别对应传入建立好的时、频训练神经网络中，调整参数，使得耦合出的评价模型结果达到理想状态，得到最终的神经网络评价模型；

乐器音质评价部分包括如下步骤（1）~（6）：

（1）到（5）与所述模型训练部分相同；

（6）把处理得到的时域和频域特征分别传入模型训练后生成的时域和频域模型中，分别得到时域和频域的评价数值，最后对两个数值求取平均值得到系统的最后评价结果。