[发明专利]一种声乐学习电子辅助发音系统

摘要

本发明公开了一种声乐学习电子辅助发音系统，包括音频采集模块、口型图像采集模块、喉头位置检测模块、特征信号采集模块、呼吸频率采集模块、数据处理模块、发音标准评估模块、口型标准评估模块、音高提取模块、节拍提取模块、音符音高和音符时值模型构建模块、初级评估模块、综合评估模块、发音辅助指导模块、培训方案生成模块和中央处理器。本发明基于计算机系统完成了整个发音情况检测过程中的数据的采集以及评估，自动化程度高，且涉及面广，可一次性完成喉头的位置及稳定性情况、声音的音色情况、音频穿透力情况、泛音运用情况以及吐字在发声中的保持情况、口型、音高、节拍的检测分析，可以得出针对性的培训方案，提高了学生的学习效率。

主权项

声乐学习电子辅助发音系统，其特征在于，包括：音频采集模块，用于通过拾音器进行练习者发声音频数据的采集，并将采集到的数据发送到发音标准评估模块；口型图像采集模块，用于通过摄像头进行学习者口型以及舌头位置图像的音频采集模块，用于采集练习者的发声音频，并将采集到的音频数据发送到数据处理模块；喉头位置检测模块，通过安装在弹力颈套内的加速度传感器进行弹力颈套加速度数据的采集，并将采集到的数据通过北斗模块发送到数据处理模块；特征信号采集模块，用于按照预设频率通过传感器组采集发声者的特征信号，并将采集到的特征信号通过北斗模块发送到数据处理模块，所述特征信号包括声门下压、声门气流和声级；呼吸频率采集模块，通过呼吸频率传感器进行练习者的呼吸频率的采集，并将采集到的数据发送到发音标准评估模块；数据处理模块，用于通过kinect深度传感器对所接收到的口型图像数据进行人体深度信息以及骨骼信息获取，并将获取的数据发送到发音评估模块；用于接收特征信号，通过声门下压法和波流指数法分别对特征信号进行计算，获得两种算法下的发声效率，按照预设的算法输出音频穿透力评估结果，并以声门下压法测量结果为横坐标，以波流指数法测量结果为纵坐标建立声带振动发声效率坐标图；还用于消除所得骨骼信息的抖动和噪声干扰，并获取所有骨骼对的角度旋转移动SO3矩阵信息；还用于对音频采集模块所发送的音频数据进行消噪处理；发音标准评估模块，用于根据接收到的弹力颈套加速度数据、呼吸频率数据以及数据处理模块发送的人体深度信息数据与标准数据库内的弹力颈套加速度标准数据、呼吸频率标准数据以及人体深度信息进行对比，进行发音情况的评估，如果差距小于某个门限，则认为发音标准，否则认为不标准；口型标准评估模块，用于将计算所得的骨骼对的角度旋转移动SO3矩阵信息与口型标准数据库内录制的标准口型姿态信息进行对比，如果差距小于某个门限，则认为口型标准，否则认为不标准；音高提取模块，用于从经消噪处理后的音频数据的音频帧中提取音高；节拍提取模块，用于从音高提取模块获取音频帧的音高，累积分析音频帧的音高变化情况，判断出其中包含的旋律段后提取该旋律段的节拍信息；音符音高和音符时值模型构建模块，用于根据预先建立的音符音高模型集，利用提取的音高分别计算出当前音频帧属于所述音符音高模型集中各个音符音高模型的概率值，根据计算的概率值以及音符音高模型集对当前音频帧进行音符音高模型匹配识别，若当前音频帧与其前一相邻音频帧分属不同的音符音高模型时，记录下当前音频帧号；在按照上述方式依序处理完采集到的音频的所有音频帧后，确定出采集到的音频所对应的音符音高模型序列以及序列中各个音符音高模型的起始音频帧号，计算出所述各个音符音高模型各自所持续的音频帧数；根据预先建立的音符时值模型集，从确定的音符音高模型序列中依次选取出一个音符音高模型，利用其所持续的音频帧数分别计算出所述音符音高模型属于所述音符时值模型集中各个音符时值模型的概率值，进行音符时值模型匹配识别；在按照上述方式依序处理完所确定的全部音符音高模型序列后，得出采集到的音频所包含的各个音符音高模型序列以及各个音符音高模型持续音频帧数所对应的音符时值模型，形成一组<音符音高模型，音符时值模型>序列；初级评估模块，用于将所得的<音符音高模型，音符时值模型>序列与标准序列数据库内的模型序列进行对比计算后输出演唱技能初级评估结果；综合评估模块，用于通过预设的算法根据发音标准评估模块、口型标准评估模块、初级评估模块所得的结果以及数据处理模块所得的音频穿透力评估结果进行声乐发音情况的综合评估，并将评估结果发送到显示屏进行显示；发音辅助指导模块，用于根据发音标准评估模块、口型标准评估模块的评估结果输出标准的口型数据、喉头移动状态数据、呼吸频率数据到显示屏进行显示；培训方案生成模块，用于通过人工专家根据综合评估模块的评估结果进行培训方案的输出；中央处理器，用于协调上述各模块进行工作。