[发明专利]声乐学习电子辅助发音系统

摘要

本发明公开了一种声乐学习电子辅助发音系统，包括口型以及舌头位置图像采集模块，音频采集模块，数据处理模块，发音标准评估模块，口型标准评估模块，音高提取模块，节拍提取模块，音符音高和音符时值模型构建模块，演唱技能初级评估模块，综合评估模块，发音辅助指导模块，培训方案生成模块，中央处理器。本发明基于计算机系统完成了整个声乐技能检测过程中的数据的采集以及评估，自动化程度高，且涉及面广，可一次性完成喉头的位置及稳定性情况、声音的音色情况、音频穿透力情况、泛音运用情况以及吐字在发声中的保持情况的检测分析，从而可以得出针对性的培训方案。

主权项

1.一种声乐学习电子辅助发音系统，其特征在于，包括：口型以及舌头位置图像采集模块，用于通过摄像头进行学习者口型以及舌头位置图像的采集，并将所采集到的图像发送到数据处理模块；音频采集模块，用于采集外界的音频数据，并将采集到的音频数据发送到数据处理模块；数据处理模块，用于通过kinect深度传感器进行人体深度信息以及骨骼信息获取，并将获取的数据发送到发音评估模块；还用于消除所得骨骼信息的抖动和噪声干扰，并获取所有骨骼对的角度旋转移动SO3矩阵信息；还用于对音频采集模块所发送的音频数据进行消噪处理；发音标准评估模块，用于根据数据处理模块发送的人体深度信息与标准数据库内的人体深度信息进行对比，进行发音情况的评估，如果差距小于某个门限，则认为发音标准，否则认为不标准；口型标准评估模块，用于将计算所得的骨骼对的角度旋转移动SO3矩阵信息与口型标准数据库内录制的标准口型姿态信息进行对比，如果差距小于某个门限，则认为口型标准，否则认为不标准；音高提取模块，用于从经消噪处理后的音频数据的音频帧中提取音高；节拍提取模块，用于从音高提取模块获取音频帧的音高，累积分析音频帧的音高变化情况，判断出其中包含的旋律段后提取该旋律段的节拍信息；音符音高和音符时值模型构建模块，用于根据预先建立的音符音高模型集，利用提取的音高分别计算出当前音频帧属于所述音符音高模型集中各个音符音高模型的概率值，根据计算的概率值以及音符音高模型集对当前音频帧进行音符音高模型匹配识别，若当前音频帧与其前一相邻音频帧分属不同的音符音高模型时，记录下当前音频帧号；在依序处理完采集到的音频的所有音频帧后，确定出采集到的音频所对应的音符音高模型序列以及序列中各个音符音高模型的起始音频帧号，计算出所述各个音符音高模型各自所持续的音频帧数；根据预先建立的音符时值模型集，从确定的音符音高模型序列中依次选取出一个音符音高模型，利用其所持续的音频帧数分别计算出所述音符音高模型属于所述音符时值模型集中各个音符时值模型的概率值，进行音符时值模型匹配识别；在依序处理完所确定的全部音符音高模型序列后，得出采集到的音频所包含的各个音符音高模型序列以及各个音符音高模型持续音频帧数所对应的音符时值模型，形成一组<音符音高模型，音符时值模型>序列；演唱技能初级评估模块，用于将所得的<音符音高模型，音符时值模型>序列与标准序列数据库内的模型序列进行对比计算后输出演唱技能初级评估结果；综合评估模块，用于通过预设的算法根据发音标准评估模块、口型标准评估模块以及演唱技能初级评估模块所得的结果进行声乐发音情况的综合评估，并将评估结果发送到显示屏进行显示；发音辅助指导模块，用于根据发音标准评估模块、口型标准评估模块的评估结果输出正确的口型以及舌头位置数据到显示屏进行显示；培训方案生成模块，用于通过人工专家根据综合评估模块的评估结果进行培训方案的输出；中央处理器，用于协调上述各模块进行工作。