[发明专利]一种智能钢琴教学系统

摘要

本发明公开了一种智能钢琴教学系统，包括声音采集模块，视频采集模块，人机交互模块，声音处理模块，压力传感器，音高提取器，节拍提取器，乐理信息解码器，乐谱生成器，视频数据处理模块，动作标准判断模块，动作指导建议输出模块，三维教学模块，专家评估模块，每日任务接收模块，每日任务完成情况汇总模块，疑难问题汇总模块，疑难问题解答模块，教师终端，学生终端，中央处理器。本发明提高了钢琴训练的音准度；采用动态的三维形式进行教学视频和训练视频的投放，大大提高了学生的学习兴趣和学习效率，实现了在整个教学过程各个学生学习情况的采集和评估，并可以选择性的对某个学生的弹奏作品进行讲解，智能化程度高。

主权项

一种智能钢琴教学系统，其特征在于，包括声音采集模块，通过安装在钢琴上的多个麦克风采集钢琴发出的音频，并将采集到的音频数据发送到声音处理模块；视频采集模块，通过安装在钢琴上的摄像头进行教师教学弹奏过程以及学生练习弹奏的手指状态视频数据的采集，并将采集到的视频数据发送到视频数据处理模块；人机交互模块，采用触摸电子屏，安装在钢琴上，用于接收压力传感器检测到的压力值，并将压力值发送到专家评估模块和教师终端；还用于控制背景生产模块，并用于输入人为调用命令，调用数据库中的数据；声音处理模块，用于对采集到的音频进行消噪处理，并将获得消噪处理声音信号导入系统，并传送到音高提取器和数据库；压力传感器，安装在每个钢琴键下端，用于检测弹奏过程中每个钢琴键受到的压力值；音高提取器，用于从消噪处理声音信号逐音频帧提取音高；节拍提取器，用于从音高提取器获取语音的音帧的音高，累积分析音频帧的音高变化情况，判断出其中包含的旋律段后提取该旋律段的节拍信息；乐理信息解码器，用于根据预先建立的音符音高模型集，利用提取的音高分别计算出当前音频帧属于所述音符音高模型集中各个音符音高模型的概率值，根据计算的概率值以及音符音高模型集对当前音频帧进行音符音高模型匹配识别，若当前音频帧与其前一相邻音频帧分属不同的音符音高模型时，记录下当前音频帧号；在按照上述方式依序处理完采集到的音频的所有音频帧后，确定出采集到的音频所对应的音符音高模型序列以及序列中各个音符音高模型的起始音频帧号，计算出所述各个音符音高模型各自所持续的音频帧数，并通过节拍提取器提取采集到的音频包含的节拍信息；根据预先建立的音符时值模型集，从确定的音符音高模型序列中依次选取出一个音符音高模型，利用其所持续的音频帧数分别计算出所述音符音高模型属于所述音符时值模型集中各个音符时值模型的概率值，进行音符时值模型匹配识别；在按照上述方式依序处理完所确定的全部音符音高模型序列后，得出采集到的音频所包含的各个音符音高模型序列以及各个音符音高模型持续音频帧数所对应的音符时值模型，形成一组<音符音高模型，音符时值模型>序列；乐理处理与变换器，用于根据音高提取器提取的音高和节拍提取器提取的节拍信息，对确定出的采集到的音频的<音符音高模型，音符时值模型>序列进行乐理转换处理，得到对应的<标准音符，标准时值>序列；乐谱生成器，用于根据所述<标准音符，标准时值>序列生成对应的乐谱，并将乐谱发送到教师终端、数据库以及对应的学生终端；视频数据处理模块，通过kinect深度传感器进行骨骼信息获取；还用于消除所获得骨骼信息的抖动和噪声干扰，并计算获取所有骨骼对的角度旋转移动S03矩阵信息；动作标准判断模块，用于将计算所得的骨骼对的角度旋转移动S03矩阵信息与标准动作数据库内录制的标准动作信息进行比较，如果差距小于某个门限，则认为标准，否则认为不标准；动作指导建议输出模块，根据动作标准判断模块的评估结果进行指导，并输出指导意见到学生终端进行显示；三维教学模块，包括空气屏幕生成系统、若干组3D投影仪、音乐背景播放模块和素材数据库，用于根据中央处理器发送的控制命令从素材数据库以及数据库内调用相应的数据建立各种场景、动态三维模型、互动三维模型；专家评估模块，用于将接收到的压力值数据，通过人工并对其进行评估，给出针对性的训练建议；每日任务接收模块，用于接收教师终端输入的每天需要完成的任务数据，并按学生信息分类后发送到指定的学生终端；每日任务完成情况汇总模块，用于接收学生终端上传以及输入的任务完成数据，并按学生信息分类后发送到指定的教师终端；疑难问题汇总模块，用于进行学生学习过程中疑难问题的汇总，并将所接收的疑难问题按照学生的信息进行分类后发送到指定的教师终端；疑难问题解答模块，用于接收教师输入的疑难问题解答数据，并按照学生的信息分类后发送到指定的学生终端；教师终端，用于接收乐谱生产器、人机交互模块、动作标准判断模块、专家评估模块发送的数据，并针对性的安排训练任务；同时用于根据每天的课程发送钢琴乐理知识数据；学生终端，用于接收乐谱生产器、专家评估模块以及教师终端发送的数据，并完成训练任务；中央处理器，用于协调上述模块工作，用于接收人机操作模块输入的各种控制命令，并按照预设的算法发送到指定模块；还用于用户注册、权限管理以及密码修改。