[发明专利]智能钢琴训练的方法和系统

说明书

本发明提供一种智能钢琴训练方法，包括：获取用户弹奏钢琴的音频信息和视频信息；从所述音频信息中提取用户音频数据，并与音频数据库中存储的对应的参照音频数据相比较，获得所述用户音频数据与所述对应的参照音频数据的匹配度；从所述视频信息中截取与所述用户音频数据相对应的用户手部图像，通过手部模型识别所述用户手部图像中的用户手部数据，并与手部数据库中存储的对应的正确的手部数据相比较，获得所述用户手部数据与所述对应的参照手部数据的匹配度；以及基于所述用户音频数据与所述对应的参照音频数据的匹配度以及所述用户手部数据与所述对应的参照手部数据的匹配度，向用户反馈弹奏结果。

技术领域

本发明涉及深度学习领域，尤其涉及智能钢琴训练的方法和系统。

背景技术

钢琴弹奏中的音准、节奏、指法、手型等因素十分关键，是初学者必须反复练习的基本功，因此通常需要在专业的钢琴老师的监督、辅导下练习。然而，囿于受专业老师辅导的时间有限，初学者往往独自练习，导致各种错误得不到及时地反馈与纠正，练习效果欠佳。

现有技术中已有不少针对初学者进行自我练习时的钢琴训练方法，有的是依据所弹奏乐曲的音频数据来判断练习者弹奏乐曲的准确性，例如，将演奏者的音频信息与大师演奏的正确声音数据相比较，以此来判断音准、节奏、速度、力度，以此评估演奏结果；有的是基于钢琴演奏的视频图像来评估弹奏的准确性，例如，通过从钢琴教学视频中截取指关节和钢琴按键的图像建立标准指法模型图和标准按键顺序模型图，然后将练习视频与标准模型图进行对比分析，来实现自动纠错和智能教学；还有的综合考量演奏的音频数据和视频数据以判断钢琴演奏的正确性，例如，将音频数据及时间信号与标准音符数据相比较得到正确音符数据，并据此调取对应的演奏图像数据并进行视觉识别分析以获得演奏图像中正确手部数据，根据正确音符数据、正确手部数据以及标准音符数据计算钢琴演奏的评分，等等。

然而，现有的钢琴训练方法仍存在一些不足。一方面，仅以弹奏乐曲的音频数据作为评定基础的练习(或测评)方法可能会由于环境中杂音的干扰导致判断结果不准确。另外，由于该类方法仅关注弹奏的音符是否准确，因而无法对弹奏者的手部姿势、指法等其他重要方面进行反馈或纠正。另一方面，仅以弹奏的视频(或图像)数据作为判断基础的练习(或测评)方法可能会因其仅针对截取的弹奏者手部及琴键的图像孤立地进行识别，故无法与弹奏的乐曲有机结合。即使弹奏的指法和音符都正确，也会由于忽略了乐曲的节奏、速度等重要因素而影响判断结果的准确性。此外，现有的综合考虑弹奏者的音频和视频(或图像)数据的练习(或测评)方法中，但无法正确判断演奏者的指法，也不能进行及时反馈或纠正，因此无法实现真正专业的指导。

另外，对于手部信息的采集，现有技术中通过使用可穿戴设备(例如，数据手套)、移动追踪技术(例如，微型雷达系统)、或人工提取图像中的手势数据等技术。然而，在钢琴弹奏中，可穿戴设备的使用可能影响手臂(或手指)的灵活性，移动追踪技术对于探测手指在琴键上的移动或摁压琴键此类细微动作的精确度不高，而人工提取手势数据的工作量较大、专业性较高、泛化能力和鲁棒性都不尽如人意。

因此，亟需一种更加准确、合理的智能钢琴训练方法和系统。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种智能钢琴训练方法，所述方法包括：获取用户弹奏钢琴的音频信息和视频信息；从所述音频信息中提取用户音频数据，并与音频数据库中存储的对应的参照音频数据相比较，获得所述用户音频数据与所述对应的参照音频数据的匹配度；从所述视频信息中截取与所述用户音频数据相对应的用户手部图像，通过手部模型识别所述用户手部图像中的用户手部数据，并与手部数据库中存储的对应的正确的手部数据相比较，获得所述用户手部数据与所述对应的参照手部数据的匹配度，其中，所述手部模型以手部图像为输入数据，以所述手部图像中手部数据为输出数据，通过对神经网络进行训练获得；以及基于所述用户音频数据与所述对应的参照音频数据的匹配度以及所述用户手部数据与所述对应的参照手部数据的匹配度，向用户反馈弹奏结果。