[发明专利]智能钢琴训练的方法和系统

权利要求书

1.一种智能钢琴训练方法，包括：

获取用户弹奏钢琴的音频信息和视频信息；

从所述音频信息中提取用户音频数据，并与音频数据库中存储的对应的参照音频数据相比较，获得所述用户音频数据与所述对应的参照音频数据的匹配度；

从所述视频信息中截取与所述用户音频数据相对应的用户手部图像，通过手部模型识别所述用户手部图像中的用户手部数据，并与手部数据库中存储的对应的参照手部数据相比较，获得所述用户手部数据与所述对应的参照手部数据的匹配度，其中，所述手部模型以手部图像为输入数据，以所述手部图像中手部数据为输出数据，通过对神经网络进行训练获得；以及

基于所述用户音频数据与所述对应的参照音频数据的匹配度以及所述用户手部数据与所述对应的参照手部数据的匹配度，向用户反馈弹奏结果。

2.根据权利要求1所述的钢琴训练方法，还包括：

基于所述用户弹奏钢琴的全部所述用户音频数据与所述对应的参照音频数据的匹配度以及所述用户弹奏钢琴的全部所述用户手部数据与所述对应的参照手部数据的匹配度，向用户反馈弹奏结果。

3.根据权利要求1所述的钢琴训练方法，其中，还包括：

当所述用户音频数据与所述对应的参照音频数据的匹配度小于指定阈值时，向所述用户提示所述对应的参照音频数据所对应的琴键信息。

4.根据权利要求1所述的钢琴训练方法，其中，还包括：

当所述用户手部数据与所述对应的参照手部数据的匹配度小于指定阈值时，向所述用户显示错误的手部动作，和/或向所述用户提示所述对应的参照手部数据所对应的手部动作。

5.根据权利要求1所述的钢琴训练方法，其中，所述用户音频数据包括提取时间、音符、基频和音强。

6.根据权利要求1所述的钢琴训练方法，其中，所述用户手部数据包括截取时间和左右手各21个关键关节点的相对位置。

7.根据权利要求1所述的钢琴训练方法，其中，所述从所述音频信息中提取用户音频数据包括：按照第一时间间隔从所述音频信息中提取所述用户音频数据；以及其中，所述用户音频数据根据其提取时间与所述音频数据库中参照音频数据相对应。

8.根据权利要求7所述的钢琴训练方法，其中，所述从所述视频信息中截取与所述用户音频数据相对应的用户手部图像包括：按照第二时间间隔从所述视频信息中截取所述用户手部图像；以及其中，所述用户手部图像根据其截取时间与所述用户音频数据相对应。

9.根据权利要求8所述的钢琴训练方法，其中，所述第二时间间隔与所述第一时间间隔相同，或者所述第二时间间隔是所述第一时间间隔的整数倍。

10.根据权利要求8所述的钢琴训练方法，其中，所述用户手部数据的截取时间与所述用户手部图像的图像截取时间相同，所述用户手部数据根据其截取时间信息与所述数据库中参照手部数据相对应。

11.根据权利要求1所述的钢琴训练方法，其中，所述手部模型采用循环神经网络或者长短时记忆神经网络训练获得。

12.根据权利要求1所述的钢琴训练方法，还包括：

从所述用户手部图像中选取包含钢琴琴键的用户手部图像用于识别所述用户手部数据。

13.根据权利要求1所述的钢琴训练方法，还包括：

获取所述用户的触键力度数据；

将所述用户的触键力度数据与数据库中存储的对应的参照触键力度数据相比较，获得所述用户触键力度数据与所述对应的参照触键力度数据的匹配度；

基于所述用户音频数据与所述对应的参照音频数据的匹配度、所述用户手部数据与所述对应的参照手部数据的匹配度以及所述用户触键力度数据与所述对应的参照触键力度数据的匹配度，向用户反馈弹奏结果。