[发明专利]一种基于AR增强现实的乐器辅助学习系统及方法和装置

说明书

本发明公开了一种基于AR增强现实的乐器辅助学习系统，包括定位标识和AR识别模块。定位标识设置在乐器的特定位置，AR识别模块能够从定位标识中获取乐器的类型和型号以及定位标识的设置位置，并能够以定位标识的设置位置为基点生成轮廓。此外AR识别模块能够获取用户弹奏乐器时的姿态和手势，并通过生成的轮廓呈现不同的颜色来显示用户弹奏乐器时的姿态和手势是否正确。定位标识设置简单，不用对乐器进行改造，成本较低。还能够和乐器本身产生互动，让学习方式更为直观、高效。由于通过视觉增强现实方式实现，提示效果和方式灵活全面、影响更加深刻、学习效果更好。

技术领域

本发明涉及AR领域，特别地，涉及一种基于AR增强现实的乐器辅助学习系统及方法和装置。

背景技术

现有的乐器学习和教学，无论用户自己学习还是线上一对一直播教学，缺乏学习或教学的内容素材和用户乐器本身产生互动，如老师的讲解的曲谱，琴键位置，和弦把位指法等只能单一的演示，无法明确弹奏的姿态和手势是否正确。

目前市场上有一种电路设计的蓝牙亮灯方式可以部分解决这类问题，通过电路板设计方式，对乐器进行改造，含有简单MCU控制单元、蓝牙传输装置，通过蓝牙和设备系统进行连接进行控制信息传输，但成本过高，需要充电，保养维护；而且蓝牙亮灯的方式只能通过简单的亮灯来表明弹奏是否正确，无法和乐器联系在一起，信息传递较为单一。

发明内容

为了克服现有技术的不足，本发明提供一种基于AR增强现实的成本较低，使用简单，能够判断乐器弹奏时的姿态和手势是否正确的乐器辅助学习系统及方法和装置。

本发明解决其技术问题所采用的技术方案是：

一方面，

一种基于AR增强现实的乐器辅助学习系统，包括：

定位标识，所述定位标识设置在乐器上，用于存储所述乐器的类型和型号信息以及所述定位标识在所述乐器上的位置信息；

AR识别模块，用于识别乐器的定位标识并在所述乐器上生成多个对应所述乐器不同弹奏位置的轮廓。

进一步地，所述定位标识为二维码标签。

进一步地，所述AR识别模块包括：

摄像头，用于获取乐器图像信息、定位标识以及用户的姿态和手势；

显示屏，用于显示用户弹奏乐器的视频，并在所述乐器上显示轮廓；

识别软件单元，用于识别所述定位标识，并根据所述定位标识在乐器上生成多个对应所述乐器不同弹奏位置的轮廓；并且用于根据弹奏时姿态和手势是否正确来使轮廓呈现不同的颜色。

进一步地，预弹奏信息接收模块，用于接收用户的预弹奏信息。

进一步地，录制模块，用于录制弹奏视频供用户观看并纠正错误。

另一方面，

一种基于AR增强现实的乐器辅助学习方法，包括以下步骤：

通过摄像头获取定位标识；

根据所述定位标识在显示屏上生成多个轮廓，每个所述轮廓与所述乐器上的一处弹奏位置对应；

获取用户的预弹奏信息以及用户弹奏乐器时的姿态和手势；

根据所述预弹奏信息判断所述姿态和手势是否正确；

根据判断结果显示不同颜色的轮廓。

进一步地，所述根据所述定位标识在显示屏上生成多个轮廓，每个所述轮廓与所述乐器上的一处弹奏位置对应包括：

根据所述定位标识确定所述乐器的类型和型号以及所述定位标识在所述乐器上的位置；