[发明专利]一种基于AR的古筝辅助教学系统及方法

说明书

本发明公开一种基于AR的古筝辅助教学系统及方法，其中教学系统包括AR设备、数据处理装置和若干个键位定位装置，所述数据处理装置与所述AR设备信号相连，所述键位定位装置安装于古筝的琴码上，所述键位定位装置与古筝的琴码一一对应；所述AR设备用于获取真实场景数据；所述数据处理装置，用于对真实场景数据中的古筝和键位定位装置进行识别，生成琴弦分布数据；还用于根据用户动作获取操作指令，执行所述操作指令并生成虚拟数据；所述AR设备，还用于基于琴弦分布数据将所述虚拟数据与所述真实场景数据进行叠加显示。本发明采用AR技术，提高用户沉浸感，且本发明中将虚拟数据基于琴弦分布数据进行叠加显示，无需额外设置灯条指示装置。

技术领域

本发明涉及虚拟现实领域，尤其涉及一种基于AR的古筝辅助教学系统及方法。

背景技术

目前，古筝教学人机交互辅助装置及系统(CN109637271A)公开了一种能够提供古筝基础指法指示，以及练习反馈指导的辅助装置，避免用户弹奏练习错乱、指法不规范、左右手不协调等问题，但沉浸感差且需要众多的外设设备才能实现，尤其是灯条指示装置，而灯条指示装置位于琴码下方，故更换灯条指示装置则需要重新对古筝调音，便携性差，使用繁琐，用户体验低。

故需要对现有技术做进一步改进。

发明内容

本发明针对现有技术中的缺点，提供了一种能够提高用户沉浸感的基于AR的古筝辅助教学系统及方法。

为了解决上述技术问题，本发明通过下述技术方案得以解决：

一种基于AR的古筝辅助教学系统，包括AR设备、数据处理装置和若干个键位定位装置，所述数据处理装置与所述AR设备信号相连，所述键位定位装置安装于古筝的琴码上，所述键位定位装置与古筝的琴码一一对应；

所述AR设备用于获取真实场景数据；

所述数据处理装置，用于对真实场景数据中的古筝和键位定位装置进行识别，生成琴弦分布数据；还用于根据用户动作获取操作指令，执行所述操作指令并生成虚拟数据；

所述AR设备，还用于基于琴弦分布数据将所述虚拟数据与所述真实场景数据进行叠加显示。

作为一种可实施方式，还包括声音输入装置，所述声音输入装置与所述数据处理装置信号相连；

所述声音输入装置，用于采集用户弹奏时的声音数据，并将其发送至数据处理装置；

所述数据处理装置，用于对所述声音数据进行识别，生成音调数据，调取与所述音调数据相关联的操作指令，执行所述操作指令并生成虚拟数据。

作为一种可实施方式，所述数据处理装置包括传输模块、识别模块、储存模块和处理模块，其中识别模块分别与声音输入装置、传输模块、储存模块和处理模块信号相连，处理模块还分别与传输模块和储存模块信号相连，传输模块与AR设备信号相连；

所述识别模块，用于接收并识别声音数据，获得音调数据，还用于接收并识别真实场景数据，获得琴弦分布数据；

所述处理模块，用于从储存模块中调取与所述音调数据相关联的操作指令，执行所述操作指令，并根据操作指令生成虚拟数据；还用于控制AR设备将所述虚拟数据与所述真实场景数据进行叠加显示；

所述虚拟数据包括琴弦指引数据、指法指引数据和简谱显示数据。

作为一种可实施方式，还包括体感装置，所述体感装置与数据处理装置信号相连；

所述数据处理装置还根据操作指令生成指法体感指引数据，并控制所述体感装置根据体感指引数据进行体感反馈。

作为一种可实施方式：

所述体感装置包括手环和四个指套；