[发明专利]基于AR增强现实的乐器辅助演奏和协奏体验系统

摘要

本发明公开了一种基于AR增强现实的乐器辅助演奏和协奏体验系统，包括：图像采集单元，实时采集当前使用者握持乐器的视频图像，视频图像还包含握持手指甲；图像分析单元，分析当前的乐器的图像，识别当前乐器的轮廓和操作区域，识别定位乐器的琴弦或按键；第二存储单元，该单元存储乐谱，以及音节和音符对应的手指动作和辅助器械运行的虚拟动画元素；以及操作单元、处理单元和显示单元；处理单元根据所述的当前乐器的轮廓和操作区域，定位后的乐器的琴弦、按键或打击区域，在所述的显示单元上显示，并设定所述的动画元素显示区域；处理单元调取第二存储单元中的对应的乐谱和对应的按压动作和辅助器械运行的虚拟动画元素，在所述的动画元素显示区域中显示。

主权项

1.一种基于AR增强现实的乐器辅助演奏和协奏体验系统，其特征在于包括：图像采集单元，实时采集当前使用者握持乐器的视频图像，视频图像还包含握持手指甲；图像分析单元，分析当前的乐器的图像，与第一存储单元中存储的乐器图像进行比对，识别当前乐器的轮廓和操作区域，识别定位乐器的琴弦、按键或打击区域；第二存储单元，该单元存储乐谱，以及音节和音符对应的手指动作和辅助器械运行的虚拟动画元素；以及操作单元、处理单元和显示单元；使用时，使用者通过操作单元控制系统启动，选择当前演奏曲目；处理单元根据所述的当前乐器的轮廓和操作区域，定位后的乐器的琴弦、按键或打击区域，在所述的显示单元上显示，并设定所述的动画元素显示区域；处理单元调取第二存储单元中的对应的乐谱和对应的按压动作和辅助器械运行的虚拟动画元素，在所述的动画元素显示区域中显示；使用者根据所述的虚拟动画元素引导，完成当前乐曲的演奏；演奏过程中，所述的处理单元通过声音采集单元获取演奏曲目的音频，分析得到音频曲线，与第二存储单元中存储的音频曲线比对，给出当前使用者演奏水准的评分；还包括远程服务器和服务器中集成的第三存储单元，该服务器收集系统内注册用户的评分和乐曲，根据乐器种类，生成针对每个乐器的等级分组；所述的第三存储单元中存储有构成合奏乐曲的每个乐器的分乐谱；系统内注册用户根据各自乐器种类和等级，通过各自系统中的通信单元，下载所述的分乐谱，按系统辅助或自行完成分乐谱的演奏；分乐器的演奏过程由所述的声音采集单元采集通过所述的演奏过程，传输至远程服务器；服务器收集所述合奏乐曲的全部演奏过程在分布式工作站中合成生成合奏乐曲，存储并返回至合奏乐曲分乐谱的演奏者；存储的合奏乐曲向系统内公开。