[发明专利]一种基于增强现实的民族音乐学习装置

权利要求书

1.一种基于增强现实的民族音乐学习装置，包括教学互动软件、微信端、智能监听组件和后台服务器组件，其特征在于：所述教学互动软件采用Ajax异步传输使信息得到实时更新，所述智能监听组件使用JSP开发的数据平台，以折线图，柱形图的方式展现音乐记录数据，所述智能监听组件，通过多种音符传感器检测练习演唱发音，智能摄像头实时观察学员自主练习状态，微信、网页实时视频监控，网页以图表形式实时演奏音符高低、音律波动等变化趋势；

所述微信端设为语音识别智能控制音乐播放，公众号关注使用系统，多级菜单管理，智能推送警告消息提醒用户，远程视频监听学员民族音乐学习状态；

所述后台服务器组件，自定义服务器端口号，使用TCP作为通信方式，底层网络接入WiFi无线，实现了智能路由切换，通过HTTP请求方式传参，直接通过Java Servlet Page写入数据库，使用NanoPi作为摄像头服务器，实时提供视频查看、观察服务和教学演示服务。

2.根据权利要求1所述的一种基于增强现实的民族音乐学习装置，其特征在于：所述教学互动软件包括图像采集单元、图像处理单元、A/D转换单元、中央处理器、视频格式转换单元、视频上传单元、音乐模型撷取单元、音乐模型数据库、无线通讯单元、远程终端、图像合成单元、数字声音转换单元、音乐播放单元、图像渲染单元、3D转换单元、数字图像转换单元和图像显示单元。

3.根据权利要求1所述的一种基于增强现实的民族音乐学习装置，其特征在于：所述微信端开发APP，所述APP常用功能分为三大模块，分别是控制模块、检测模块和帮助模块，所述控制模块设置音量大小、背景音乐、独奏音乐、自编音乐和伴奏音乐五个二级菜单；所述检测模块包括视频对讲单元、教学演示单元和无线传输接受单元三个二级菜单；所述模块设置注册购买、绑定微信和托管三个二级菜单。

4.根据权利要求1所述的一种基于增强现实的民族音乐学习装置，其特征在于：所述教学互动软件、微信端、智能监听组件和后台服务器组件之间均信息连通。

5.根据权利要求1所述的一种基于增强现实的民族音乐学习装置，其特征在于：所述后台服务器组件设有加密路由，所述加密路由选择ESP8266芯片，所述ESP8266可以配置成station、AP、station+AP三种模式，可以当成一个设备连接局域网内的路由，也可以设置成是一个路由，也可以既作为局域网里面的client同时又是其他client的sever，同时该模块支持tcp传输，既可以配置为tcp server也可以配置为tcp client。

6.根据权利要求1所述的一种基于增强现实的民族音乐学习装置，其特征在于：包括以下具体方法步骤，

a：通过摄像头和图像采集单元采集图像信息，并通过图像处理单元和A/D转换单元对采集的图像信息进行处理和格式的转换，将采集的图像传输至中央处理器，通过视频上传单元上传视频信息；

b：所述音乐模型采取单元从音乐模型数据库内撷取音乐模型，并将音乐模型传输至中央处理器中，所述图像合成单元将采集的图像信息或者视频信息和撷取的音乐模型进行合成，并将合成信息传输至中央处理器；

c：通过图像渲染装置将虚拟场景和真实背景进行整合，将虚拟场景无缝融合到真实背景中，通过所述3D转换单元将图像信息转换成3D图像，然后通过数字图像转换单元和图像显示单元将合成的图像显示出来，通过所述数字声音转换单元和音乐播放单元进行对应音频信息的播放；

d：步骤c中处理完成的实施视频或录像可以通过后台服务器组件进行传送，所述微信端可以进行无线网络连接登录至后台服务器组件，所述微信端通过教学互动软件实现将学员现场视频进行教学演示，所述微信端可远程自实现登录观看学员视频录像。