[发明专利]一种基于图像和音频的乐谱双重识别系统

说明书

本发明公开了一种基于图像和音频的双重识别系统，该系统属于乐理技术领域。所述系统主要用于对纸质乐谱的原始位图进行识别，通过图像识别和音频识别相结合的方式，分别生成第一音符信息和第二音符信息，按照相同格式进行匹配，匹配相同即实现确认，匹配不同则由用户根据原始位图确定识别的第一音符信息或第二音符信息进行确认，最终输出生成的乐谱。本发明的提出是为了解决现有技术中仅通过图像识别难以实现校准，而仅通过音频识别又无法获得乐谱图像的问题，在有大量乐谱需要识别的情况下，省去人工逐一复核，仅针对音频辅助的一轮复核出现偏差的情况才需要人工二次复核，大大提高了识别精度和识别效率的同时减少了成本。

技术领域

本发明涉及乐理技术领域，特别涉及一种基于图像和音频的乐谱双重识别系统。

背景技术

随着科技的发展，人们的生活逐渐向无纸化发展，无纸化的优势是易保存、易分享，相对于传统的纸质材料，无纸化的应用具备了更加显著的电子化特征。在乐理技术领域，针对已有的一些纸质乐谱，现有技术通常是通过图像识别的方法来将其电子化，例如申请号为201810193256.7的中国发明专利中提出了一种乐谱识别系统及识别方法，通过图像输入模块、图像预处理模块、低秩图像模块、差分图像模块、谱线生成模块、谱线删除模块、音符图像模块、音符对比识别模块和音符输出模块可以实现最后乐谱的输出，公开号为CN106446952B的中国发明专利中也提出了一种乐谱图像识别方法及装置，通过获得待处理的五线谱图像；对待处理的五线谱图像采用边缘检测方法描绘出图像的边缘信息，再通过直线检测方法检测出五线位置坐标；采用预设的音符分类器，对待处理的五线谱图像进行音符定位分割，得到每个完整音符在图像中的位置；采用预设的卷积神经网络对分割获得的音符符头进行识别，判断是实心符头还是空心符头，并得到符头的位置；根据所述得到的五线位置坐标、每个完整音符的相对位置、是实心符头还是空心符头及符头的位置，识别出每个完整音符，最终实现乐谱的输出。因此，通过图像识别的方法获得最终的乐谱输出相对属于一项较为成熟的技术，但是在图像识别的过程中，图像的识别精度往往达不到100％，即可能会面临着识别不出或识别出错的问题，当有大量乐谱需要识别时，人工的检查核验费时费力，且效率低下，因而纸质乐谱电子化过程中的校验效率及识别准确度的提高尤其重要。

发明内容

为了解决上述现有技术中乐谱在通过图像识别的过程中，针对模糊图像容易出现识别不出或者识别出错的问题，本发明提出了一种在图像识别的基础上通过音频辅助识别的功能，提高乐谱识别的准确度。

鉴于以上情况，本发明提出了一种基于图像和音频的乐谱双重识别系统，包括：

图像输入模块，用于接收输入乐谱图像并传送至图像识别模块；

图像识别模块，所述图像识别模块用于通过识别图像输入模块的原始位图乐谱的信息生成识别图像并获得对应的第一音符信息，通过图像识别的方式获取乐谱信息，具体包括图像预处理模块、低秩图像模块、差分图像模块、谱线生成模块、谱线删除模块、音符图像模块和音符对比识别模块；

音频识别模块，所述音频识别模块用于通过获取原始音频信息得到原始位图乐谱对应的第二音符信息，在音频识别模块中，由于通过音频仅可以获得音符信息和每个音符对应的时长信息，无法生成图像，因此，将音频识别模块和图像识别模块相连接，可以从图像识别模块获得速度记号后，将速度记号信息传送至音频识别模块，从而根据速度记号信息和弹奏音符对应的时长信息生成与之相匹配的矢量化音符信息并形成对应的识别图像；

校准模块，所述校准模块用于将图像识别的第一音符信息与音频识别的第二音符信息进行校准，使生成对应相同的第一音符信息与第二音符信息；

乐理解析模块，所述乐理解析模块用于将校准完成后的音符信息通过乐理解析生成对应的乐谱矢量图；

乐谱输出模块，所述乐谱输出模块用于将所述乐理解析模块得到的乐谱矢量图输出。