[发明专利]一种基于深度学习的自动音乐转录方法

说明书

本发明公开了一种基于深度学习的自动音乐转录方法，在传统音乐转录的基础上设计了新颖的能用于双声道特征增强的立体声特征增强网络以及能有效提取音乐时序结构特征的时序卷积模块网络，能够有效提升音乐自动转录的效果，取得比现有方法更好的转录质量。立体声特征增强网络克服了现有方案只是简单地对立体声信号取均值转换为单声道信号进行处理，从而对双声道信号特征利用不充分的缺陷；时序卷积模块网络在保证对音乐结构特征良好的建模提取效果的同时，克服了以往的方案使用循环神经网络等模型来提取音乐结构信息的方法所存在的缺陷，如模型训练时易出现梯度不稳定、内存资源开销以及难以并行化运行导致时间开销大问题等。

技术领域

本发明属于音频信号处理领域，具体涉及一种基于深度学习的自动音乐转录方法。

背景技术

在音频信号处理类的任务中，自动音乐转录(automatic music transcription,AMT)是很有挑战性的任务之一。在日常生活中音乐是很常见的一种媒体形式，在互联网上被广泛地分发与存储，普通用户接触到的主要是记录波形的文件，如真实记录音乐波形信号的WAV格式以及经过编码压缩之后的mp3格式等，但是直接对这样的波形文件进行理解与编辑是不容易的。音乐转录技术便是有效的解决办法之一，致力于将原始的音频文件转换为易于直观理解的符号化表示形式，比如MIDI格式。

MIDI文件是音乐编曲最为广泛的标准音乐格式，它采用音符的数字控制信号来记录音乐，被看作是“计算机能理解的乐谱”，一首完整的MIDI音乐大小只有几十KB，却能包含数十条音轨信息，MIDI传输的不是声音信号，而是音符、控制参数等指令。

传统的音乐转录工作往往是需要具有相当程度的音乐乐理知识的专业人士来完成，且转录的质量与技术人员的乐理知识水平和耗费的时间精力紧密相关，是比较耗费时间和人力成本的工作。最近若干年时间里，随着深度学习技术的飞速发展，越来越多的学者致力于将深度学习技术应用于计算机实现自动音乐转录的任务中。

概括来说，现有将深度学习技术应用于自动音乐转录的方案有着相似的技术路径为：先采用合适的信号处理技术将原始的音频波形文件转化为二维频谱图，然后设计相应的卷积神经网络结构对频谱图进行特征提取，最后输出网络对每个时间点的音符与音高的预测结果，从而实现将音乐波形文件转录为MIDI文件表示。