[发明专利]一种基于LSTM的音乐自动合成方法及系统

说明书

本发明的技术方案包括一种基于LSTM的音乐自动合成方法及系统，用于实现：准备多种不同类型的音乐数据，解析音乐数据获取对应的乐谱及时间节点，以及，将MIDI音符创建对应的第一向量；将对应歌曲的歌词进行分词处理，并以歌词为基准创建对应具有相关性的第二向量；使用时间循环神经网络将第一向量作为输入，以及，将第二向量作为输出，使用优化器学习预测处理；在时间索引的每个预测中输出每个状态的概率；将生成的结果重新编码为MIDI文件。本发明的有益效果为：使用的LSTM网络旨在从文本数据中学习，方便分析；直接使用文本数据最小化了编码‑解码方案和网络的整体设计过程，提高了效率；使得使用者更好的发现艺术的规律。

技术领域

本发明涉及一种基于LSTM的音乐自动合成方法及系统，属于计算机音乐合成领域。

背景技术

音乐作品是具有创造性的，直观的，是人类特有的。然而，Hiller和Isaacson提出使用马尔可夫链进行自动合成，因此自动合成相关的数学方法具有悠久的历史。自动合成领域包括各种各样的任务，例如旋律合成，和弦合成，节奏合成，甚至歌词合成，包揽了音乐的每个典型组成部分，并且已经进行了大量的研究。自动合成也有很多其他应用，例如，自动背景音乐生成，AI辅助合成系统等。

隐马尔可夫模型(HMM)是模型和预测序列的最流行的方法之一。实际上，鉴于数据，计算能力和可行的优化策略，HMM最适合于时间序列建模。然而，HMM的一个缺点是隐藏状态的1-K方案的效率低。当存在N个隐藏状态时，HMM的存储器被限制为log₂N比特，这需要学习转移矩阵的N²参数。

递归神经网络(RNN)允许在模型中结合长期依赖性。但是RNN缺乏的一个能力是学习全部结构，这使得训练RNN的困难。从理论上讲，它可以记住有限长序列，但是在实践中它受到消失梯度问题的限制。

LSTM(长短期记忆)单元解决了这种消失的梯度问题。LSTM允许梯度由单独的路径流动，而不是乘法而是加法运算。LSTM被采用来学习和弦进行和旋律。网络直接分析鼓轨的音频内容并使用LSTM学习特征。

发明内容

本发明提供了一种基于LSTM的音乐自动合成方法及系统，用于解决现有技术的不足。

本发明的技术方案包括一种基于LSTM的音乐自动合成方法，其特征在于，该方法包括：S10，准备多种不同类型的音乐数据，解析音乐数据获取对应的乐谱及时间节点，以及，将MIDI音符创建对应的第一向量；S20，将对应歌曲的歌词进行分词处理，并以歌词为基准创建对应具有相关性的第二向量；S30，使用时间循环神经网络将第一向量作为输入，以及，将第二向量作为输出，使用优化器学习预测处理；S40，在时间索引的每个预测中输出每个状态的概率；S50，将生成的结果重新编码为MIDI文件。

根据所述的基于LSTM的音乐自动合成方法，其中步骤S10具体包括：从多种类型流行曲的MIDI中提解析相关的乐谱及时间节点，并用使用onehot编码将对应的127个不同的音符编码成一个长度为127维的onehot向量。

根据所述的基于LSTM的音乐自动合成方法，其中步骤S20具体包括：基于现有的分词库将歌词分词，并使用DF-IF算法将各个词汇编码成对应唯一的有相关性的向量。

根据所述的基于LSTM的音乐自动合成方法，其中步骤S30具体包括：使用第一LSTM层及第二LSTM层将音符编码进行作为输入，词汇编码进行输出，使用用优化器进行预测学习。

根据所述的基于LSTM的音乐自动合成方法，其中第一LSTM层及第二LSTM层后添加带有滑动模块的Attention机制层，并且使用分类交叉熵作为损失函数，第一LSTM层及第二LSTM层包括512个隐藏单元。

根据所述的基于LSTM的音乐自动合成方法，其中优化器为ADAM优化器。