[发明专利]基于模糊训练框架的音乐歌词可控生成的方法及系统

权利要求书

1.一种基于模糊训练框架的音乐歌词可控生成的方法，其特征在于，所述方法包括：

将MP3格式的音乐与歌词LRC文件进行预处理得到复合词序列及对应的歌词序列；

基于多头注意力机制的编码器-解码器模型，对原始的音乐旋律与歌词对进行端到端的生成训练，得到编码器的源表示；

随机采样训练集中的歌词目标序列以获得约束词，通过所述编码器-解码器模型对所述约束词进行编码以获得约束词序列的表示；

对获得的编码器的源表示以及目标歌词序列增量掩码表示与获得的所述约束词序列的表示使用双交叉注意力组件进行融合，得到约束词引导的旋律在语言空间的表征向量，以预测出下一个词。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述约束词引导的旋律在语言空间的表征向量使用线性层投射到词表空间，对目标预测中包含的采样获得的约束词的损失进行额外的数据变量惩罚处理。

3.根据权利要求2所述的方法，其特征在于，所述的对原始的音乐旋律与歌词对进行端到端的生成训练包括：

通过所述编码器-解码器模型中的编码器对源输入的序列进行向量化和上下文化的处理，其过程形式化为：

H^X＝SelfAttn_enc(X+Pos(X))；其中，X表示编码器的输入序列嵌入表示，H^X表示编码后的输出表示，Pos(·)表示对序列施加位置编码，SelfAttn_enc表示堆叠的多头自注意编码器，H^X为编码后的源表示；

通过所述编码器-解码器模型中编码器对目标序列输入采用与编码器相似的多头自注意组件进行编码，其过程形式化为：

其中，是目标序列Y的左移一位版本，SelfAttn_dec表示堆叠的多头自注意组件，IncMask为应对增量生成的增量掩码策略，表示解码器的自注意力组件表示输出；

目标输入表示与源表示使用交叉注意组件(CrossAttn)进行融合来获得最终表示，然后通过线性和Softmax神经网络层映射到目标词汇表空间，最终的预测概率公式如下：

其中，模型参数的优化通过最小化参考词的预测负对数似然值来实现，公式如下：

其中i表示当前计算的位置索引，i表示第i个位置前的序列，m表示序列Y的长度。

4.根据权利要求3所述的方法，其特征在于，所述约束词序列的表示是通过使用解码器的去掉位置编码和增量掩码策略的自注意力组件对约束词序列进行编码以获得的。

5.根据权利要求4所述的方法，其特征在于，所述的约束词进行编码以获得约束词序列的表示包括：

给定受约束词序列C，模型的预测概率中增加了额外的项，C被视为一个额外的输入提示符，输出概率P(Y)为：

受约束词的表示形式如下：

H^C＝SelfAttn_dec(C)；H^C表示受约束词的自注意组件编码输出。

6.根据权利要求5所述的方法，其特征在于，所述的对获得的编码器表示以及目标歌词序列的增量掩码表示与获得的所述约束词序列的表示使用双交叉注意力组件进行融合包括：

使用一个交叉注意力组件对所述源表示以及目标歌词序列的增量掩码表示进行融合，另外一个交叉注意力组件将采样的约束词序列的表示与目标歌词序列的增量掩码表示进行融合，融合后的模型的预测概率公式为：