[发明专利]歌词对齐方法及相关产品

权利要求书

1.一种歌词对齐方法，其特征在于，包括：

对歌曲进行分离，得到所述歌曲中的人声；

根据预设的时间窗口对所述人声进行处理，得到N个音频帧；根据所述预设的时间窗口以及多个歌词数据中每句歌词的时间戳对每个歌词数据进行标记，得到每个歌词数据的标记序列，其中，所述多个歌词数据是对同一个歌词数据进行时间偏移得到的；根据所述N个音频帧以及每个歌词数据的标记序列确定所述多个歌词数据中的目标歌词数据，具体包括：确定所述人声对应的能量序列，其中，所述人声对应的能量序列是将所述N个音频帧的能量值按照音频帧在时间上的先后顺序组成的，且每个音频帧的能量值为每个音频帧上各个频点的幅值的平方之和；将所述人声对应的能量序列以及每个歌词数据的标记序列进行点乘操作，得到每个歌词数据对应的总能量值；根据每个歌词数据对应的总能量值确定所述多个歌词数据中的目标歌词数据。

2.根据权利要求1所述的方法，其特征在于，在按照预设的时间窗口对所述人声进行处理，得到N个音频帧之前，所述方法还包括：

根据所述人声的响度确定缩放比例；

根据所述缩放比例对所述人声的响度进行缩放，得到缩放后的所述人声；

对缩放后的所述人声进行降采样，得到目标人声；

所述按照预设的时间窗口对所述人声进行分帧，得到N个音频帧，包括：

对所述目标人声进行傅里叶变换，得到所述目标人声的频域信号；

按照预设的时间窗口对所述频域信号进行分帧，得到N个音频帧。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述预设的时间窗口以及多个歌词数据中每个歌词数据的时间戳对每个歌词数据进行标记，得到每个歌词数据的标记序列，包括：

根据所述预设的时间窗口对所述歌曲的播放时长进行分割，得到N个播放时间段，其中，所述N个播放时间段与所述N个音频帧一一对应；

根据每个歌词数据的时间戳确定每个播放时间段是否对应有歌词数据，若有歌词数据，将该播放时间段以第一预设值进行标记，若没有歌词数据，将该播放时间段以第二预设值进行标记；

按照所述N个播放时间段对应的先后顺序将所述N个播放时间段对应的标记好的预设值组成每个歌词数据的标记序列。

4.根据权利要求3所述的方法，其特征在于，在对歌曲进行分离，得到所述歌曲的人声和伴奏之后，所述方法还包括：

根据预设的偏移量对所述歌曲的歌词数据的时间戳进行M次调整，得到M个歌词数据，确定所述M个歌词数据和所述歌曲的歌词数据为所述多个歌词数据，其中，所述M个歌词数据中的部分歌词数据的时间戳中所记录的每个歌词的播放时间早于所述歌曲的歌词数据的时间戳中所记录的播放时间，所述M个歌词数据中的另一部分歌词数据的时间戳中所记录的每个歌词的播放时间晚于所述歌曲的歌词数据的时间戳中所记录的播放时间。

5.根据权利要求4所述的方法，其特征在于，所述对歌曲进行分离，得到所述歌曲的人声和伴奏，包括：

对所述歌曲进行傅里叶变换，得到所述歌曲的第一频谱图；

将所述第一频谱图输入到神经网络，得到人声的第二频谱图以及伴奏的第三频谱图；

根据所述第一频谱图以及所述第二频谱图对所述第二频谱图进行反傅里叶变换得到所述人声；以及根据所述第一频谱图以及所述第三频谱图对所述第三频谱图进行反傅里叶变换，得到所述伴奏。