[发明专利]直播间歌唱识别方法、装置及服务器、存储介质

权利要求书

1.一种直播间歌唱识别方法，其特征在于，所述方法包括：

获得目标应用程序的直播间处于播放状态的直播流，并对所述直播流进行处理，以得到所述直播流的声音特征向量序列；

经音乐声分类模型对所述声音特征向量序列进行分类，并得到分类结果，其中，所述音乐声分类模型的目标函数用于将所述声音特征向量序列是否包括音乐声特征向量作为分类基准进行分类；

如果所述分类结果表征所述声音特征向量序列中包括音乐声特征向量，则从所述直播流中提取出包括音乐声特征向量的音频流；

提取出所述包括音乐声特征向量的音频流中的人声特征向量；

经清唱声分类模型对所述人声特征向量进行分类，并得到分类结果，其中，所述清唱声分类模型的目标函数用于将所述人声特征向量是否包括清唱声特征向量作为分类基准进行分类。

2.根据权利要求1所述的方法，其特征在于，所述音乐声分类模型为长短期记忆分类模型，所述长短期记忆分类模型包括依次连接的两组依次相连的长短期记忆网络层和随机失活处理层、特征连接层以及全连接层，每个所述随机失活处理层的输出与所述特征连接层的输入连接，所述经所述音乐声分类模型对所述声音特征向量序列进行分类，并得到分类结果包括：

经所述长短期记忆网络层根据声音特征向量序列中的音频帧之间的上下文依赖关系，生成包含每个时间步的音频帧的特征的声音特征向量序列；

再经随机失活处理层对生成的声音特征向量序列中的部分特征值进行随机归零处理，输出处理后的声音特征向量序列至下一组依次相连的长短期记忆网络层和随机失活处理层，以依次执行与第一组依次相连的长短期记忆网络层和随机失活处理层对上述的声音特征向量序列的相同处理；

经所述特征连接层将每个所述随机失活处理层输出的声音特征向量序列连接生成待分类特征向量；

经全连接层对所述待分类特征向量进行分类，并得到分类结果。

3.根据权利要求1所述的方法，其特征在于，所述清唱声分类模型为长短期记忆分类模型，所述长短期记忆分类模型包括依次连接的两组依次相连的长短期记忆网络层和随机失活处理层、特征连接层以及全连接层，每个所述随机失活处理层的输出与所述特征连接层的输入连接，所述经所述清唱声分类模型对所述人声特征向量进行分类，并得到分类结果包括：

经所述长短期记忆网络层根据人声特征向量中的音频帧之间的上下文依赖关系，生成包含每个时间步的音频帧的特征的人声特征向量；

再经随机失活处理层对生成的人声特征向量中的部分特征值进行随机归零处理，输出处理后的人声特征向量至下一组依次相连的长短期记忆网络层和随机失活处理层，以依次执行与第一组依次相连的长短期记忆网络层和随机失活处理层对上述的人声特征向量的相同处理；

经所述特征连接层将每个所述随机失活处理层输出的人声特征向量连接生成待分类特征向量；

经全连接层对所述待分类特征向量进行分类，并得到分类结果。

4.根据权利要求1所述的方法，其特征在于，所述获得目标应用程序的直播间处于播放状态的直播流，并对所述直播流进行处理，以得到所述直播流的声音特征向量序列包括：

获得目标应用程序的直播间处于播放状态的直播流，经解码器对所述直播流进行音视频分离得到音频流；

提取所述音频流中的声音特征向量序列。

5.根据权利要求4所述的方法，其特征在于，所述声音特征向量序列为二维声音特征向量序列，所述提取所述音频流中的声音特征向量序列包括：

对所述音频流进行处理得到梅尔频谱；

对所述梅尔频谱进行多次卷积池化处理，以提取降维后的声音特征向量序列；

经至少一个全连接层对降维后的声音特征向量序列进行处理，生成所述音频流的二维声音特征向量序列。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述分类结果表征所述声音特征向量序列包括清唱声特征向量，则将所述直播间的直播摘要信息推送至目标应用程序的直播列表界面展示。