[发明专利]连麦方法、直播显示方法、装置、设备及存储介质

权利要求书

1.一种连麦方法，其特征在于，所述方法包括：

获取包括不同种类的乐器演奏视频的训练数据集，并按照所述乐器演奏视频在所述训练数据集中的排列顺序，分别提取每个所述乐器演奏视频的音频、视频帧和视频帧序列，从而得到音频数据集、视频帧数据集和视频帧序列数据集；其中，所述视频帧为对应的乐器演奏视频中在时间序列上居中的视频帧，所述视频帧序列通过在对应的乐器演奏视频中以目标时长为间隔提取得到；

训练乐器演奏行为识别模型，包括：

通过所述音频数据集以及对应的乐器类型数据集训练音频分类模型，并获得通过所述音频分类模型预测所述音频数据集中任一音频对应的不同乐器种类的概率所组成的集合，其中所述音频分类模型为一维卷积神经网络；

通过所述视频帧数据集以及对应的乐器类型数据集训练乐器识别模型，并获得通过所述乐器识别模型预测所述视频帧数据集中任一视频帧对应的不同乐器种类的概率所组成的集合，其中所述乐器识别模型为二维卷积神经网络；

通过所述视频帧序列数据集以及对应的乐器类型数据集训练演奏行为识别模型，并获得通过所述演奏行为识别模型预测所述视频帧序列数据集中任一视频帧序列反映的乐器演奏行为对应的不同乐器种类的概率所组成的集合，其中所述演奏行为识别模型为三维卷积神经网络；

根据所述音频数据集中任一音频对应的不同乐器种类的概率所组成的集合、所述视频帧数据集中任一视频帧对应的不同乐器种类的概率所组成的集合，以及所述视频帧序列数据集中任一视频帧序列反映的乐器演奏行为对应的不同乐器种类的概率所组成的集合，得到融合数据集；

通过所述融合数据集以及对应的乐器类型数据集训练演奏行为决策模型，并获得所述演奏行为决策模型预测所述训练数据集中任一乐器演奏视频对应的不同乐器种类的概率所组成的集合，其中所述演奏行为决策模型为三层全连接层神经网络；

获取第一主播账号的直播流，并调用行为识别模型对所述直播流进行预测，得到直播表演类型，所述第一主播账号处于直播状态，所述行为识别模型是通过表演样本集训练得到的神经网络模型，所述表演样本集包括表演样本视频以及所述表演样本视频对应的表演类型，其中所述行为识别模型包括所述乐器演奏行为识别模型；

响应于所述第一主播账号的连麦请求，确定与所述第一主播账号匹配的第二主播账号，所述第二主播账号和所述第一主播账号属于相同的所述直播表演类型，所述第二主播账号处于直播状态；

向所述第一主播账号推荐所述第二主播账号进行连麦；

其中，所述调用行为识别模型对所述直播流进行预测，得到直播表演类型，包括：

调用所述音频分类模型对所述直播流的音频帧进行预测，得到第一预测乐器种类，所述音频帧包括所述直播流的全部音频帧；

调用所述乐器识别模型对所述直播流的视频帧进行预测，得到第二预测乐器种类，所述视频帧包括所述直播流的任一视频帧；

调用所述演奏行为识别模型对所述直播流的视频帧进行预测，得到预测演奏行为，所述视频帧包括所述直播流的至少一帧视频帧组成的视频帧序列，所述预测演奏行为用于反映所述第一主播账号直播过程中存在乐器演奏行为以及所述乐器演奏行为演奏的乐器种类；

调用所述演奏行为决策模型根据所述第一预测乐器种类、所述第二预测乐器种类以及所述预测演奏行为，确定所述直播表演类型。

2.根据权利要求1所述的方法，其特征在于，所述行为识别模型还包括舞蹈行为识别模型或演唱行为识别模型；

所述调用行为识别模型对所述直播流进行预测，得到直播表演类型，还包括：

调用所述舞蹈行为识别模型或所述演唱行为识别模型，对所述直播流进行预测。

3.根据权利要求2所述的方法，其特征在于，所述舞蹈行为识别模型包括第一舞蹈行为识别模型以及第二舞蹈行为识别模型；

调用所述舞蹈行为识别模型对所述直播流进行预测，包括：

对所述直播流的视频帧进行处理，得到所述视频帧对应的光流图；

调用所述第一舞蹈行为识别模型对所述视频帧进行预测，得到第一预测舞蹈行为概率；

调用所述第二舞蹈行为识别模型对所述光流图进行预测，得到第二预测舞蹈行为概率；

根据所述第一预测舞蹈行为概率以及所述第二预测舞蹈行为概率确定所述直播表演类型。