[发明专利]多媒体信息的互动处理方法、装置、电子设备及存储介质

权利要求书

1.一种多媒体信息的互动处理方法，其特征在于，所述方法包括：

获取针对多媒体信息的多个互动信息；

基于所述多媒体信息的观看用户和互动用户的用户画像、以及所述互动用户针对所述多媒体信息发表的每个互动信息，构建所述多媒体信息的用户评论交互特征；

基于所述用户评论交互特征和所述多媒体信息的多模态特征进行融合处理，得到融合特征；

基于所述融合特征确定所述观看用户针对所述每个互动信息的互动概率；

基于所述互动概率对所述多个互动信息进行排序，并基于排序结果显示所述多个互动信息。

2.根据权利要求1所述的方法，其特征在于，所述基于所述多媒体信息的观看用户和互动用户的用户画像、以及所述互动用户针对所述多媒体信息发表的每个互动信息，构建所述多媒体信息的用户评论交互特征，包括：

针对所述每个互动信息执行以下处理：

将所述互动用户的用户画像中的文本和所述互动信息中的文本进行拼接处理，并对所述拼接处理得到的文本进行特征提取，以获得所述互动信息的文本特征；

对所述观看用户的用户画像中的文本进行特征提取，以获得所述观看用户的用户特征；

将所述互动信息的文本特征和所述观看用户的用户特征进行融合处理，以获得所述多媒体信息的用户评论交互特征。

3.根据权利要求2所述的方法，其特征在于，

所述互动信息的文本特征和所述观看用户的用户特征是通过同一个语言处理模型提取的；

所述将所述互动信息的文本特征和所述观看用户的用户特征进行融合处理，以获得所述多媒体信息的用户评论交互特征，包括：

通过所述语言处理模型，确定所述互动信息的文本特征的注意力权重和所述观看用户的用户特征的注意力权重，并

根据所述互动信息的文本特征的注意力权重和所述观看用户的用户特征的注意力权重，对所述互动信息的文本特征和所述观看用户的用户特征进行加权求和，以获得所述多媒体信息的用户评论交互特征。

4.根据权利要求1所述的方法，其特征在于，所述基于所述用户评论交互特征和所述多媒体信息的多模态特征进行融合处理，得到融合特征，包括：

对所述多媒体信息进行特征提取，以获得所述多媒体信息的文本特征、音频特征和视频特征；

将所述文本特征、所述音频特征和所述视频特征进行融合处理，以获得所述多媒体信息的多模态特征；

将所述用户评论交互特征和所述多媒体信息的多模态特征进行拼接处理，以获得所述融合特征。

5.根据权利要求4所述的方法，其特征在于，所述对所述多媒体信息进行特征提取，以获得所述多媒体信息的文本特征、音频特征和视频特征，包括：

从所述多媒体信息中提取文本信息，对所述文本信息进行特征提取，以获得所述多媒体信息的文本特征，其中，所述文本信息包括以下至少之一：标题、弹幕、对白文本、类型、标签；

从所述多媒体信息中提取多个音频帧，并对所述多个音频帧进行特征提取，以获得与所述多个音频帧一一对应的多个音频帧特征，将所述多个音频帧特征进行融合处理，以获得所述多媒体信息的音频特征；

从所述多媒体信息中提取多个视频帧，并对所述多个视频帧进行特征提取，以获得与所述多个视频帧一一对应的多个视频帧特征，将所述多个视频帧特征进行融合处理，以获得所述多媒体信息的视频特征。

6.根据权利要求1所述的方法，其特征在于，所述基于所述融合特征确定所述观看用户针对所述每个互动信息的互动概率，包括：

针对所述每个互动信息执行以下处理：

将所述融合特征映射为所述互动信息对应不同的互动类型的互动概率；

其中，所述互动类型包括以下至少之一：点赞、转发、回复、回踩。