[发明专利]短视频数据标签推荐方法、装置、计算机设备和存储介质

说明书

本申请涉及一种短视频数据标签推荐方法、装置、计算机设备和存储介质，通过获取多模态短视频数据，提取多模态短视频数据中的图像数据、音频数据以及文本数据；分别提取情感特征矩阵以及内容特征矩阵；通过预设情感共同空间获取情感特征矩阵对应的多模态融合情感特征向量，通过预设内容共同空间获取内容特征矩阵对应的多模态融合内容特征向量；获取预设标签语义与多模态融合情感特征向量以及多模态融合内容特征向量的匹配分数；根据匹配分数推荐标签。本申请通过融合多模态短视频数据在不同模态下的情感特征与内容特征，而后获取融合后特征与标签的匹配结果，根据匹配结果为多模态短视频数据推荐标签，可以有效为短视频推荐标签。

技术领域

本申请涉及计算机技术领域，特别是涉及一种短视频数据标签推荐方法、装置、计算机设备和存储介质。

背景技术

当今时代是互联网的时代，据报道，现今全球网民数量达到了40亿。同时，由于移动设备的普及和短视频制作门槛的降低，短视频作为一种新的生活故事记录和分享方式正日益受到人们的青睐。与此同时，Vine、Snapchat、抖音、快手等短视频平台和应用近年来也获得了前所未有的增长。与文字和图片相比，由于短视频中嵌入的信息更加直观、生动，观看短视频逐渐成为了越来越多人休闲娱乐的首选。

然而，面对层出不穷的新发布的短视频，如何快速、准确地找到想要的内容往往是一项非常艰巨的任务。为了解决这个问题，一个可行的策略是给短视频添加hashtag(标签)，这样用户就可以通过平台上的关键词快速匹配自己想要的内容。然而，现有的标签自动推荐方法主要集中应用于纯文本以及文本结合图像方向，这些推荐方法并不适用于短视频领域的标签推荐。

发明内容

基于此，有必要针对现有标签推荐方法并不适用于短视频标签推荐领域的问题，提供一种能应用于短视频领域的短视频数据标签推荐方法、装置、计算机设备和存储介质。

一种短视频数据标签推荐方法，所述方法包括：

获取多模态短视频数据，提取所述多模态短视频数据中的图像数据、音频数据以及文本数据；

分别提取所述图像数据、所述音频数据以及所述文本数据的情感特征矩阵，分别提取所述图像数据、所述音频数据以及所述文本数据的内容特征矩阵；

通过预设情感共同空间获取各所述情感特征矩阵对应的多模态融合情感特征向量，通过预设内容共同空间获取各所述内容特征矩阵对应的多模态融合内容特征向量；

获取预设标签语义与所述多模态融合情感特征向量以及所述多模态融合内容特征向量的匹配分数；

根据所述匹配分数为所述多模态短视频数据推荐标签。

一种短视频数据标签推荐装置，所述装置包括：

模态数据提取模块，用于获取多模态短视频数据，提取多模态短视频数据中的图像数据、音频数据以及文本数据；

特征提取模块，用于分别提取所述图像数据、所述音频数据以及所述文本数据的情感特征矩阵，分别提取所述图像数据、所述音频数据以及所述文本数据的内容特征矩阵；

特征融合模块，用于通过预设情感共同空间获取各所述情感特征矩阵对应的多模态融合情感特征向量，通过预设内容共同空间获取各所述内容特征矩阵对应的多模态融合内容特征向量；

特征匹配模块，用于获取预设标签语义与所述多模态融合情感特征向量以及所述多模态融合内容特征向量的匹配分数；

标签推荐模块，用于根据所述匹配分数为所述多模态短视频数据推荐标签。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取多模态短视频数据，提取所述多模态短视频数据中的图像数据、音频数据以及文本数据；