[发明专利]音频可视化模型训练及音频可视化方法、装置及设备

说明书

本发明提供一种提供音频可视化模型训练及音频可视化方法、装置及设备，包括：获取包括用户信息、用户历史播放视频、目标音频、目标视频、目标音频是否关联的关系标签的训练样本；将训练样本输入音频可视化模型，对目标音频进行特征提取，得到目标音频的第一特征表示；对用户信息、用户历史播放视频进行特征提取得到用户特征、用户兴趣表达特征，对目标视频进行特征提取得到第二特征表示，将用户特征、用户兴趣表达特征和第二特征表示联合处理得到第三特征表示；确定第一特征表示和第三特征表示之间的相似度；根据相似度及训练样本中的关系标签，更新音频可视化模型的参数。本发明可以对同一音频进行个性化视频搭配，满足多样化的用户需求。

技术领域

本发明涉及音视频技术领域，尤其涉及一种音频可视化模型训练及音频可视化方法、装置及设备。

背景技术

在音频播放过程中，用户通过音响感知、情绪感受、形象联想与理性感悟，完成对音频作品由感性到理性的审美体验过程。音频具有形象思维的特点，在情感的伴随下，通过想象联想，获得音频形象、生活情景以及意境等形象，音频可视化因此而衍生出来。音频可视化主要实现以视频动画诠释音乐情绪，将音频素材和视频融为一体。

相关技术中推出的一种音频播放场景为，根据用户当前播放的音频，自动为播放的音频搭配动态视频，不仅从听觉模式打动用户内心，而且通过视觉模式为用户带来冲击力。

相关技术中自动为播放的音频搭配动态视频，主要通过建立视频类型标签与单曲风格映射规则，在音频播放过程中，根据音频的单曲风格，根据映射规则搭配对应的视频类型标签中的视频。在确定映射规则时，主要研究音频内容理解、情感检测，图形图像平移、缩放、旋转、切变复杂处理，最终呈现音频表现力，给用户带来极大的视觉刺激。但这种技术脱离了用户兴趣偏好，没有以用户个性化偏好为驱动进行视频搭配，难以满足多样化的用户需求。

发明内容

本发明实施例提供一种音频可视化方法、装置、设备及介质，可以根据用户的兴趣偏好，实现对同一音频进行的个性化视频搭配，满足多样化的用户需求。

第一方面，本发明实施例提供一种音频可视化模型训练方法，该方法包括：

获取训练样本，所述训练样本包括用户信息、用户历史播放视频、目标音频、目标视频、表征所述目标音频和目标视频是否相关联的关系标签；

将所述训练样本输入音频可视化模型，对所述目标音频进行特征提取，得到所述目标音频的第一特征表示；

对所述用户信息、用户历史播放视频与目标视频的关系进行特征提取得到用户特征、用户兴趣表达特征，对所述目标视频进行特征提取得到第二特征表示，将所述用户特征、所述用户兴趣表达特征和所述第二特征表示联合处理得到第三特征表示；

确定所述第一特征表示和所述第三特征表示之间的相似度；

根据所述相似度及所述训练样本中的关系标签，更新所述音频可视化模型的参数。

作为一种可选的实施方式，所述训练样本还包括知识图谱；对目标音频/目标视频进行特征提取，包括：

确定所述目标音频/目标视频在所述知识图谱中对应的目标节点，及确定通过边与所述目标节点建立关联关系的邻居节点；

对所述邻居节点的属性信息、所述邻居节点连接所述目标节点的边对应的关联关系进行特征提取，得到所述目标节点在所述知识图谱中与邻居节点的关系表达特征；

所述目标节点在所述知识图谱中与邻居节点的关系表达特征，包括所述目标音频在所述知识图谱中与邻居节点关系表达的所述第一特征表示或所述目标视频在所述知识图谱中与邻居节点关系表达的所述第二特征表示；

所述知识图谱为将实体定义为节点，将存在关联关系的节点通过边连接，并根据所述关联关系的类型确定边的类型，根据节点的相关信息对所述节点进行属性信息填充所构建得到的图谱，所述实体包括音频和视频。