[发明专利]音频可视化模型训练及音频可视化方法、装置及设备

权利要求书

1.一种音频可视化模型训练方法，其特征在于，该方法包括：

获取训练样本，所述训练样本包括用户信息、用户历史播放视频、目标音频、目标视频、表征所述目标音频和目标视频是否相关联的关系标签；

将所述训练样本输入音频可视化模型，对所述目标音频进行特征提取，得到所述目标音频的第一特征表示；

对所述用户信息、用户历史播放视频与目标视频的关系进行特征提取得到用户特征、用户兴趣表达特征，对所述目标视频进行特征提取得到第二特征表示，将所述用户特征、所述用户兴趣表达特征和所述第二特征表示联合处理得到第三特征表示；

确定所述第一特征表示和所述第三特征表示之间的相似度；

根据所述相似度及所述训练样本中的关系标签，更新所述音频可视化模型的参数。

2.根据权利要求1所述的方法，其特征在于，所述训练样本还包括知识图谱；对目标音频/目标视频进行特征提取，包括：

确定所述目标音频/目标视频在所述知识图谱中对应的目标节点，及确定通过边与所述目标节点建立关联关系的邻居节点；

对所述邻居节点的属性信息、所述邻居节点连接所述目标节点的边对应的关联关系进行特征提取，得到所述目标节点在所述知识图谱中与邻居节点的关系表达特征；

所述目标节点在所述知识图谱中与邻居节点的关系表达特征，包括所述目标音频在所述知识图谱中与邻居节点关系表达的所述第一特征表示或所述目标视频在所述知识图谱中与邻居节点关系表达的所述第二特征表示；

所述知识图谱为将实体定义为节点，将存在关联关系的节点通过边连接，并根据所述关联关系的类型确定边的类型，根据节点的相关信息对所述节点进行属性信息填充所构建得到的图谱，所述实体包括音频和视频。

3.根据权利要求2所述的方法，其特征在于，采用如下方式构建所述知识图谱：

定义实体类型、实体属性信息、与不同类型关联关系对应的边及判定各类型的关联关系的规则，所述实体类型包括视频类型和音频类型；

根据定义的所述实体类型、所述实体属性信息，从源数据库中抽取不同实体类型的实体作为节点，从所述节点的相关信息中抽取所述节点的属性信息；

根据判定各类型的关联关系的规则，确定不同节点之间是否存在关联关系，并确定存在关联关系时，根据关联关系的类型利用对应类型的边连接所述不同节点。

4.根据权利要求3所述的方法，其特征在于，还包括：

利用不同的表格分别存储所抽取的节点、抽取的节点的属性信息、确定的是否存在关联关系的结果、边的连接信息；

将所述抽取的节点作为索引项，对所述不同的表格进行融合得到该节点的表项内容，所述表项内容包括所述抽取的节点的属性信息、所述抽取的节点所关联的邻居节点、所述抽取的节点所关联的邻居节点与所述抽取的节点的关联关系的类型。

5.根据权利要求2所述的方法，其特征在于，对所述邻居节点的属性信息、所述邻居节点连接所述目标节点的边对应的关联关系进行特征提取，得到所述目标节点在所述知识图谱中与邻居节点的关系表达特征，包括：

确定与所述目标节点属于同一实体类型的同构邻居节点，利用第一特征提取层对所述同构邻居节点的属性信息、所述同构邻居节点连接所述目标节点的边对应的关联关系进行特征提取，得到所述目标节点在所述知识图谱中与同构邻居节点的第一关系表达特征；

确定与所述目标节点属于不同实体类型的异构邻居节点，利用第一特征提取层对所述异构邻居节点的属性信息、所述异构邻居节点连接所述目标节点的边对应的关联关系进行特征提取，得到所述目标节点在所述知识图谱中与异构邻居接的第二关系表达特征；

利用第二特征提取层，将所述第一关系表达特征和第二关系表达特征转换到同一向量空间，得到所述目标节点在所述知识图谱中与所述邻居节点的关系表达特征。