[发明专利]一种基于图模型的短视频推荐方法、和智能终端和存储介质

权利要求书

1.一种基于图模型的短视频推荐方法，其特征在于，所述基于图模型的短视频推荐方法包括：

根据用户对短视频的交互行为，构造用户和短视频对应关系的二部图；

聚合层通过聚合目标顶点的邻域信息输出目标顶点自身的高阶表示向量；

整合层将目标节点信息与邻域信息进行整合；

融合层对目标顶点多个模态信息进行融合；

输出层计算用户向量与短视频向量之间的相似程度，预测用户对短视频产生交互行为的概率，并为用户进行短视频推荐；

所述短视频包括视觉模态信息、文本模态信息和听觉模态信息；

所述视觉模态信息以视频封面图片经过卷积神经网络输出为128维的向量作为表征；

所述文本模态信息以视频标题文字经过分词和自然语言处理模型向量化输出为128维的向量作为表征；

所述听觉模态信息以背景音乐和人物讲话声经过截断并经过卷积神经网络后输出为128维的向量作为表征；

所述聚合层用于对目标顶点的邻域信息进行聚合，得到表征目标邻域的向量，每次聚合操作由邻域聚合和非线性处理组成；

所述邻域聚合为：对目标顶点的邻域通过聚合函数进行聚合操作；

所述非线性处理为：由邻域聚合操作得到目标顶点的一阶和二阶邻域信息，通过将目标顶点原始信息与其邻域信息进行拼接，输入到单层神经网络中获取目标顶点的高阶特征。

2.根据权利要求1所述的基于图模型的短视频推荐方法，其特征在于，所述交互行为定义为用户完整观看一部短视频或者对所观看的短视频进行点赞操作。

3.根据权利要求1所述的基于图模型的短视频推荐方法，其特征在于，所述根据用户对短视频的交互行为，构造用户和短视频对应关系的二部图，还包括：

构造模态层级的用户与短视频对应关系的二部图。

4.根据权利要求1所述的基于图模型的短视频推荐方法，其特征在于，所述聚合函数的构造方式包括：平均聚合、最大池化聚合和注意力机制聚合。

5.根据权利要求1所述的基于图模型的短视频推荐方法，其特征在于，所述整合层用于对同一模态下不同来源的输入信息进行整合，以及将特定模态下目标顶点的低阶信息和高阶信息进行整合，得到用户顶点和短视频顶点在不同模态下的表示向量；

所述融合层用于将用户顶点和短视频顶点的多个模态表示向量进行融合。

6.一种智能终端，其特征在于，所述智能终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于图模型的短视频推荐程序，所述基于图模型的短视频推荐程序被所述处理器执行时实现如权利要求1-5任一项所述的基于图模型的短视频推荐方法的步骤。

7.一种存储介质，其特征在于，所述存储介质存储有基于图模型的短视频推荐程序，所述基于图模型的短视频推荐程序被处理器执行时实现如权利要求1-5任一项所述基于图模型的短视频推荐方法的步骤。