[发明专利]基于视觉语义关系的社交媒体流行度预测方法及装置

权利要求书

1.一种基于视觉语义关系的社交媒体流行度预测方法，其特征在于，所述方法包括：

利用预训练的场景图生成器从帖子的图像中提取成对的对象以及它们之间的谓词联系，生成主语-谓语-宾语关系；

使用词向量模型将上述关系编码为语义特征；

对帖子的其他数据进行编码，得到文本特征、数值特征和附加用户特征，并与语义特征进行连接；

针对测试集部分帖子的用户在训练集中的缺失问题，利用连接的多模态特征分别训练两个Catboost模型，线性结合输出得到初步的流行度分数；

利用训练集数据，针对帖子内容对初步的流行度分数进行微调，平衡用户信息带来的模型预测误差，从而得到最终的流行度分数。

2.根据权利要求1所述的一种基于视觉语义关系的社交媒体流行度预测方法，其特征在于，所述利用预训练的场景图生成器从帖子的图像中提取成对的对象以及它们之间的谓词联系，生成主语-谓语-宾语关系具体为：

采用Faster R-CNN算法预测出一幅图像中所包含的一系列对象的标签L＝{l₁,l₂,...,l_M}，其中M为检测到的对象数；

利用改进的无偏Motifs算法获得成对的对象l_i和l_j之间的谓词p_ij，其中l_i作为主语s，l_j作为宾语o；

最后，将成对的对象和它们之间的谓词结合起来，形成该图像的N个主语-谓语-宾语关系：即s-p-o×N。

3.根据权利要求2所述的一种基于视觉语义关系的社交媒体流行度预测方法，其特征在于，所述使用词向量模型将上述关系编码为语义特征体为：

将每个关系主语-谓语-宾语视作一个句子，利用Bert模型进行嵌入处理，转换为768维的向量；

合并N个关系向量得到N*768维的矩阵，利用平均池化降维为768维的向量，即为最终的语义特征SF：

SF＝meanpooling(concat(Bert(s-p-o×N)))。

4.根据权利要求1所述的一种基于视觉语义关系的社交媒体流行度预测方法，其特征在于，所述对帖子的其他数据进行编码，得到文本特征、数值特征和附加用户特征，并与语义特征进行连接具体为：

文本特征TF包括：对数据集中的Alltags和Title，采用TF-IDF算法和GloVe算法分别得到编码向量，以及计算字母长度和单词个数；

数值特征NF包括：对数据集中的用户ID Uid，类别Category，子类别Subcategory，概念Concept分别进行标签编码；根据Postdate，Photo_firstdate和Photo-firstdatetaken计算时间信息；根据Longitude,Latitude和Geoaccuracy计算空间信息；计算用户数Uid_count和照片数Photo_count；

附加用户特征AF包括：通过数据集提供的Pathalias爬取followerCount，followingCount，totalViews信息；

最后，将以上特征与语义特征进行连接，得到多模态特征MMF：

MMF＝concat(SF,TF,NF,AF)。