[发明专利]基于视觉语义关系的社交媒体流行度预测方法及装置

说明书

本发明公开了一种基于视觉语义关系的社交媒体流行度预测方法及装置，方法包括：利用预训练的场景图生成器从帖子的图像中提取成对的对象以及它们之间的谓词联系，生成主语‑谓语‑宾语关系；使用词向量模型将上述关系编码为语义特征；对帖子的其他数据进行编码，得到文本特征、数值特征和附加用户特征，并与语义特征进行连接；针对测试集部分帖子的用户在训练集中的缺失问题，利用连接的多模态特征分别训练两个Catboost模型，线性结合输出得到初步的流行度分数；利用训练集数据，针对帖子内容对初步的流行度分数进行微调，平衡用户信息带来的模型预测误差，从而得到最终的流行度分数。装置包括：处理器和存储器。本发明提高了流行度预测的准确度。

技术领域

本发明涉及视觉关系，以及社交媒体流行度预测领域，尤其涉及一种基于视觉语义关系的社交媒体流行度预测方法及装置。

背景技术

近年来，社交媒体在日常生活中发挥着越来越重要的作用，数百万条帖子通过各种社交平台，如微博、Facebook、Flickr等进行上传和发布，这对用户体验和人际沟通有着重要的影响。因此有必要分析社交媒体的内容，并进一步预测它们的受欢迎程度^[1](即一篇帖子的点击数、浏览量等)，另外，建立社交媒体流行度的预测模型可以更好地服务于一些下游任务，如信息检索^[2]、网上广告^[3]和内容推荐^[4]。

一般来说，现有的流行度预测方法基本上采用相同的管道：首先根据帖子的多种类型的异构数据(如图像、元数据和文本)提取特征，然后将特征输入到回归模型来预测流行度分数。目前在流行度预测方面，对于提取图像特征的工作可以分为两类:(1)直接捕捉图像中的孤立物体^[5]；(2)只探索图像的全局表示^[6]，然而，他们忽视了图像中所包含的视觉关系，这是可以帮助预测模型来推断帖子受欢迎程度的又一有利信息。另外，现有技术对数据集中用户信息缺乏有利的探索，用户ID(Uid)作为流行度预测的重要特征^[5]，会出现测试集中部分帖子的用户在训练集中不存在的情况，这必然导致预测的准确率有所下降。同时预测模型对于用户信息的依赖也会导致预测偏差。

虽然研究者们在社交媒体流行度预测领域做了很多工作，并且致力于挖掘多类型数据中的有用特征，但是对于帖子的图像中所包含的视觉关系探索还有一些欠缺，并且忽略了测试集用户在训练集中不存在的问题以及预测模型对于用户信息的依赖所导致的预测偏差。基于此现状，目前面临的挑战主要有以下三个方面：

1、如何从图像中提取视觉关系进而帮助模型进行流行度预测；

2、如何解决测试集部分帖子的用户在训练集中不存在的问题；

3、如何利用训练集数据平衡用户信息所带来的模型预测误差。

发明内容

本发明提供了一种基于视觉语义关系的社交媒体流行度预测方法，受到无偏场景图生成方法在图像视觉理解领域成功应用的启发，本发明在特征提取部分引入图像中包含的视觉语义关系，弥补了现有方法在挖掘图像信息时所忽略的有用特征，在此基础上分别训练两个回归模型，解决测试集部分帖子的用户在训练集中不存在的问题，并利用训练集数据平衡用户信息所带来的模型预测误差，提高了流行度预测的精度，从而更好地服务于内容推荐等下游任务，详见下文描述：

第一方面，一种基于视觉语义关系的社交媒体流行度预测方法，所述方法包括：

利用预训练的场景图生成器^[7]从帖子的图像中提取成对的对象以及它们之间的谓词联系，生成主语-谓语-宾语关系；

使用词向量模型将上述关系编码为语义特征；

对帖子的其他数据进行编码，得到文本特征、数值特征和附加用户特征，并与语义特征进行连接；