[发明专利]社交媒体图像流行度预测方法、系统、存储介质及应用

权利要求书

1.一种社交媒体图像流行度预测方法，其特征在于，所述社交媒体图像流行度预测方法包括：

获取社交媒体原始数据集，包括图片、文字、社交提示信息内容，并对数据集进行预处理；

构建基于特征级联与密集连接的MSDNet模型，同时基于MSDNet模型进行数据集中图像特征的提取；

利用Doc2vec模型进行文本信息向量化处理，同时构建TextCNN模型提取数据集中文本信息特征；

利用整值映射、时间尺度变换方法从数据集中提取社交提示信息特征；

融合提取出的图像特征与文本特征，之后再与社交提示信息特征融合得到多模态信息特征；

采用极限梯度提升XGBoost方法设计回归器执行预测任务，得到流行度预测结果。

2.如权利要求1所述的社交媒体图像流行度预测方法，其特征在于，图像特征提取是通过MSDNet模型的第一层以及后续层获取图像尺度特征图实现，其中MSDNet模型的具体结构如下：MSDNet模型共包含L层，每一层具有S个尺度，所提取的特征图随着深度由左往右，尺度由上往下，从精细到粗糙，尺度s、第l层的输出特征图可表示为模型第一层的结构是唯一的，其在s尺度上的输出特征可由下式给出：

在此，h₀(·)和分别表示常规的卷积变换和跨步的卷积变换，第一层的输出为特征图可表示为

后续层结构特征遵循密集连接的形式，MSDNet的第l层(l＞1)以s尺度输出一组特征可由下式给出：

此处，[···]表示级联运算符，h_l(·)表示常规卷积变换，表示跨步卷积变换，h_l和的输出具有相同的映射大小；输出沿通道维度串联在一起。

3.如权利要求1所述的社交媒体图像流行度预测方法，其特征在于，MSDNet模型能够根据预算确定网络深度以及运行于特征图上的分类器数量，每一个分类器由两个下采样卷积层、一个平均池化层、一个线性层组成，附加至某些网络中间层上的分类器，通过仅使用相近粗糙层特征图进行分类，使得图像在通过网络所有层传播之前能够随时输出预测结果。

4.如权利要求1所述的社交媒体图像流行度预测方法，其特征在于，文本信息的向量化处理，文本内容包含图像描述、用户情感值对于流行度预测有重要价值的信息；将文本内容中的“uid”，“title”，“alltags”，“concept”，“category”，“description”，“subcategory”七个属性数据定义为文本信息，作为Doc2vec模型的训练数据，同时将用户ID作为隐含文本加入其中，使用户与图像的文本内容相关。

5.如权利要求1所述的社交媒体图像流行度预测方法，其特征在于，包含Doc2vec模型进行文本信息向量化处理和TextCNN模型提取数据集中文本信息特征两个过程：

所述Doc2vec模型处理中，Doc2vec训练过程包括：

1)从已知的训练数据中得到词向量，softmax的参数和，以及段落向量/句向量；

2)对于新的段落，得到其向量表达，经Doc2vec预训练得到的数据矩阵作为TextCNN模型的输入以进行文本特征提取；

所述TextCNN模型处理中，TextCNN模型结构包括输入层-卷积层-池化层-全连接层，输入层为经Doc2vec处理的n*k二维矩阵，矩阵每一行代表一个长度为k的词向量；卷积层采用多个h*k的卷积核对输入层数据进行局部特征提取；之后由池化层的1-max pooling对卷积层特征进行抽象提取，提取出的多个特征被拼接为一个一维向量；最后该向量经全连接层特征映射得到文本特征。