[发明专利]社交媒体图像流行度预测方法、系统、存储介质及应用

说明书

本发明属于图像流行度预测技术领域，公开了一种社交媒体图像流行度预测方法、系统、存储介质及应用，获取社交媒体数据集并对其进行预处理。其次从数据集中提取多种信息特征：基于MSDNet模型快速构建高分辨率特征图以提取数据集图像特征；采用具有多个不同大小卷积核的Doc2vec‑TextCNN模型提取数据集文本信息特征，从而更好地获取文本局部相关性；利用整值映射、时间尺度变换方法从数据集中提取社交提示信息特征。将图像特征、文本特征与社交提示特征进行融合得到多模态信息特征。最后基于极限梯度提升算法设计回归器处理多模态信息融合特征得到流行度预测结果，实现社交媒体图像流行度的即时、精准预测。

技术领域

本发明属于图像流行度预测技术领域，尤其涉及一种社交媒体图像流行度预测方法、系统、存储介质及应用。

背景技术

目前：随着互联网技术的高速发展，诸如Facebook、微博、微信等众多社交媒体已经成为人们获取信息、交流信息的重要平台，对人们的工作生活产生了巨大影响。社交网络中信息主要通过文字、图像、语音等媒介进行传播。智能手机等终端设备的普及与图像处理相关技术的更新，使得社交网络中图像质量越来越高，包含的信息越来越丰富，用户更倾向于使用图像的形式在社交媒体中分享信息。图像流行度的有效预测能够有助于提升社交网络服务质量，推动社交网络应用及其网络规模的发展，进一步发掘社交网络的应用潜力，同时能够帮助政府正确引导社会舆论，提高决策水平，促进经济领域的发展。因此，社交媒体图像流行度预测问题的研究具有重要的实际意义。

社交媒体中传播的内容可大致分为文本、视频、图片等多种模态。近年来机器学习领域相关技术被广泛应用于社交媒体图像流行度预测问题的研究：Khosla等人在论文“What makes an image popular？”(《Proceedings of the 23rd internationalconference on World wide web》2014:867-876.)中提出了一种图像流行度预测方法。该方法结合简单的图像特征(例如颜色和强度差异)，低级视觉特征(例如Gist，纹理，色块和渐变)以及高级图像特征(例如来自Flickr的图像数据集中的各种图像信息的存在)，通过线性支持向量回归(LinearSVR)技术预测图像获得的浏览次数，该方法的不足之处是：具有针对性，实际应用价值不高。

Gelli等人在论文“Image popularity prediction in social media usingsentiment and context features”(《Proceedings of the 23rd ACM internationalconference on Multimedia.》2015:907-910.)中提出了一种图像流行度预测方法。该方法通过提取Flickr上图像数据集的视觉情感特征对象特征，上下文特征和用户特征，使用支持向量机(Support Vector Machine，SVM)和卷积神经网络(Convolutional NeuralNetworks，CNN)预测社交图像的观看次数，该方法的不足之处是：忽略了社会特征，影响流行度预测准确度。

Wu等人在论文“Sequential prediction of social media popularity withdeeptemporal context networks”(《arXiv preprint arXiv》1712.04443，2017)提出了一种新的预测框架，称为深度时态上下文网络(Deep Temporal Context Networks，DTCN)，以研究流行度的顺序预测。同时使用包含Flickr上共享的68万张照片的TPIC17数据集对预测框架进行验证，结果表示DTCN方法优于以前在该数据集中使用的所有方法，该方法的不足之处是：无法满足实际应用中计算效率与即时性的要求。

通过上述分析，现有技术存在的问题及缺陷为：现有预测模型计算效率不足、即时性差。

解决以上问题及缺陷的难度为：传统神经网络的架构设计下图像预测准确性高度依赖于网络层数，过深的网络层带来了计算时间长、计算资源消耗大等问题。