[发明专利]基于社交图片的用户兴趣挖掘和用户推荐方法及系统

说明书

本发明提供一种基于社交图片的用户兴趣挖掘和用户推荐方法及系统，该方法包括：从社交网站上获取用户的所有图片和图片标签；对每张从社交图片收集步骤收集的图片，用深度神经网络提取固定长度的视觉向量；对每张图片的标签用话题模型提取固定长度的文本向量；根据特征提取步骤提取的所有视觉向量和文本向量，采用用户兴趣分析模型，将视觉向量和文本向量按照相似度进行聚类，计算社交图片的兴趣‑类别分布，并计算用户的用户‑兴趣分布。进一步通过分析目标用户的用户‑兴趣分布与候选用户的用户‑兴趣分布的欧式距离，可以向目标用户推荐兴趣相似的候选用户。本发明提取出可靠的用户兴趣特征，实现用户的兴趣推荐。

技术领域

本发明涉及计算机视觉与数据挖掘领域，具体地，涉及一种基于社交图片的用户兴趣挖掘和用户推荐方法及系统。

背景技术

随着Web2.0发展，社交媒体给人类的生活方式带来了巨大的变化。人们越来越喜欢在网络平台上花更多的时间，进行一系列活动，比如浏览网站，写下评论、感受，分享图片、视频。这些活动记录了人们在网络环境中的点点滴滴，也折射了他们的内在思想和偏好。通过对社交媒体中用户的数据进行分析，推断用户的思想偏好，服务商能够提供更友好的网站服务，探索潜在的商机。

现有的基于社交媒体的用户兴趣分析和用户推荐主要包括：对用户兴趣进行建模和基于用户兴趣的分析进行推荐。其中建立用户兴趣分析模型是兴趣相似用户推荐的基础。现有技术中，Abel等人通过对Twitter用户的文本进行分析来推断用户对哪种新闻感兴趣，进而进行新闻推荐。Xie等人通过对Flickr用户的图片内容运用分层贝叶斯网络从视觉角度来学习用户的兴趣。Joshi等人将Flickr用户的图片内容和标签先分别提取特征然后组合成一个特征向量，再对用户的兴趣进行分析。

如公开号为CN 102402594A、申请号为201110345078.3的中国发明申请，该发明公开了一种富媒体个性化推荐方法，通过选择能够体现富媒体资源特征的语义标签集合，以语义标签的权值表示富媒体资源在该标签的语义强度，为每个富媒体资源形成一个特征描述样本；然后记录下用户富媒体资源使用情况，得到m个特征样本构成的用户兴趣度原始数据U，并经过归一化后得到的用户兴趣度模型u；最后，以富媒体资源的特征描述样本及用户兴趣度模型u为基础，采用兴趣度距离及特征距离来度量并形成推荐列表进行个性化推荐。

但以上工作，只是从单一的图片角度、文本角度，或者将两种角度进行简单的对接，没有考虑图片和文本之间的耦合关系，如文本和图片内容的对应和互补关系。这使得提取得到的特征不能完全反应用户的兴趣，或者出现过拟合现象，导致在用户兴趣推荐的应用中，无法正确、适度的满足用户的需求。

另外，图片和文本特征提取的角度，综合利用现有的深度神经网络提取的图片特征和话题模型提取的文本语义特征来综合分析用户的兴趣工作仍有待探索。

发明内容

针对现有技术中的缺陷/之一，本发明的目的是提供一种基于社交图片的用户兴趣挖掘和用户推荐方法及系统，以解决现有用户兴趣分析方法中忽略文本和图片之间耦合关系的问题，充分利用图片和文本之间的互补和部分对应的特性提取出可靠的用户兴趣特征，实现用户的兴趣推荐，满足用户的需求。

根据本发明的第一目的，提供一种基于社交图片的用户兴趣挖掘方法，包括如下步骤：

社交图片收集步骤：从社交网站上获取用户的图片和图片标签；

特征提取步骤：对每张从社交图片收集步骤收集的图片，用深度神经网络提取固定长度的视觉向量；对每张图片的标签用话题模型提取固定长度的文本向量；

兴趣分析步骤：根据特征提取步骤提取的所有视觉向量和文本向量，采用用户兴趣挖掘模型，将视觉向量和文本向量按照相似度进行聚类，计算社交图片的兴趣-类别分布，并计算用户的用户-兴趣分布。

根据本发明的第二目的，提供一种基于社交图片的用户推荐方法，包括如下步骤：