[发明专利]一种基于多模态协同的流形传播的图像推荐方法

摘要

一种基于多模态协同的流形传播的图像推荐方法涉及智能媒体计算和大数据分析技术领域，特别是涉及一种图片推荐方法。我们根据用户流形学习学到的相关度生成一定数量的候选集，保证选取的图片在全局上是合理的，根据图片流形学到的相关度推荐候选集中跟用户相关度高的图片。这就使得推荐的图片在全局分布合理的情况下可以结合更多的局部信息，保证推荐的图片在细节上的合理性。可以给用户推荐到用户关系比较大并且跟用户喜欢的图片更相似的图片。

主权项

1.一种基于多模态协同的流形传播的图像推荐方法，其特征在于，包括以下步骤：1)、兴趣流形传播所有图片的集合X＝{x₁，…，x_n}，用户集合U＝{u₁，…，u_c}；图像的用户先验Y＝[y_ij]_n×c,如果用户i喜欢图像j，则y_i，j＝1，否则为0；首先根据用户图片关系直接计算用户之间的相似性；利用计算的相似性构造图G_u＝(U，W)；W表示用户之间的相似性；沿着用户兴趣流形传播图像的用户记录以推断用户‑图像相关性；基于兴趣分布的偏好传播的目的是在用户空间的全局视图中捕获感兴趣的用户‑图像相关性F；、F＝((1‑β)I+βL)^‑1Y其中，L是W＝{w_ij}_n×n的拉普拉斯矩阵，I为单位矩阵；β是平衡参数，0＜β＜1；F＝[f_ij]_n×c即为优化上式收敛所得的图像X＝{x₁，x₂，…，x_n}与用户U＝{u₁，u₂，…，u_c}中基于流形排序的相关度估计结果；2)、视觉流形传播利用深度学习的方法提取图片的特征，首先利用自己的图片对网络进行微调；然后将图片输入网络中提取图片特征；利用余弦相似性计算两张图片的相似性；利用计算的相似性构图G_x＝(X，W)；W表示图片之间的相似性；对于每个图像x_i，计算在将x_i分配给其相邻子流形的情况下模块化的变化；模块化的变化通过模块化的增益来评估，模块化的获得将通过从其先前的子流形中移除x_i并且通过将其分别放置在其相邻的子流形中而发生；这个变化的量即为模块度增量；模块度增量按下式进行计算；其中k_i，in是一个流形上的图片中与图片x_i有连接关系的边的权重之和；k_i表示所有与图片x_i有连接关系的边的权重之和；∑_in表示一个流形上的图片的所有的边的权重之和；∑_tot表示一个流形上的图片与图片之间的边的权重之和，m表示所有的边的权重之和；然后将图像分配给模块度增量最大的子流形上，即找到使得ΔQ最大的那张邻居图片，且满足maxΔQ＞0，则将这张图片分配到ΔQ最大的子流形上；若没有取到正值，则该图片将进一步保留在其原始子流形中；重复这一过程，直到每个图像所属的子流形不再发生变化；3)、多模态协同的流形传播首先根据用户图片关系得到用户之间的相似性，根据图片视觉特征得到图片之间的相似性，分别利用流形了传播用户兴趣，得到用户与图像的相关度；然后根据用户流形得到的用户图像相关度生成一个候选集，再根据图片流形得到的用户图像相关度给用户推荐候选集中与用户相关度高的图片。