[发明专利]一种社交策展网络上画板(Board)封面的个性化推荐算法

权利要求书

1.一种社交策展网络上画板封面的个性化推荐算法，其特征在于，包括如下步骤：

一、采集的多模态联合表示

社交策展网络中，采集与画板存在明显的上下包含关系；基于这种结构，先对构成画板的采集进行了多模态联合表示，再用画板中全部采集的多模态表示，构建画板模型，

具体包括以下步骤：

1)、文本表示

将词向量的均值池化作为文本表示；对于文本T，其最终表示为

其中M_T为文本中词数，为词Word_i的向量表示；

2)、图像表示

选取CaffeNet作为图像表示学习的基础模型，并且替换了CaffeNet的损失函数；调整后的损失函数为：

其中N_C为样本集合，为分类频数相应的sigmoid输出；

3)、多模态融合

多模态DBM的结构为在两个两层的DBM顶部添加一个共享的隐藏层，除了两个可见层，全部隐藏层均由二值单元构成；每个DBM视为由两个RBM层叠相连而成；RBM是一种无向二部图模型，也就是说，可见层与隐藏层的层内无连接、层间双向全连接；多模态DBM的联合分布为

其中θ为全部模型参数，V_I、H_I1、H_I2分别为图像通路的可见层、第一隐藏层、第二隐藏层，V_T、H_T1、H_T2分别为文本通路的可见层、第一隐藏层、第二隐藏层，H₃为顶部隐藏层；

二、采集多模态表示聚类

在得到采集的多模态表示后，使用高斯混合模型的最大期望EM聚类算法对采集向量进行无监督聚类；将采集分成几个主题相近的簇后，再从中选出推荐候选；

EM聚类算法流程包含以下步骤：

(1)选择簇的数量；封面展示位簇的数量设置为封面展示位的个数；随后，随机初始化每个簇的高斯分布参数；

(2)给定每个簇的高斯分布，计算每个数据点属于每个簇的概率；(3)基于高斯分布概率计算高斯分布参数，使得数据点的概率最大化；

(4)重复步骤(2)(3)直到迭代收敛，每个采集的概率不再发生变化；

三、画板封面推荐

在得到画板的多模态建模后，封面推荐算法将计算画板中的所有采集表示与全部采集表示构成的中心点的距离，其计算公式如下

其中V_cen为前一步中得到的画板的聚类中心向量，V_p为采集的多模态向量表示，n为多模态表示向量的维度，i代表向量第i维的取值；

求出画板中每一个采集与画板中心的距离后，将距离画板模型中心最近的几个采集的图片作为推荐封面，并在用户设置封面时进行推荐或定期为画板更新。

2.根据权利要求1所述的算法，其特征在于，使用深度学习框架Caffe运行，CaffeNet共有八层网络，其结构如下：

卷积层1：输入227*227*3卷积核11*11*3

卷积层2：输入27*27*96卷积核5*5*48步长1

卷积层3：输入13*13*256卷积核3*3*256步长1

卷积层4：输入13*13*384卷积核3*3*192步长1

卷积层5：输入13*13*384卷积核3*3*192步长1

全连接层1的输入是6*6*256，输出是4096，drop_out为0.5；

全连接层2的输入是4096，输出是4096，drop_out为0.5；

全连接层3的输入是4096，输出是33。