[发明专利]一种基于Spark平台Web服务个性化推荐方法及系统

摘要

一种基于Spark平台Web服务个性化推荐方法及系统，包括：提取用户在电商应用或信息平台的行为数据，对收集的行为数据进行评估分析；利用基于商空间粒度分析的覆盖聚类算法对收集的行为数据进行聚类处理得出聚类结果，根据上述聚类结果构建用户关联矩阵Mu和服务关联矩阵Ms，再通过对上述构建的关联矩阵进行目标用户和目标Web服务的相似邻居分析，得出目标用户和目标Web服务的相似邻居结果，并根据相似邻居结果的聚类信息对用户的评价值QoS进行预测和混合处理得出推荐算法；在Spark平台下对该推荐算法进行并行化计算，对计算结果进行存储。该方法有效提高了Web服务推荐的准确性和效率，同时缓解了推荐过程中可能存在的数据稀疏性以及扩展性问题。

主权项

1.一种基于Spark平台Web服务个性化推荐方法，其特征在于，包括下述步骤：S1、提取用户在电商应用或信息平台的行为数据，对收集的用户对Web服务的历史行为信息进行评估分析；S2、用基于商空间粒度分析的覆盖聚类算法对收集的用户对Web服务的历史行为信息进行聚类处理得出聚类结果；S3、根据上述步骤S2中的聚类结果构建用户关联矩阵Mu和Web服务关联矩阵Ms；S4、通过对上述步骤S3中构建的关联矩阵进行目标用户和目标Web服务的相似邻居分析，得出目标用户和目标Web服务的相似邻居结果；S5、根据上述步骤S4中目标用户和目标Web服务的相似邻居结果的聚类信息分别对用户的评价值QoS进行预测；S6、混合处理步骤S5中的预测结果得出推荐方案，完成整个推荐算法；S7、在Spark平台下对该推荐算法进行并行化计算，并对计算结果进行存储，提高推荐系统的性能；其中步骤S5具体包括：根据得出的相似邻居结果的覆盖信息进行用户对未调用过的Web服务的评价值QoS预测，过程具体包括为：根据得出的目标用户相似邻居Similar‑Neighbors(user)的覆盖信息，以及下述公式预测用户u对Web服务s的评价值QoS；其中，k_u表示目标用户的相似邻居的数目，a_u(t)表示用户u的相似邻居中第a_u(t)个用户，表示u的相似用户a_u(t)对Web服务s的评价值QoS，表示用户u与其相似邻居a_u(t)被分为一类的次数，N_u表示用户u与其相似邻居中的所有用户被分为一类的次数总和；根据得出的目标Web服务相似邻居Similar‑Neighbors(service)的覆盖信息，以及下述公式预测用户u对Web服务s的评价值QoS；其中，ks表示目标Web服务的相似邻居的数目，a_s(t)表示Web服务s的相似邻居中第a_s(t)个用户，表示被用户u调用的Web服务的相似用户a_s(t)并给出的评价值QoS，表示Web服务s与其相似邻居a_s(t)被分为一类的次数，N_s表示Web服务s与其相似邻居中的所有用户被分为一类的次数总和；步骤S6具体包括：依据qu,s(u)以及qu,s(s)得出的基于用户与基于Web服务聚类的评价值QoS预测，利用混合因子λ将基于用户聚类的推荐算法的评价值QoS预测和基于Web服务聚类的推荐算法的评价值QoS预测相混合，得出下述公式：qu,s＝λqus(u)+(1‑λ)qus(s)；将得出的qu,s进行降序排列，取出前N位的Web服务作为推荐方案；其中，所述N为预设值；所述步骤S2中，采用基于用户和Web服务二重混合的混合推荐算法对收集的用户对Web服务的历史行为信息进行聚类，上述进行聚类的过程采用基于商空间粒度分析的覆盖聚类算法，所述基于商空间粒度分析的覆盖聚类算法具体包括如下步骤：S01、计算出所有未学习过的样本点的重心，并以离该重心最近的样本点作为覆盖的圆心；S02、计算出所有还未聚类的样本点与圆心的距离；S03、计算出步骤S02中所有距离的平均距离，以上述平均距离为半径；S04、并根据上述半径计算出球形覆盖；S05、计算当前球形覆盖的重心；当样本点的个数大于预设值是，执行步骤S06，当样本点的个数不大于预设值是，执行步骤S07；S06、将离步骤S05中球形覆盖的圆心最远的点作为新的圆心，并根据上述新的圆心重复步骤S02、S03、S04、S05，直到所有的样本全部覆盖结束；S07、将离步骤S05中球形覆盖的圆心最近的点最为新的圆心，计算出步骤S05中球形覆盖的圆心与新的圆心的距离，将离的最近的两个球形覆盖合并为一个新的球形覆盖，并更新其他覆盖与新覆盖的最短距离，如此重复，确定最后的聚类数；S08、计算出所有覆盖聚类结果中球形覆盖与球形覆盖两两之间的相似度；S09、比较S08步骤中计算得出的所有相似度值，得到最大相似度阈值；S10、如果最大相似度阈值大于经过实验获得的相似度阈值，则覆盖聚类结束，确定最后的聚类数，否则，将相似度最大的两个球形覆盖合并，重复步骤S08、S09，更新其他球形覆盖与获得的新的球形覆盖之间的相似度值，直到覆盖聚类结束。