[发明专利]一种网络日志挖掘中的用户聚类方法及系统

说明书

技术领域

本发明涉及用户聚类技术，尤其涉及一种网络日志挖掘中的用户聚类方法及系统。

背景技术

随着Internet的迅速发展和广泛普及，信息快速增长与人们注意力有限性的矛盾在不断增加，网络用户日益关注如何能够在最短的时间内找到最适合自己的信息。各网站的运营商也越来越希望了解访问者在网站的活动情况，从庞大的用户群的数据海洋中挖掘客户活动信息，让用户可以得到个性化的服务。

要提高网站的影响力，为用户提供更好的服务，就应该根据用户的浏览模式来改进网站结构以提高Web服务质量，并最终实现网站的个性化推荐。

发明内容

本发明所要解决的技术问题是在于需要提供一种网络日志挖掘中的用户聚类技术，达到提高网站服务质量的目的。

为了解决上述技术问题，本发明首先提供了一种网络日志挖掘中的用户聚类方法，包括如下步骤：

对网络日志进行预处理，获得可信网络日志；

根据用户的访问兴趣以及该可信网络日志，建立表达用户是否访问了特征网页的用户访问模式矩阵；

使用基于菌群优化的聚类算法对该用户访问模式矩阵进行优化聚类，并根据预设的类别标签标记用户所属的类别，建立用户公共档案；

根据该用户公共档案，将预取概率超过预设的预取概率阈值的页面提取并保存到缓存中。

其中，对该网络日志进行预处理的步骤，包括：

对该网络日志进行数据清洗、用户识别以及会话识别。

其中，对该网络日志进行该数据清洗的步骤，包括：

过滤网页中的图片，过滤动态网页以及点击率低于预设点击阈值的网页。

其中，使用该基于菌群优化的聚类算法对该用户访问模式矩阵进行该优化聚类，根据该类别标签标记用户所属的类别，建立该用户公共档案的步骤，包括：

使用该基于菌群优化的聚类算法对该用户访问模式矩阵进行优化聚类，得到聚类中心的位置；

根据用户与各聚类中心的距离，采用该类别标签标记用户所属的类别，根据用户所属的类别建立该用户公共档案。

本发明还提供了一种网络日志挖掘中的用户聚类系统，包括：

预处理模块，用于对网络日志进行预处理，获得可信网络日志；

第一建立模块，用于根据用户的访问兴趣以及该可信网络日志，建立表达用户是否访问了特征网页的用户访问模式矩阵；

第二建立模块，用于使用基于菌群优化的聚类算法对该用户访问模式矩阵进行优化聚类，并根据预设的类别标签标记用户所属的类别，建立用户公共档案；

预提取模块，用于根据该用户公共档案，将预取概率超过预设的预取概率阈值的页面提取并保存到缓存中。

其中，该预处理模块用于对该网络日志进行数据清洗、用户识别以及会话识别，获得该可信网络日志。

其中，该预处理模块用于过滤网页中的图片，过滤动态网页以及点击率低于预设点击阈值的网页。

其中，该第二建立模块包括：

聚类单元，用于使用该基于菌群优化的聚类算法对该用户访问模式矩阵进行优化聚类，得到聚类中心的位置；

建立单元，用于根据用户与各聚类中心的距离，采用该类别标签标记用户所属的类别，根据用户所属的类别建立该用户公共档案。

与现有技术相比，本发明具有以下优点：

针对网络日志海量、高维、数据规模多样的特点，本发明提出的基于群体智能优化的BF-C技术，具有收敛效果好、适用于包含的类具有多个大小和密度的数据集、适用于高维数据的优点。这些优点可以解决网络用户聚类的难题，可以使聚类结果更加准确和稳定。同时，本发明提出的群组网页预取方案，与现有预取技术相比，准确率有了大幅度的提高。

本发明的技术方案可以用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、多处理器系统、网络PC、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

附图说明

图1是本发明实施例网络日志挖掘中的用户聚类方法的流程示意图；

图2是本发明实施例网络日志挖掘中的用户聚类系统的组成示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式。

本发明设计了一种基于优化的网络用户聚类方法和网页预取系统，以达到降低响应时间，提高网站服务质量的目的。