[发明专利]基于网络话题的活跃度与集群结构分析系统及方法

权利要求书

1.一种基于网络话题的活跃度与集群结构分析系统，其特征在于，包括数据获取归一模块、数据存储模块、应用分析模块、用户交互与展示模块，其中：

用户交互与展示模块：用于提供与用户交互以及数据分析结果展示的接口；

数据获取归一模块：用于通过接收用户指定的统一资源定位符，借助网络数据爬取子单元和网页数据归一子单元获取并归一化网络数据。其包括网络数据爬取子单元和网页数据归一子单元，网络数据爬取子单元用于获取指定网站的网页数据，并将网页数据和网页本地存放地址保存起来，网页数据归一子单元通过处理原始页面数据，将分析提取的页面关键信息存入相应的数据存储模块中；

数据存储模块：用于存放网络页面的原始数据和归一化网页数据，为应用解析模块提供分析数据；

应用分析模块：在网页聚类和热点挖掘的基础上，利用热点挖掘的结果对归一化数据深度挖掘话题活跃度和社团结构，并通过用户交互与展示单元向用户展示结果。

2.根据权利要求1所述的基于网络话题的活跃度与集群结构分析系统，其特征是，网络数据爬取子单元包括网页链接爬虫模块、网页拉取模块、网页信息存储模块，这些模块借助网页链接队列和网页存储队列获取并存储网页数据。

3.根据权利要求1所述的基于网络话题的活跃度与集群结构分析系统，其特征是，所述网页数据归一子单元进一步包括原始网页数据提取模块、网页分析模块、归一数据存储模块。该子单元由原始网页数据提取模块获取保存在本地的原始网页，放入待析网页队列以及待析网页队列、解析记录队列和归一网页队列。网页分析模块从待析网页队列中获取原始网页数据，利用网页解析数据库提供的解析方法分析网页数据，并将处理完毕的网页数据的URL放入解析记录队列。同时通过原始网页数据提取模块，对存储在原始网页数据库中的已被解析过的网页做标记。网页分析模块将分析过后的数据存入归一网页队列，等待归一数据存储模块处理。归一数据存储模块从归一网页队列中获取分析后的网页数据，并通过数据访问接口存入归一化网页数据。

4.根据权利要求1所述的基于网络话题的活跃度与集群结构分析系统，其特征是，所述的应用分析模块包括网页聚类子单元、热点挖掘子单元、话题活跃度分析与可视化单元和社团结构挖掘与可视化单元，其中，热点挖掘子单元在网页聚类子单元进行网络聚类的基础上，通过分析原始页面数据的网页内容，从而得到热点话题，该子单元也可以针对用户给出的关键词进行热点查询，话题活跃度分析与可视化单元和社团结构挖掘与可视化子单元在热点挖掘子单元的基础上，深度分析网络结构和网页内容，进而将分析结果反馈给用户交互与展示模块呈现结果。

5.一种基于网络话题的活跃度与集群结构分析方法，其特征在于，包括：

(1)当用户输入URL后，系统以该URL为种子，通过网络数据爬取子单元获取网站的原始网页数据，并将每个原始网页和该网页的存储地址存放在本地，通过网页数据归一子单元，提取出标题、作者、时间、网页主要内容并存入归一化网页数据库，分析指定网站的URL格式，构造Ajax下获取评论的目的URL，进而获取相关评论并存入数据库；

(2)对原始页面数据库中的网页数据通过聚类方法将网页进行分类，热点挖掘子单元利用网页聚类的聚类结果对网络数据进行热点挖掘；

(3)将归一化网页数据库中的数据和热点挖掘子单元的分析结果作为输入数据，提供给话题活跃度评估单元和社团结构挖掘与可视化单元，这两个单元的分析结果和热点挖掘子单元的分析结果一起，展示给用户。