[发明专利]基于网络话题的活跃度与集群结构分析系统及方法

摘要

一种基于网络话题的活跃度与集群结构分析系统，包括：数据获取归一模块、数据存储模块、应用分析模块、用户交互与展示模块，用户交互与展示模块提供与用户交互以及数据分析结果展示的接口。数据获取归一模块通过接收用户指定的URL，借助网络数据爬取子单元和网页数据归一子单元获取并归一化网络数据。数据存储模块存放归一化网页数据，为应用解析模块提供分析数据。应用解析模块在网页聚类和热点挖掘的基础上，深度挖掘话题活跃度和社团结构，并通过用户交互与展示单元向用户展示结果。本发明克服了网络舆情系统领域检测手段单一，不能进行网页内容挖掘等局限性，很好的解决了网页信息分析中集群结构挖掘与状态评估的深层次信息挖掘的问题。

主权项

一种基于网络话题的活跃度与集群结构分析系统，其特征在于，包括数据获取归一模块、数据存储模块、应用分析模块、用户交互与展示模块，其中：用户交互与展示模块：用于提供与用户交互以及数据分析结果展示的接口；数据获取归一模块：用于通过接收用户指定的统一资源定位符，借助网络数据爬取子单元和网页数据归一子单元获取并归一化网络数据。其包括网络数据爬取子单元和网页数据归一子单元，网络数据爬取子单元用于获取指定网站的网页数据，并将网页数据和网页本地存放地址保存起来，网页数据归一子单元通过处理原始页面数据，将分析提取的页面关键信息存入相应的数据存储模块中；数据存储模块：用于存放网络页面的原始数据和归一化网页数据，为应用解析模块提供分析数据；应用分析模块：在网页聚类和热点挖掘的基础上，利用热点挖掘的结果对归一化数据深度挖掘话题活跃度和社团结构，并通过用户交互与展示单元向用户展示结果。