[发明专利]基于网络话题的活跃度与集群结构分析系统及方法

说明书

技术领域

本发明涉及的是一种网络舆情监控与分析领域的系统，具体是一种基于网络话题的活跃度与集群结构分析系统及方法。

背景技术

互联网的高度发达，尤其是博客、微博、论坛等新兴应用的出现，使得网络成为现代生活中大量信息传播的主要媒介，成为网民用于获取信息、发表评论、网络推广、网络营销的主要平台，被称为继报纸、广播、电视之后的“第四媒体”。实时监控网络舆情、合理引导网络舆论，关乎国家安危、和谐社会、领导决策及企业生存，对于政府办公室、网宣办、外宣办等政府部门来说越来越重要。目前的网络舆情系统通过网络爬虫（网页蜘蛛，网络机器人，在FOAF社区中间经常称为网页追逐者）技术，即一种按照一定规则自动抓取万维网信息的程序或脚本，获取大量网络数据，进一步对这些数据进行过滤与去噪，借助分词、聚类、统计分析等方法发现网络中传播的热门话题。

但是由于目前大部分的网站都采用了Ajax技术，对于网络评论数据一般都通过JavaScript动态加入到网页中，使得网络爬虫很难去获取这些评论内容。因此目前针对网页评论的分析研究仅仅停留在对评论观点主题的识别，通过分词工具对评论内容进行分词后，用统计方法得到观点主题词。这些系统没有对网络话题数据的集群结构状态进行挖掘与评估，不能获得网络数据的深层次关系。

经过进一步检索，已有的舆情系统中并没有对网页的评论数据进行深层次分析，也没有对网络话题数据的集群结构进行挖掘与评估。

也就是说，现有的网络爬虫很难从技术的角度来实现精准获取所需的数据或资料，存在实现难度大的技术问题。

发明内容

本发明针对现有技术上的问题，提供一种基于网络话题数据的活跃度与集群结构挖掘与评估系统。

本发明是通过以下技术方案实现的，本发明包括：数据获取归一模块、数据存储模块、应用分析模块、用户交互与展示模块，其中：用户交互与展示模块提供与用户交互以及数据分析结果展示的接口。数据获取归一模块通过接收用户指定的统一资源定位符(Universal Resource Locator，URL)，借助网络数据爬取子单元和网页数据归一子单元，获取并归一化网络数据。数据存储模块存放归一化网页数据，为应用解析模块提供分析数据。应用分析模块在网页聚类和热点挖掘的基础上，利用热点挖掘的结果对归一化数据进一步分析，深度挖掘话题活跃度和社团结构，并通过用户交互与展示单元向用户展示分析结果。

1.所述的数据获取归一模块包括网络数据爬取子单元和网页数据归一子单元。其中，网络数据爬取子单元获取指定网站的网页数据，并将网页数据和网页本地存放地址保存起来。网页数据归一子单元通过处理原始页面数据，将分析提取的页面关键信息存入归一化网页数据库。

所述的网络数据爬取子单元通过读取SeedURL表，获得种子URL，利用网页链接爬虫模块获得指定网站的链接并存入网页链接队列；网页拉取模块从网页链接队列中获得页面URL，在抓取整个网页的基础上，将该网页的页面数据、URL与本地存储地址的信息，通过网页信息存储模块存入原始网页数据库。

所述的SeedURL表指示爬虫爬取网页的起始URL，每一个记录都将对应的开启一个爬虫线程，该线程只爬取指定网站的网页。该表所包含的字段包括：（1）URL字段，表示指定的URL链接；（2）Parser字段：指定该URL对应的解析方法；（3）inUse字段：该种子URL是否在使用；（4）finish字段：该URL是否爬取完毕；（5）Depth字段：爬取的层数。