[发明专利]并行化分布式网络舆情数据管理方法及系统

权利要求书

1.一种并行化分布式网络舆情数据管理方法，其特征在于，包括：

对互联网数据进行抓取；

对所述互联网数据进行抽取；

存储和展示抓取和抽取得到的互联网舆情数据；以及

对所述互联网舆情数据的索引和查询进行优化。

2.如权利要求1所述的方法，其特征在于，所述对互联网数据进行抓取包括：

用户设定网站的类型、所属行业、所要抓取索引页的链接；

然后将所述索引页对应的网页信息抓取的正则配置网页导入数据库；以及

读取所述索引页的完整抓取配置信息，对所述索引页下的所有全文和评论进行抓取，并对抓取的网页进行标定和记录。

3.如权利要求1和2所述的方法，其特征在于，所述对所述互联网数据进行抽取包括：

将所述索引页对应的网页信息抽取正则配置文件导入数据库；以及

读取所述索引页下正文、评论的完整抽取配置信息，进行所述索引页下的所有正文及评论的抽取，并对抽取的网页进行标定和记录。

4.如权利要求4所述的方法，其特征在于，所述数据库的读操作和写操作在不同数据库服务器中进行。

5.一种并行化分布式网络舆情数据管理系统，其特征在于，包括：

数据抓取模块，所述数据抓取模块用于对互联网数据进行抓取；

数据抽取模块，所述数据抽取模块用于对所述互联网数据进行抽取；

存储模块，所述存储模块用于存储和展示抓取和抽取得到的互联网舆情数据；以及

优化模块，所述优化模块用于对所述互联网舆情数据的索引和查询进行优化。

6.如权利要求5所述的系统，其特征在于，所述数据抓取模块包括：

用户设定模块，所述用户设定模块用于用户设定网站的类型、所属行业、所要抓取索引页的链接；

第一导入模块，所述第一导入模块用于将所述索引页对应的网页信息抓取的正则配置网页导入数据库；以及

抓取及标定子模块，所述抓取及标定子模块用于读取所述索引页的完整抓取配置信息，对所述索引页下的所有全文和评论进行抓取，并对抓取的网页进行标定和记录。

7.如权利要求5和6所述的系统，其特征在于，所述数据抽取模块包括：

第二导入模块，所述第二导入模块用于将所述索引页对应的网页信息抽取正则配置文件导入数据库；以及

抽取及标定子模块，装置抽取及标定子模块用于读取所述索引页下正文、评论的完整抽取配置信息，进行所述索引页下的所有正文及评论的抽取，并对抽取的网页进行标定和记录。

8.如权利要求8所述的方法，其特征在于，所述数据库的读操作和写操作在不同数据库服务器中进行。