[发明专利]一种基于互联网的舆情数据采集方法及系统

权利要求书

1.一种基于互联网的舆情数据采集方法，其特征在于，所述方法包括：

实时监视各个网络爬虫的状态，根据所述各个网络爬虫的状态调度每个网络爬虫，以实现对互联网中各预设舆情网站内容的抓取和/或对互联网中其他网站内容的屏蔽；

采用所述网络爬虫根据预设条件对所述各预设舆情网站的网页内容进行抓取，并从抓取到的数据中提取相应的网站地址；

将所述网站地址进行地址解析，对解析成功的网站地址去重、去噪处理后进行分类；

采用所述网络爬虫对分类成功的网站地址对应网站的网页内容进行抓取；

为抓取到的对应网站的网页内容建立舆情数据全文索引信息，并将所述网页内容存入预设的内容数据库、舆情数据全文索引信息存入预设的索引数据库。

2.根据权利要求1所述的方法，其特征在于，所述实时监视多个网络爬虫的状态，根据所述网络爬虫的状态调度各个网络爬虫，包括：

根据用户输入的网站网址，预先设置互联网中需要进行网页内容抓取的舆情网站，以及互联网中不需要进行网页内容抓取的网站；

根据用户输入的爬虫设置参数，进行网络爬虫的设置；

实时感知各个网络爬虫的工作状态；

根据各个网络爬虫的工作状态，产生爬虫分类信息，将负担大于第一预设值的爬虫从当前数据抓取任务中解放出来，并分配负担小于第二预设值的爬虫执行所述数据抓取任务；

对所述不需要进行网页内容抓取的网站的地址进行过滤。

3.根据权利要求1或2所述的方法，其特征在于，所述采用所述网络爬虫根据预设条件对所述各预设舆情网站的网页内容进行抓取，并从抓取到的数据中提取相应的网站地址，包括：

根据预设条件对所述各预设舆情网站的网页内容进行抓取；

计算抓取到的网页信息与所述预设条件的相似度；

根据相似度大于第三预设值的网页信息生成相应的网站地址。

4.根据权利要求1或2所述的方法，其特征在于，所述将所述网站地址进行地址解析，对解析成功的网站地址去重、去噪处理后进行分类，包括：

对所述网站地址进行地址类型判断，根据判断结果选择合适的地址解析器进行地址解析，并对解析成功的网站地址进行去重、去噪处理；

对去重、去噪处理后的网站地址进行分类。

5.根据权利要求4所述的方法，其特征在于，所述采用所述网络爬虫对分类成功的网站地址对应网站的网页内容进行抓取，包括：

采用所述网络爬虫对分类成功的网站地址对应网站的网页内容进行抓取；

根据所述分类成功的网站地址的地址类型进行下载器选择，利用选出的下载器对所述网页的内容进行下载。

6.根据权利要求1所述的方法，其特征在于，所述为抓取到的对应网站的网页内容建立舆情数据全文索引信息，并将所述网页内容存入预设的内容数据库、舆情数据全文索引信息存入预设的索引数据库，包括：

为抓取到的对应网站的网页内容建立舆情数据全文索引信息；

将所述抓取到的对应网站的网页内容存入预设的内容数据库、舆情数据全文索引信息存入预设的索引数据库；

对所述索引数据库中存储的数据进行统计分析。

7.一种基于互联网的舆情数据采集系统，其特征在于，所述系统包括数据采集单元和检索分析单元，所述数据采集单元包括爬虫调度子系统和网络爬虫子系统；

爬虫调度子系统，用于实时监视各个网络爬虫的状态，根据所述各个网络爬虫的状态调度每个网络爬虫，以实现对互联网中各预设舆情网站内容的抓取和/或对互联网中其他网站内容的屏蔽；

网络爬虫子系统，用于根据预设条件对所述各预设舆情网站的网页内容进行抓取，并从抓取到的数据中提取相应的网站地址；将所述网站地址进行地址解析，对解析成功的网站地址去重、去噪处理后进行分类；所述网络爬虫子系统还用于对分类成功的网站地址对应网站的网页内容进行抓取；

检索分析单元，用于为抓取到的对应网站的网页内容建立舆情数据全文索引信息，并将所述网页内容存入预设的内容数据库、舆情数据全文索引信息存入预设的索引数据库。