[发明专利]一种基于互联网的舆情数据采集方法及系统

说明书

技术领域

本发明涉及互联网数据采集技术领域，尤其涉及一种基于互联网的舆情数据采集方法及系统。

背景技术

网络舆情是通过互联网传播的，公众对现实生活中某些热点、焦点问题所持的有较强影响力、倾向性的情感、态度、意见、言论或观点，其主要通过论坛BBS上的发帖评论及跟贴、博客Blog等实现并加以强化。由于互联网具有虚拟性、隐蔽性、发散性、渗透性和随意性等特点，越来越多的网民乐意通过这种渠道来表达观点、传播思想。而且，互联网成为反映社会舆情的主要载体之一。

目前，大部分部门和企业的舆情监测和管理工作主要依靠人工来完成，人工进行舆情监测面临着舆情信息收集不全、舆情信息发现不及时、舆情信息发现不准确、舆情信息利用不便利等诸多问题。因此，完全靠人工进行舆情信息的收集和上报，消耗大量的时间和精力，而且效果并不理想。

在新的互联网形势下，面对这样的困扰，需要借助互联网舆情监测工具，快速开展大规模舆情监测机制建设，来提高互联网上舆情数据的采集能力和实战部门的情报指导能力。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决或者减缓上述问题的基于互联网的舆情数据采集方法及系统。

根据本发明的一个方面，提供了一种基于互联网的舆情数据采集方法，该方法包括：

实时监视各个网络爬虫的状态，根据所述各个网络爬虫的状态调度每个网络爬虫，以实现对互联网中各预设舆情网站内容的抓取和/或对互联网中其他网站内容的屏蔽；

采用所述网络爬虫根据预设条件对所述各预设舆情网站的网页内容进行抓取，并从抓取到的数据中提取相应的网站地址；

将所述网站地址进行地址解析，对解析成功的网站地址去重、去噪处理后进行分类；

采用所述网络爬虫对分类成功的网站地址对应网站的网页内容进行抓取；

为抓取到的对应网站的网页内容建立舆情数据全文索引信息，并将所述网页内容存入预设的内容数据库、舆情数据全文索引信息存入预设的索引数据库。

可选的，所述实时监视多个网络爬虫的状态，根据所述网络爬虫的状态调度各个网络爬虫，包括：

根据用户输入的网站网址，预先设置互联网中需要进行网页内容抓取的舆情网站，以及互联网中不需要进行网页内容抓取的网站；

根据用户输入的爬虫设置参数，进行网络爬虫的设置；

实时感知各个网络爬虫的工作状态；

根据各个网络爬虫的工作状态，产生爬虫分类信息，将负担大于第一预设值的爬虫从当前数据抓取任务中解放出来，并分配负担小于第二预设值的爬虫执行所述数据抓取任务；

对所述不需要进行网页内容抓取的网站的地址进行过滤。

可选的，所述采用所述网络爬虫根据预设条件对所述各预设舆情网站的网页内容进行抓取，并从抓取到的数据中提取相应的网站地址，包括：

根据预设条件对所述各预设舆情网站的网页内容进行抓取；

计算抓取到的网页信息与所述预设条件的相似度；

根据相似度大于第三预设值的网页信息生成相应的网站地址。

可选的，所述将所述网站地址进行地址解析，对解析成功的网站地址去重、去噪处理后进行分类，包括：

对所述网站地址进行地址类型判断，根据判断结果选择合适的地址解析器进行地址解析，并对解析成功的网站地址进行去重、去噪处理；

对去重、去噪处理后的网站地址进行分类。

可选的，所述采用所述网络爬虫对分类成功的网站地址对应网站的网页内容进行抓取，并下载该网页的全文信息，包括：

采用所述网络爬虫对分类成功的网站地址对应网站的网页内容进行抓取；

根据所述分类成功的网站地址的地址类型进行下载器选择，利用选出的下载器对所述网页内容进行下载。

可选的，为抓取到的对应网站的网页内容建立舆情数据全文索引信息，并将所述网页内容存入预设的内容数据库、舆情数据全文索引信息存入预设的索引数据库，包括：

为抓取到的对应网站的网页内容建立舆情数据全文索引信息；

将所述抓取到的对应网站的网页内容存入预设的内容数据库、舆情数据全文索引信息存入预设的索引数据库；

对所述索引数据库中存储的数据进行统计分析。

根据本发明的另一个方面，提供了一种基于互联网的舆情数据采集系统，所述系统包括数据采集单元和检索分析单元，所述数据采集单元包括爬虫调度子系统和网络爬虫子系统；