[发明专利]面向大数据存储中心的互联网数据采集系统和采集方法

权利要求书

1.一种面向大数据存储中心的互联网数据采集系统，其特征在于，包括数据爬取服务器、数据网关、数据库服务器；数据爬取服务器连接数据网关，数据网关连接数据库服务器；

在数据爬取服务器上，建立有数据爬取主程序和格式处理程序；

在数据爬取服务器上，还建立有至少一个目标文件夹，每个目标文件夹对应一个目标网站；在各目标文件夹中，建立有与每个目标网站唯一对应的爬虫程序，以及一个目标地址文件，目标地址文件中存有目标内容的URL链接；

数据网关作为一个中转站，负责连接数据爬取服务器和数据库服务器，将数据爬取服务器抓取的网站数据信息转送给数据库服务器。

2.一种面向大数据存储中心的互联网数据采集方法，基于如权利要求1所述的面向大数据存储中心的互联网数据采集系统，其特征在于，包括下述步骤：

步骤S1，数据抓取前置处理，由数据爬取主程序完成，具体包括：

S1.1，获取用户输入的执行参数，包括：

获取用户设置的日志级别；

获取用户设置的所要爬取的目标网站和目标网站上的具体内容，以及数据库服务器上数据存储位置信息；

获取用户设置的爬取间隔时间；

获取用户设置的数据网关的IP地址和端口；

S1.2，根据步骤S1.1获取到的IP地址和端口，首先连接数据网关；如果连接成功才继续执行S1.3，如果连接不成功，则直接给用户返回错误信息，让其检查数据网关的地址是否有效；

S1.3，数据爬取主程序加载目标网站对应的目标文件夹中的爬虫程序；

步骤S2，数据抓取及预处理，具体包括：

S2.1，读取目标地址文件里的链接地址，子步骤S2.1由爬虫程序完成；

S2.2，用一个工具包链接读取出来的网址，获取到网页的html源代码；子步骤S2.2由爬虫程序完成；

S2.3，用一个工具解析html源代码，获取得到所需的数据；子步骤S2.2由爬虫程序完成；

S2.4，然后将获取到的数据信息，利用格式处理程序进行JSON格式解封装，得到原始的数据；

S2.5，将得到的原始数据，转换成数据库服务器上数据库能够存储的格式，然后将推送给数据网关；子步骤S2.5由爬虫程序完成；

步骤S3，数据转发，具体包括：

S3.1，根据步骤S1中获取的IP地址和端口号，链接数据网关，如果连接成功则执行S3.2，如果连接不成功，则尝试重新连接，如果还不成功，就返回失败信息给用户；此子步骤S3.1通过爬虫程序完成；

S3.2，进行推送之前，需要先把步骤S2生成的数据，通过格式处理程序转化成JSON格式；

S3.3，将步骤S1获取的存储位置信息，和S3.2得到的打包成JSON格式的数据，一同组装成HTTP报文；此子步骤S3.3通过爬虫程序完成；

S3.4，执行推送操作，将HTTP报文数据发送到数据网关完成任务；此子步骤S3.4通过爬虫程序完成。

3.如权利要求2所述的面向大数据存储中心的互联网数据采集方法，其特征在于：

子步骤S2.2中，采用的工具包为urllib2工具包。

4.如权利要求2所述的面向大数据存储中心的互联网数据采集方法，其特征在于：

子步骤S2.3中，采用的工具为BeautifulSoup工具。