[发明专利]数据的收集方法及装置

权利要求书

1.一种数据的收集方法，其特征在于，包括：

建立用于搜索待收集数据的关键字与对应包含所述关键字的网页地址的对应关系；

循环获取所述对应关系中的网页地址；

将获取到的网页地址传入多个线程并行进行爬取，并将爬取到的网页内容保存到内存中；

通过预设方式获取所述内存中网页内容的文本内容，将获取到的文本内容保存到指定路径的文件中；

其中，所述通过预设方式获取所述内存中网页内容的文本内容，将获取到的文本内容保存到指定路径的文件中，包括：

通过预设方式获取所述内存中由所述多个线程中各个线程所分别爬取的网页内容的文本内容，将获取到的所述各个线程输出的文本内容进行合并，并以所述关键字为索引，将同一个关键字所对应的文本内容保存到指定路径的同一个文件中。

2.根据权利要求1所述的方法，其特征在于，所述建立用于搜索待收集数据的关键字与对应包含所述关键字的网页地址的对应关系包括：

预设一个或多个关键字，其中，所述关键字由一个或多个词组组成；

通过搜索引擎循环读取所述关键字进行搜索；

建立搜索结果的网页地址与搜索得到所述网页地址的关键字之间的对应关系。

3.根据权利要求1所述的方法，其特征在于，所述将获取到的网页地址传入线程进行爬取，并将爬取到的网页内容保存到内存中包括：

将获取到的网页地址分别传入线程池中的线程；

通过所述线程对所述网页地址中的网页内容进行爬取；

将爬取到的网页内容保存到内存中。

4.根据权利要求1所述的方法，其特征在于，所述通过预设方式获取所述内存中网页内容的文本内容包括：

通过预设方式将获取到的所述内存中的网页内容转化为dom实例；

获取所述dom中的根节点，以及所述根节点下的子节点、孙节点；

判断获取到的每个节点是否包含文本内容；

在判断结果为是时，获取节点中的文本，其中，将获取的新文本追加到在所述新文本之前获取到的文本的尾部。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述待收集的数据为水利舆情数据。

6.一种数据的收集装置，其特征在于，包括：

建立模块，用于建立用于搜索待收集数据的关键字与对应包含所述关键字的网页地址的对应关系；

获取模块，用于循环获取所述对应关系中的网页地址；

第一处理模块，用于将获取到的网页地址传入多个线程并行进行爬取，并将爬取到的网页内容保存到内存中；

第二处理模块，用于通过预设方式获取所述内存中网页内容的文本内容，将获取到的文本内容保存到指定路径的文件中；

其中，所述第二处理模块用于通过以下方式将获取到的所述文本内容保存到所述指定路径的文件中：

通过预设方式获取所述内存中由所述多个线程中各个线程所分别爬取的网页内容的文本内容，将获取到的所述各个线程输出的文本内容进行合并，并以所述关键字为索引，将同一个关键字所对应的文本内容保存到指定路径的同一个文件中。

7.根据权利要求6所述的装置，其特征在于，所述建立模块包括：

预设单元，用于预设一个或多个关键字，其中，所述关键字由一个或多个词组组成；

搜索单元，用于通过搜索引擎循环读取所述关键字进行搜索；

建立单元，用于建立搜索结果的网页地址与搜索得到所述网页地址的关键字之间的对应关系。

8.根据权利要求6所述的装置，其特征在于，所述第一处理模块包括：

传入单元，用于将获取到的网页地址分别传入线程池中的线程；

爬取单元，用于通过所述线程对所述网页地址中的网页内容进行爬取；

保存单元，用于将爬取到的网页内容保存到内存中。