[发明专利]一种数据采集方法、装置、电子设备及存储介质

说明书

本发明公开了一种数据采集方法、装置、电子设备及存储介质，方法包括：获取针对网站的配置文件；将配置文件中的第一个请求参数作为当前请求参数，利用当前请求参数向网站发起网络请求，接收网站返回的网页数据并存储；判断配置文件中是否存在下一个请求参数；若存在，则将下一个请求参数作为当前请求参数，并返回执行利用当前请求参数向网站发起网络请求的过程。本方案基于配置化完成网站采集，减少了重复编写程序的环节，因此节省了人力成本，采集人员根据目标网站的网络协议规则，编写出相应的配置文件，进而通过获取到配置文件，完全基于网络协议接口的方式实现网站采集，极大提高了数据采集的效率。

技术领域

本发明涉及计算机技术领域，具体涉及一种数据采集方法、装置、电子设备及存储介质。

背景技术

目前，越来越多企业通过招投标方式进行商情挖掘与市场拓展，据统计，全网有上万个站点发布招投标相关数据，而如何有效监控这些站点，帮助企业实时推送最新的招投标信息，是提高企业商情挖掘能力的一个关键要素。

相关技术中，是对所有站点进行逐个解析，编写一个个对应的采集程序，而解析站点是一个非常耗时繁琐的过程，要达到可以监控全网的目的，需要投入大量的人力和时间成本，数据采集效率很低。

发明内容

本发明的目的是针对上述现有技术的不足提出的一种数据采集方法、装置、电子设备及存储介质，该目的是通过以下技术方案实现的。

本发明的第一方面提出了一种数据采集方法，所述方法包括：

获取针对网站的配置文件；

将所述配置文件中的第一个请求参数作为当前请求参数，，并利用当前请求参数并按照所述配置文件中设置的请求结构生成网络请求，通过预先设置的代理池中间件使用代理地址替换所述网络请求中的实际原地址；

向所述网站发送替换地址后的网络请求，并接收所述网站返回的网页数据并存储；

判断所述配置文件中是否存在下一个请求参数；

若存在，则将下一个请求参数作为当前请求参数，并返回执行利用当前请求参数并按照所述配置文件中设置的请求结构生成网络请求的过程。

本发明的第二方面提出了一种数据采集装置，所述装置包括：

获取模块，用于获取针对网站的配置文件；

采集模块，用于将所述配置文件中的第一个请求参数作为当前请求参数，并利用当前请求参数并按照所述配置文件中设置的请求结构生成网络请求；通过预先设置的代理池中间件使用代理地址替换所述网络请求中的实际原地址；向所述网站发送替换地址后的网络请求，并接收所述网站返回的网页数据并存储；

判断模块，用于判断所述配置文件中是否存在下一个请求参数；

跳转模块，用于在判断存在时，将下一个请求参数作为当前请求参数，并返回执行利用当前请求参数并按照所述配置文件中设置的请求结构生成网络请求的过程。

本发明的第三方面提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面所述方法的步骤。

本发明的第四方面提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第一方面所述方法的步骤。

基于上述第一方面和第二方面所述的数据采集方法及装置，本发明至少具有如下有益效果或优点：

本方案基于配置化完成网站采集，减少了重复编写程序的环节，因此节省了人力成本，采集人员根据目标网站的网络协议规则，编写出相应的配置文件，进而通过获取到配置文件，完全基于网络协议接口的方式实现网站采集，极大提高了数据采集的效率，并且经过简单的环境配置便可以将配置文件导入运行在任意的操作系统中实现数据采集。