[发明专利]一种数据采集方法、装置、电子设备及存储介质

权利要求书

1.一种数据采集方法，其特征在于，所述方法包括：

获取针对网站的配置文件；

将所述配置文件中的第一个请求参数作为当前请求参数，并利用当前请求参数并按照所述配置文件中设置的请求结构生成网络请求，通过预先设置的代理池中间件使用代理地址替换所述网络请求中的实际原地址；

向所述网站发送替换地址后的网络请求，并接收所述网站返回的网页数据并存储；

判断所述配置文件中是否存在下一个请求参数；

若存在，则将下一个请求参数作为当前请求参数，并返回执行利用当前请求参数并按照所述配置文件中设置的请求结构生成网络请求的过程。

2.根据权利要求1所述的方法，其特征在于，所述获取针对网站的配置文件，包括：

从指定任务队列中获取一个配置文件。

3.根据权利要求1所述的方法，其特征在于，所述向所述网站发送替换地址后的网络请求之后，所述方法还包括：

通过预先设置的请求重试中间件检测是否存在请求超时或返回数据异常情况；

若存在，则在确定重试次数小于预设阈值时，将所述重试次数加1，并重新执行利用当前请求参数并按照所述配置文件中设置的请求结构生成网络请求的过程。

4.根据权利要求1所述的方法，其特征在于，所述判断所述配置文件中是否存在下一个请求参数，包括：

通过回调函数回调下一个请求参数；

如果所述回调函数输出回调成功结果，则确定所述配置文件存在下一个请求参数；

如果所述回调函数输出回调失败结果，则确定所述配置文件不存在下一个请求参数。

5.根据权利要求1所述的方法，其特征在于，所述接收所述网站返回的网页数据并存储，包括：

通过预先设置的文本编码转换中间件将所述网站返回的网页数据的编码格式转换为预设编码格式；

利用所述配置文件中的解析规则对编码格式转换后的网页数据进行解析，并存储经解析后的网页数据。

6.根据权利要求5所述的方法，其特征在于，所述利用所述配置文件中的解析规则对转换后的网页数据进行解析，包括：

判断所述转换后的网页数据是否包含预设字段；

若包含预设字段，则利用所述配置文件中的列表页解析规则对所述网页数据进行解析；

若不包含预设字段，则利用所述配置文件中的详情页解析规则对所述网页数据进行解析。

7.根据权利要求1所述的方法，其特征在于，所述向所述网站发送替换地址后的网络请求，并接收所述网站返回的网页数据并存储，包括：

通过预先设置的渲染器中间件利用模拟浏览器运行所述网络请求并渲染返回的网页数据，并利用渲染后的网页数据存储。

8.一种数据采集装置，其特征在于，所述装置包括：

获取模块，用于获取针对网站的配置文件；

采集模块，用于将所述配置文件中的第一个请求参数作为当前请求参数，并利用当前请求参数并按照所述配置文件中设置的请求结构生成网络请求；通过预先设置的代理池中间件使用代理地址替换所述网络请求中的实际原地址；向所述网站发送替换地址后的网络请求，并接收所述网站返回的网页数据并存储；

判断模块，用于判断所述配置文件中是否存在下一个请求参数；

跳转模块，用于在判断存在时，将下一个请求参数作为当前请求参数，并返回执行利用当前请求参数并按照所述配置文件中设置的请求结构生成网络请求的过程。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7任一项所述方法的步骤。