[发明专利]网络数据采集系统

权利要求书

1.一种网络数据采集系统，其特征在于，

包括预先配置的动态参数数据结构和请求处理数据结构，存储有计算机程序的存储器和处理器，所述动态参数数据结构和请求处理数据结构均为字符串数据结构，所述动态参数数据结构包括url参数数据段、请求方式数据段和至少一个请求参数数据段，所述url参数数据段、请求方式数据段和请求体参数数据段之间采用预设的第一分隔符分隔，不同请求体参数数据段之间通过预设的第二分隔符分隔，所述第一分隔符和第二分隔符不同；所述请求处理数据结构包括请求处理函数数据段、请求主体数据段和动态参数数据段，所述请求处理函数和所述请求主体数据段之间采用预设的第三分隔符分隔，请求主体数据段和动态参数数据段采用预设的第四分隔符分隔，所述第三分隔符和第四分隔符不同；

所述处理器在执行所述计算机程序时，实现以下步骤：

步骤S1、获取网络数据采集任务对应的url参数、请求方式和请求参数，根据所述动态参数数据结构生成任务动态参数数据体，存入所述请求处理数据结构中的动态参数数据段中；

步骤S2、调用所述请求处理数据结构中的请求处理函数，从所述任务动态参数数据体中获取动态参数数据填入所述请求主体数据段中生成任务请求主体；

步骤S3、基于所述任务请求主体采集目标网络数据。

2.根据权利要求1所述的系统，其特征在于，

所述系统还包括预先构建的用于破解加密参数的解密接口，所述步骤S1包括：

步骤S11、若所述网络数据采集任务的url链接为固定链接，则直接将url链接字符串确定为对应的url参数，并填入所述url参数数据段中；若url链接为需要url关键词拼接链接，则获取网络数据采集任务对应的url关键词，并将获取的url关键词进行拼接，并采用预设的第五分隔符进行分隔，生成对应的url参数，并填入所述url参数数据段中；

步骤S12、若所述网络数据采集任务为GET任务，则将所述请求方式数据段配置为GET，若所述网络数据采集任务为POST请求，则将所述请求方式数据段配置为POST;

步骤S13、获取网络数据采集任务的请求头，若所述请求头中包括请求头加密参数，则调用所述解密接口进行解密，生成请求头参数，并填入所述请求体参数数据段；若所述请求方式数据段配置为POST，则获取网络数据采集任务的表单数据，若所述表单数据中包括表单加密数据，则调用所述解密接口进行解密，生成表单参数，并填入所述请求体参数数据段，生成所述任务动态参数数据体。

3.根据权利要求2所述的系统，其特征在于，

所述解密接口为基于flask框架搭建的flask接口。

4.根据权利要求1所述的系统，其特征在于，

所述请求主体数据段包括url位置，数据头位置，表单数据位置，所述步骤S2包括：

步骤S21、调用所述请求处理数据结构中的请求处理函数，根据从所述任务动态参数数据体中的请求方式确定目标数据位置，从所述任务动态参数数据体中获取动态参数数据填入所述请求主体中对应的目标数据位置，或替换所述目标数据位置中的信息，生成任务请求主体。

5.根据权利要求1所述的系统，其特征在于，

所述系统还包括预先配置的响应处理数据结构，所述响应处理数据结构为字符串数据结构，包括数据解析函数数据段和解析路径数据段，所述数据解析函数数据段和解析路径数据段之间采用预设的第六分隔符分隔，所述数据解析函数数据段中的数据预先配置数据解析函数，当所述网络数据采集任务包括单个请求时，所述步骤S3包括：

步骤S31、基于所述任务请求主体确定任务解析路径数据，存储在所述解析路径数据段中；

步骤S32、调用数据解析函数数据段中对应的数据解析函数对所述任务解析路径数据进行解析，生成所述目标网络数据。