[发明专利]一种互联网数据抓取方法

权利要求书

1.一种互联网数据抓取方法，其特征在于，包括启动环节和循环环节，循环环节分为登陆验证环节和数据操作环节，步骤以下：

S1. 启动环节，启动软件，在软件的主界面上的多个复选框内人工手动选择要统计的产品，点击“开始”，软件判断是否有选择的产品，如果未选中产品，则弹出提示框，提示结束；如果有选中产品，则打开浏览器，开始步骤S2；

S2. 登陆验证环节包括以下步骤：

S21：打开选中的产品网页，遍历取出勾选产品的对应链接，浏览器会自动打开此网站，等待网站加载完成，则浏览器打开了新的标签页；

S22:检查日期是否需要统计，如果此产品最后一条数据的日期早于等于当前时间的前一天，则进行登陆验证方式判断；如果大于等于今天，则重新进行S2，开始下一个产品的查询；

在步骤S2已经获取了产品信息并且已经登陆网页的情况下，数据操作环节S3包括以下步骤：

S31.选择页面上需要统计的产品:登录后的页面上一般有多个可浏览菜单，选中目标数据所在的菜单，等待页面自动刷新完成;

S32:填入查询的起止日期:从日历栏中自动填入结果表格里最后一条数据的时间为起始时间，当天为结束时间；

S33:点击搜索：完成S32步骤后自动点击搜索按钮；

S34:判断结果数据是否搜索完成：每隔1秒轮询一次，监听页面元素是否发生变化，以判断结果是否搜索完成；

S35:抓取页面上结果数据：使用Selenium框架拉取指定元素数值，抓取目标行、列的数据；

S36:将数据填入表格：Excel操作框架Apache POI，将从网页上抓取的数据写入到目标表格中；

S37:判断是否需要其他数据：如果表格中需要用到网络数据库数据来填充或协助计算，则通过网络请求进行数据查询，否则跳过此步骤，数据统计任务完成；

S38:关闭当前标签页；

S39:判断是否有下个产品需要统计：如果勾选了多个产品，判断是否还有未进行的下个产品，如果还有未进行的下个产品则回到步骤S21，进行下一个产品的处理；否则弹出提示框，提示结束。

2.根据权利要求1所述的互联网数据抓取方法，其特征在于，步骤S22所述的登陆验证方式包括以下步骤：

S221:检查登录是否需要图形验证码，判断是否有图形验证码，如果有，则检查图形验证码类型，如果没有，则检查是否需要手机验证码；

S222:检查图形验证码类型，如果登陆验证是普通文字输入验证方式，则调用第三方图片验证服务进行验证码判断，得到结果并自动填入；如果是滑块、点选等高级验证，则页面停留，等待用户的手动操作，用户填入完成后页面自动进行登录操作；

S223:检查是否需要手机验证码:如果需要手机验证码，自动发送验证码到用户手机，然后页面停留，待用户输入完成验证码后，自动完成页面登录，如无需手机验证码，则直接开始登录操作。

3.根据权利要求1所述的互联网数据抓取方法，其特征在于，步骤S1所述的软件已集成免安装版浏览器与脚本工具，无需进行软件的其他安装和配置，所述软件的用了Java的Swing包实现；使用Selenium框架模拟用户操作。

4.根据权利要求3所述的互联网数据抓取方法，其特征在于，所述的安装版浏览器使用独立于系统的Chrome浏览器。

5.根据权利要求1所述的互联网数据抓取方法，其特征在于，步骤S1所述的复选框使用列表储存需处理的产品，在列表中按顺序迭代处理产品。