[发明专利]一种互联网数据抓取方法

说明书

本发明提供了一种互联网数据抓取方法，属于互联网数据抓取技术领域。本发明涉及的互联网数据抓取方法，使用链表储存需处理的产品，选中产品后，自动打开浏览器，进入登录验证环节，登录验证环节首先检查日期是否符合统计的要求，再判断是否需要进行图形或文字验证，验证通过后进入数据操作环节，遍历日历栏，自动填入结果表格里最后一条数据的时间为起始时间，当天为结束时间，自动搜索，抓取页面上的数据，将数据填入结果表格，判断是否需要其他数据，统计完成，关闭当前标签页，在链表中将下一个产品进行同样操作，直至所有产品数据全部抓取到。本发明涉及的互联网数据抓取方法，相比于传统的数据抓取方法，具有操作简单，自动化程度高等优点。

技术领域

本发明属于数据抓取技术领域，尤其涉及一种互联网数据抓取方法。

背景技术

随着互联网大数据时代的来临，人们对数据的需求越来越具有个性化，目前网页数据的抓取方法大致分为两类：

一类为通过http请求抓取网页源码，再通过代码进行内容的筛分用于数据抓取，如新闻抓取、用户评价抓取和商品销量数据抓取，以进行数据的再利用和产品方向上的趋势分析；第二类为通过自动化工具，模拟用户实际操作，进行网页的浏览和操作，此方法常用于软件行业的测试，通过模拟用户操作来检验网站可靠性。目前，运营人员日常处理网站与表格的的工作耗时费力，并且基本都是以人工处理为主，工作效率比较低。而本发明所提供的网络数据抓取的一种具体实现方法，使用了Selenium框架进行用户操作模拟。软件运行中全程可以看到浏览器的网页操作，方便人员进行监管。用本方法开发的软件集成免安装版浏览器处理不同平台兼容问题，支持不同版本、不同环境的Windows、Mac计算机，可靠性高。本软件逻辑判断严谨，每个环节都有充分的异常判断与提示，方便使用者排查问题。本发明提出的方案全程绝大部分为自动操作，包含自动打开网页、登录账号、查询数据并填入表格，大大减少了运营类人员每日工作中表格填写所花的时间精力，并减少误差的发生等优点。

发明内容

本发明的目的是针对上述问题，提供一种互联网数据抓取方法。

为了达到上述目的，本发明采用了以下技术方案：

一种互联网数据抓取方法，包括启动环节和循环环节，循环环节分为登陆验证环节和数据操作环节，步骤以下：

S1. 启动环节，启动软件，主程序直接调用Java swing包下的GUI框架，创建一个操作面板，代码为new JFrame().setVisible(true)，在软件的主界面上的多个复选框内人工手动选择要统计的产品，点击“开始”，软件判断是否有选择的产品，如果未选中产品，则弹出提示框，提示结束；如果有选中产品，则通过Selenuim框架中的浏览器驱动ChromeDriver打开浏览器，开始步骤S2；

S2. 登陆验证环节包括以下步骤：

S21：通过ChromeDriver执行JavaScript，打开选中的产品网页，代码为ChromeDriver.executeScript(window.open())打开选中的产品网页，遍历取出勾选产品的对应链接，浏览器会自动打开此网站，等待网站加载完成，则浏览器打开了新的标签页；

S22:检查日期是否需要统计，用Apach POI框架通过查询目标表格中对应产品的最后一条数据日期，对应代码为new XSSFWorkbook（new FileInputStream(fileName)）.getSheetAt(x).getRow(y).getCell(z).getStringCellValue()，如果此产品最后一条数据的日期早于等于当前时间的前一天，则进行登陆验证方式判断；如果大于等于今天，则重新进行S2，开始下一个产品的查询；

在步骤S2已经获取了产品信息并且已经登陆网页的情况下，数据操作环节S3包括以下步骤：