[发明专利]一种基于Java Web的可配置的网页信息爬取方法

权利要求书

1.一种基于JavaWeb的可配置的网页信息爬取方法，其特征在于：该方法以任务流程的形式进行展现，每个任务流程包含爬取信息配置、网页信息解析、数据存储配置和数据定时更新，对特定网页信息进行爬取，并将解析后的数据存储到MySQL数据库中，完成数据的定时更新。

2.根据权利要求1所述的基于Java Web的可配置的网页信息爬取方法，其特征在于：所述爬取信息配置支持通用模式和自定义模式，通用模式为输入正确的配置参数实现，自定义模式中，预置Yaml格式参数，用户根据需求选择使用的参数。

3.根据权利要求2所述的基于JavaWeb的可配置的网页信息爬取方法，其特征在于：通用模式的配置项包括请求地址、请求参数和请求Header进行网页信息数据获取。

4.根据权利要求3所述的基于JavaWeb的可配置的网页信息爬取方法，其特征在于：预置的参数包含获取token、cookie、密码加密方式、验证码参数的配置。

5.根据权利要求4所述的基于JavaWeb的可配置的网页信息爬取方法，其特征在于：所述网页信息解析为在爬取信息配置完成后对配置进行的测试，若测试无误，则进行网页爬虫以获取数据，获得响应报文，并对报文解析。

6.根据权利要求5所述的基于JavaWeb的可配置的网页信息爬取方法，其特征在于：网页数据解析支持HTML、XML、JSON格式的数据，其中使用Jsoup组件实现对HTML、JSON格式报文的解析，使用Dom4j实现对XML格式报文的解析。

7.根据权利要求6所述的基于JavaWeb的可配置的网页信息爬取方法，其特征在于：所述数据存储配置，支持网页信息解析的结果与MySQL数据表之间进行对应关系的设置，并形成配置文件持久化到数据库中。

8.根据权利要求7所述的基于JavaWeb的可配置的网页信息爬取方法，其特征在于：所述数据定时更新，设置爬取数据的唯一键设置，基于唯一键作为数据定时更新标志，实现对数据的更新。

9.根据权利要求8所述的基于Java Web的可配置的网页信息爬取方法，其特征在于：数据定时更新支持全量更新和差异更新，全量更新为先清空表里面的数据后再批量插入数据，差异更新为只更新变化部分。