[发明专利]招投标相关网页爬取任务调度方法及系统

摘要

本发明涉及网络信息获取领域，具体涉及一种招投标相关网页爬取任务调度方法及系统，该系统包括：用户终端、总服务器和多台子服务器；所述用户终端用于用户关注、购买和查看对应企业网站上爬取的信息；所述总服务器用于获取企业网站日均访问人数、日访问时间记录信息、企业信息更新时间信息以及用户查看信息规律表，然后根据获取的所有信息生成分配模型，并根据生成的分配模型分配子服务器进行信息爬取。本方案适用于分别针对不同用户进行其关注信息的爬取。

主权项

1.招投标相关网页爬取任务调度方法，其特征在于：包括如下步骤：S1：用户注册登录并输入用户输入信息集，信息集包括关注企业名称和内容；S2：根据用户输入的企业名称寻找对应企业网站日均访问人数、日访问时间记录信息以及企业信息更新时间信息；S3：记录用户每天登录系统和查看信息的时间，生成用户查看信息规律表，用户查看信息规律表包括：每日登录时间规律、查看内容、查看每一个企业内容对应时间以及查看企业内容的先后排序；S4：根据用户查看信息规律表、企业网站日均访问人数、日访问时间记录信息和企业信息更新时间信息生成分配模型，然后根据分配模型分配不同的子服务器进行信息爬取；其中，根据用户查看信息规律对每日登陆时间早的用户关注的企业名称和内容对应的企业网站信息优先进行爬取，同时还按照用户查看企业内容的先后排序对对应企业信息进行爬取。