[发明专利]网页爬取方法、装置、存储介质和计算机设备

权利要求书

1.一种网页爬取方法，其特征在于，所述方法包括：

获取目标网页的网址；

根据所述目标网页的网址跳转到所述目标网页；

在所述目标网页生成操作提示窗口，并在所述操作提示窗口展示第一提示信息，所述第一提示信息用于提示用户选择第一爬取操作；

获取用户在所述目标网页上的行为；

根据所述行为在所述操作提示窗口展示第二提示信息，所述第二提示信息用于提示用户选择第二爬取操作；

获取用户输入的第一选择指令和第二选择指令，所述第一选择指令用于选择所述第一爬取操作，所述第二选择指令用于选择所述第二爬取操作；

根据用户选择的所述第一爬取操作和所述第二爬取操作确定目标爬取任务；

执行所述目标爬取任务，在所述目标网页上爬取目标信息；

所述在所述目标网页生成操作提示窗口，包括：

判断所述目标网页的网址与模板网页的网址是否相同；

若相同，则调用与所述模板网页对应的爬虫模板，根据所述爬虫模板，在所述目标网页生成所述操作提示窗口；

若不相同，则获取所述目标网页的内容，根据所述目标网页的内容，在所述目标网页生成所述操作提示窗口。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标网页的内容，在所述目标网页生成所述操作提示窗口，包括：

获取内容操作映射表，所述内容操作映射表存储着网页爬取操作和网页的内容之间的映射关系；

根据所述映射关系和所述目标网页的内容确定所述第一爬取操作；

根据所述第一爬取操作生成所述操作提示窗口。

3.根据权利要求1所述的方法，其特征在于，所述行为包括行为操作和行为内容，所述根据所述行为在所述操作提示窗口展示第二提示信息，包括：

根据所述行为操作和所述行为内容，在所述操作提示窗口上提示所述第二提示信息，其中，所述行为操作是指发生所述行为时所对应的操作，所述行为内容是指发生所述行为时所对应的对象。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据用户选择的所述第一爬取操作和所述第二爬取操作确定目标爬取任务，包括：

按照用户选择所述第一爬取操作和所述第二爬取操作的时间顺序设置所述第一爬取操作和所述第二爬取操作的执行顺序，确定所述目标爬取任务。

5.一种网页爬取装置，其特征在于，所述装置包括：

目标网址获取模块，用于获取目标网页的网址；

目标网页跳转模块，用于根据所述目标网页的网址跳转到所述目标网页；

操作提示窗口生成模块，用于在所述目标网页生成操作提示窗口，并在所述操作提示窗口展示第一提示信息，所述第一提示信息用于提示用户选择第一爬取操作；

行为获取模块，用于获取用户在所述目标网页上的行为；

第二提示信息展示模块，用于根据所述行为在所述操作提示窗口展示第二提示信息，所述第二提示信息用于提示用户选择第二爬取操作；

选择指令获取模块，用于获取用户输入的第一选择指令和第二选择指令，所述第一选择指令用于选择所述第一爬取操作，所述第二选择指令用于选择所述第二爬取操作；

目标爬取任务确定模块，用于根据用户选择的所述第一爬取操作和所述第二爬取操作确定目标爬取任务；

目标信息爬取模块，用于执行所述目标爬取任务，在所述目标网页上爬取目标信息；

所述操作提示窗口生成模块，包括：

判断单元，用于判断所述目标网页的网址与模板网页的网址是否相同；

第一操作提示窗口生成单元，用于若相同，则调用与所述模板网页对应的爬虫模板，根据所述爬虫模板，在所述目标网页生成所述操作提示窗口；

第二操作提示窗口生成单元，用于若不相同，则获取所述目标网页的内容，根据所述目标网页的内容，在所述目标网页生成所述操作提示窗口。