[发明专利]爬虫任务处理方法及装置

权利要求书

1.一种爬虫任务处理方法，其特征在于，所述方法包括：

获得爬虫任务；

根据所述爬虫任务的优先级，将所述爬虫任务加入到至少两个任务队列中与所述优先级对应的目标任务队列；

从所述至少两个任务队列中选择出所述目标任务队列以待处理所述爬虫任务，其中，所述目标任务队列对应的所述优先级越高使得所述目标任务队列被选择出的概率越大，所述优先级越高的爬虫任务越容易被优先处理，反之则会延后处理；

响应用户对所述爬虫任务的查询操作，判断所述爬虫任务是否开始处理；

若是，生成表示所述爬虫任务的正在处理的信息并发送给所述用户，若否，生成表示所述爬虫任务当前在所述目标任务队列中所在位置的信息并发送给所述用户；

其中，所述用户在执行交互操作时，所述用户根据自己的需求选择建立的爬虫任务是同步任务还是异步任务；若所述爬虫任务是同步任务，那么电子设备则马上执行所述爬虫任务，而若所述爬虫任务是异步任务，则需要选择所述爬虫任务的优先级，使得所述电子设备根据所述优先级来执行所述爬虫任务。

2.根据权利要求1所述的爬虫任务处理方法，其特征在于，根据所述爬虫任务的优先级，将所述爬虫任务加入到至少两个任务队列中与所述优先级对应的目标任务队列，包括：

根据所述爬虫任务的优先级和至少两个任务队列中每个任务队列的权重，将所述爬虫任务加入到所述至少两个任务队列中目标权重与所述优先级对应的目标任务队列，所述优先级越高对应的所述目标权重越大；

对应的，从所述至少两个任务队列中选择出所述目标任务队列以待处理所述爬虫任务，包括：

根据每个任务队列的权重在所述至少两个任务队列的至少两个权重之和中所占比值，从所述至少两个任务队列中选择出所述目标任务队列以待处理所述爬虫任务。

3.根据权利要求1所述的爬虫任务处理方法，其特征在于，在从所述至少两个任务队列中选择出所述目标任务队列以待处理所述爬虫任务之后，所述方法还包括：

根据所述爬虫任务需要爬取的待爬取网页，从预设的各网页的特征中确定出所述待爬取网页的特征；

根据所述待爬取网页的特征，获得所述待爬取网页的网页原始数据；

从所述网页原始数据中提取出需要获得的数据。

4.根据权利要求3所述的爬虫任务处理方法，其特征在于，根据所述待爬取网页的特征，获得所述待爬取网页的网页原始数据，包括：

根据所述待爬取网页的特征，从至少两种爬取规则中确定出与所述待爬取网页的特征对应的一种目标爬取规则；

根据所述目标爬取规则爬取所述待爬取网页，获得所述待爬取网页的网页原始数据。

5.一种爬虫任务处理装置，其特征在于，所述装置包括：

任务获得模块，用于获得爬虫任务；

队列加入模块，用于根据所述爬虫任务的优先级，将所述爬虫任务加入到至少两个任务队列中与所述优先级对应的目标任务队列；

队列选择模块，用于从所述至少两个任务队列中选择出所述目标任务队列以待处理所述爬虫任务，其中，所述目标任务队列对应的所述优先级越高使得所述目标任务队列被选择出的概率越大，所述优先级越高的爬虫任务越容易被优先处理，反之则会延后处理；

任务交互模块，用于响应用户对所述爬虫任务的查询操作，判断所述爬虫任务是否开始处理；

信息反馈模块，用于若是，生成表示所述爬虫任务的正在处理的信息并发送给所述用户，若否，生成表示所述爬虫任务当前在所述目标任务队列中所在位置的信息并发送给所述用户；

其中，所述用户在执行交互操作时，所述用户根据自己的需求选择建立的爬虫任务是同步任务还是异步任务；若所述爬虫任务是同步任务，那么电子设备则马上执行所述爬虫任务，而若所述爬虫任务是异步任务，则需要选择所述爬虫任务的优先级，使得所述电子设备根据优先级来执行所述爬虫任务。