[发明专利]一种数据抓取策略的确定方法、装置及设备

权利要求书

1.一种数据抓取策略的确定方法，其特征在于，所述方法包括：

针对每个爬虫测试程序，从该爬虫测试程序中抽取该爬虫测试程序对应的爬虫行为特征，并确定该爬虫测试程序对应的测试爬取目标针对该爬虫测试程序的反馈结果，所述反馈结果用于指示该爬虫测试程序对应的爬虫行为是否被测试爬取目标禁止；

根据所有爬虫测试程序对应的爬虫行为特征以及反馈结果，确定爬虫测试模型；

将针对爬取目标的候选爬虫策略所对应的至少一个爬虫行为特征输入爬虫测试模型，获得爬取目标针对候选爬虫策略的预测反馈结果；

根据所述预测反馈结果对候选爬虫策略进行调整，以获得针对爬取目标的目标爬取策略。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对目标爬取策略进行更新，

其中，通过以下步骤更新目标爬取策略：

按照株连特征对所有爬虫测试程序进行聚类，得到多个测试程序组；

针对每个测试程序组，判断该测试程序组中的各爬虫测试程序是否被爬取目标批量禁止；

针对被批量禁止的测试程序组，根据该测试程序组对应的株连特征，确定该测试程序组被爬取目标批量禁止的原因；

根据被爬取目标批量禁止的原因，对被批量禁止的测试程序组中的各爬虫测试程序进行调整，以更新目标爬取策略。

3.根据权利要求2所述的方法，其特征在于，通过以下步骤判断每个测试程序组中的各爬虫测试程序是否被爬取目标批量禁止：

统计该测试程序组中被爬取目标禁止的爬虫测试程序的数量；

计算该测试程序组中被爬取目标禁止的爬虫测试程序的数量占该测试程序组中所有爬虫测试程序的总数量的封禁比例值；

判断所述封禁比例值是否大于预设的批量封禁比例阈值；

若是，则确定该测试程序组中的各爬虫测试程序被爬取目标批量禁止；

若否，则确定该测试程序组中的各爬虫测试程序未被爬取目标批量禁止。

4.根据权利要求2所述的方法，其特征在于，每个爬虫测试程序包括至少一个基础特征和一个爬虫行为特征，所述株连特征为与基础特征或者爬虫行为特征相关联的用于聚类的特征，

其中，每个测试程序组所对应的株连特征是不同的，通过以下步骤对被批量禁止的测试程序组中的各爬虫测试程序进行调整：

确定被批量禁止的测试程序组对应的株连特征所指示的调整特征，所述调整特征为与株连特征相关关联的基础特征或者爬虫行为特征，

更换被批量禁止的测试程序组中的各爬虫测试程序的调整特征，

或者，每个测试程序组所对应的株连特征的属性值是不同的，通过以下步骤对被批量禁止的测试程序组中的各爬虫测试程序进行调整：

确定被批量禁止的测试程序组对应的株连特征所指示的调整特征，所述调整特征为与株连特征相关关联的基础特征或者爬虫行为特征，

修改被批量禁止的测试程序组中的各爬虫测试程序的调整特征的属性值。

5.根据权利要求1所述的方法，其特征在于，所述反馈结果包括正例反馈和负例反馈，所述正例反馈用于指示爬虫测试程序未被测试爬取目标禁止，所述负例反馈用于指示爬虫测试程序被测试爬取目标禁止，

其中，根据所有爬虫测试程序对应的爬虫行为特征以及反馈结果，确定爬虫测试模型的步骤包括：

将与正例反馈对应的爬虫测试程序的爬虫行为特征和正例反馈，确定为正例训练组；

将与负例反馈对应的爬虫测试程序的爬虫行为特征和负例反馈，确定为负例训练组；

根据正例训练组和负例训练组对初始爬虫测试模型进行训练，得到训练完成的爬虫测试模型。