[发明专利]一种基于实测带宽的多智能体互联网数据采集任务分配方法

说明书

本发明公开了一种基于实测带宽的多智能体互联网数据采集任务分配方法，假定在环境中存在L个目标任务T₁，T₂，…,T_L和K个智能体节点A₁,A₂,…,A_K，若K>L，则执行单任务分配算法，否则执行多任务分配算法。在多任务分配时，传统的分布式爬虫系统一般采用随机任务调度的机制，这种机制的问题在于没有考虑多个采集节点能力的差异因素，从而影响了分布式爬虫系统的数据采集性能。本发明针对上述不足，提供一种基于实测带宽，合理分配分布式网络爬虫数据采集任务的方法，优先为采集能力匹配度高的节点分配采集任务，从而使得分布式数据采集系统获得较高的采集性能，提高了互联网信息的爬取效率。

技术领域

本发明涉及数据采集领域，尤其涉及一种基于实测带宽的多智能体互联网数据采集任务分配方法。

背景技术

为满足海量数据爬取的需求，现代爬虫系统一般采用大规模分布式架构。在这种架构中，如何高效配置多个数据采集节点的资源成为提升爬虫系统性能的关键问题。传统的分布式爬虫系统一般采用随机任务调度的机制或类似机制。这种机制的问题在于没有考虑爬取目标的地理位置差异，以及多个采集节点在采集、存储方面的带宽差异因素，更没有运用相应的带宽测试方法，因此无法做到资源的最优配置，从而影响了分布式爬虫系统的数据采集性能。

发明内容

本发明为克服上述不足之处，设计了一种基于实测带宽的任务分配方法，该方法用于将多个采集任务分配给多个采集节点，根据每个采集节点的状态信息、实测带宽情况以及待分配任务的信息，经过算法处理后得出任务分配结果。

本发明的目的是通过以下技术方案来实现的：一种基于实测带宽的多智能体互联网数据采集任务分配方法，具体为：假定在环境中存在L个目标任务T₁，T₂，…,T_L和K个智能体节点A₁,A₂,…,A_K，若K>L，则执行单任务分配算法；否则执行多任务分配算法；

所述的单任务分配算法步骤如下：

(1)针对每个智能体节点A_i与任务T_j，计算区域判决指标c_ij＝(任务数+1)/(B_C+B_S)，找出区域判决指标计算结果最小的节点。

B_C表示任务的目标区域与智能体所在区域的匹配度，计算方法如下：由智能体在建立种子信息表时先行从该种子页面爬取根页面三次，通过(爬取位数)/(爬取所消耗的时间)获取爬行带宽，存入种子库中相应B_C字段。

B_S表示存储区域与智能体所在区域的匹配度，计算方法如下：由智能体在建立种子信息表时先行将一个标准100KB文件存入存储区域三次，通过(存取位数)/(存取所消耗的时间)获取存储带宽，存入种子库中相应B_S字段。

(2)将待分配的任务分配给步骤(1)计算得到的节点。

所述的多任务分配算法步骤如下：

(1)在所有任务中每次分配K项，直到剩余任务数小于K。剩余任务可以在任务数增加后再行分配，也可以以单任务方式分配；

(2)已知智能体A_i(i＝1,2,…,K)完成目标任务T_j(j＝1,2,…,K)的代价矩阵为C＝(c_ij)(i,j＝1,2,…,K)，其中c_ij的计算方法与单任务时相同；