[发明专利]一种基于实测带宽的多智能体互联网数据采集任务分配方法

摘要

本发明公开了一种基于实测带宽的多智能体互联网数据采集任务分配方法，假定在环境中存在L个目标任务T₁，T₂，…,T_L和K个智能体节点A₁,A₂,…,A_K，若K>L，则执行单任务分配算法，否则执行多任务分配算法。在多任务分配时，传统的分布式爬虫系统一般采用随机任务调度的机制，这种机制的问题在于没有考虑多个采集节点能力的差异因素，从而影响了分布式爬虫系统的数据采集性能。本发明针对上述不足，提供一种基于实测带宽，合理分配分布式网络爬虫数据采集任务的方法，优先为采集能力匹配度高的节点分配采集任务，从而使得分布式数据采集系统获得较高的采集性能，提高了互联网信息的爬取效率。

主权项

1.一种基于实测带宽的多智能体互联网数据采集任务分配方法，其特征在于：假定在环境中存在L个目标任务T₁，T₂，…,T_L和K个智能体节点A₁,A₂,…,A_K，若K>L，则执行单任务分配方法；否则执行多任务分配方法；所述的单任务分配方法步骤如下：a.针对每个智能体节点A_i与任务T_j，计算区域判决指标c_ij＝(任务数+1)/(B_C+B_S)，找出区域判决指标计算结果最小的节点；B_C表示任务的目标区域与智能体所在区域的匹配度，计算方法如下：由智能体在建立种子信息表时先行从该种子页面爬取根页面三次，通过(爬取位数)/(爬取所消耗的时间)获取爬行带宽，存入种子库中相应B_C字段；B_S表示存储区域与智能体所在区域的匹配度，计算方法如下：由智能体在建立种子信息表时先行将一个标准100KB文件存入存储区域三次，通过(存取位数)/(存取所消耗的时间)获取存储带宽，存入种子库中相应B_S字段；b.将待分配的任务分配给步骤(1)计算得到的节点；所述的多任务分配方法步骤如下：(1)在所有任务中每次分配K项，直到剩余任务数小于K；剩余任务可以在任务数增加后再行分配，也可以以单任务方式分配；(2)已知智能体A_i完成目标任务T_j的代价矩阵为C＝(c_ij)，其中c_ij的计算方法与单任务时相同；其中i＝1,2,…,K，j＝1,2,…,K；(3)将(c_ij)的每行元素都减去该行的最小元素，再将所得新系数矩阵的每列元素中减去该列的最小元素，获得等价代价矩阵C’＝(c'_ij)；(4)作最少的直线覆盖所有0元素，通过找0元素进行试分配；方法是：先按照行或列找有没有可以覆盖K个元素的直线，若有则作该直线，若没有则再找有没有可以覆盖K‑1个元素的直线并作该直线，依此方法进行下去，直到所有0元素被覆盖；若这样能找出不同行不同列的K个0元素，转步骤(6)，否则转步骤(5)；(5)调整代价矩阵C’，在未被直线穿过的数集中，找出最小的数z，让该数集对应的所有行中的所有数减去z，而让所有被直线穿过的列中的数加上z，以保证系数矩阵中不出现负元素，得到新系数矩阵；新系数矩阵的最优解和原问题相同，此时去掉直线，用新系数矩阵代替C’，返回步骤(3)；(6)以这K个独立0元素对应解矩阵(c'_ij)中的元素为1，其余为0，得到最优解矩阵(c”_ij)，即此时矩阵元素中c”_ij＝1所代表的结果是智能体i被分配了任务j，其中i,j＝1,2,…,K。