[发明专利]基于MapReduce的分布式粒子群分簇算法

权利要求书

1.基于MapReduce的分布式粒子群分簇算法，其特征在于：所述算法步骤为：

步骤1：采用MapReduce作业更新粒子群质心；

步骤2：采用MapReduce作业评估步骤1生成的具有新粒子质心的群体的适应性，计算更新后群的新适应度值，适应度评估基于适应度函数，通过获取粒子质心之间的平均距离来测量所有数据点与粒子质心之间的距离；

步骤3：将步骤2计算出的适应度值与步骤1中生成的更新群合并，同时更新最佳个人质心和最佳全局质心；返回步骤1，进行下一次迭代。

2.根据权利要求1所述的基于MapReduce的分布式粒子群分簇算法，其特征在于：所述步骤1具体为：MapReduce中的Map函数用来接收带有标识号的粒子，此时以粒子ID为键，以粒子本身为值；Map值包含粒子的质心矢量、速度矢量、适应度值、最佳个人形心、最佳个人适应度值、最佳全局质心和最佳总体适应度值；

在Map函数中，质心根据下列公式完成更新：

X_i(t+1)＝X_i(t)+V_i(t+1) (3)

V_i(t+1)＝W×V_i(t)+(r₁×cons₁)×[XP_i-X_i(t)]+(r₂×cons₂)×[XG-X_i(t)] (4)

公式(3)在问题搜索空间内移动粒子，其中X_i是粒子i的位置，t是迭代次数，V_i是粒子i的速度；公式(4)更新粒子速度，其中W是惯性权重，r1和r2是随机生成的数字，cons1、cons2是常数系数，XPi是粒子i的当前最佳位置，XG是整个群的当前最佳全局位置；从配置文件中检索出公式(4)要使用的PSO系数cons1和cons2、惯性权重W信息；之后，Map函数将质心更新后的粒子发射到Reduce函数；

步骤1中MapReduce中的Reduce函数为IdentityReduce函数，该函数用于对Map的结果进行排序并将所有结果组合到输出文件中；粒子群保存在分布式文件系统中，以供步骤2和3使用。

3.根据权利要求1所述的基于MapReduce的分布式粒子群分簇算法，其特征在于：所述步骤2具体为：Map函数接收带有recordID号的数据记录，此时以recordID为键，以数据记录本身为值；Map函数首先从MapReduce框架的分布式缓存文件中检索粒子群，然后获取每个粒子质心向量，并计算记录和质心向量之间的距离值，最后得到具有其质心ID的最小距离；Map函数使用具有最短距离的质心ID的ParticleID来制定新的复合键；同样，从最小距离开始制定一个新值；之后，Map函数将新键和新值发送给Reduce函数；

Reduce函数使用具有相同键的值计算平均距离，并将其指定为每个粒子中每个质心的适应度值；然后，Reduce函数将发出具有平均距离的键以制定新的适应度值，并将新的适应度值存储在分布式文件系统中；适应度值计算公式为：

在公式(5)中，n_j表示属于群集j的记录数；R_i表示第i条记录；k表示可用群集的数量；Distance(R_i，C_j)是记录R_i与簇质心C_j之间的距离，该距离采用曼哈顿距离公式；

在公式(6)中，D记录R_i的维；R_iv是记录R_i中v维的值；C_jv是质心C_j中v维的值。

4.根据权利要求1所述的基于MapReduce的分布式粒子群分簇算法，其特征在于：所述步骤3具体为：合并步骤1和步骤2的输出，以便拥有一个新的群集，新的适应度值是在粒子级别上通过对步骤2生成的所有质心适应度值求和得到，然后用新的适应度值更新群集；将每个粒子的最佳个人适应度值与新的粒子适应度值进行比较，如果新的粒子适应度值小于当前的最佳个人适应度值，则会更新最佳个人适应度值及其质心；如果任何粒子的适应度值均小于当前的最佳总体适应度值，则会更新带有质心的最佳总体适应度值；然后，具有新信息的新群将保存在分布式文件系统中，以用作下一次迭代的输入。