[发明专利]数据处理方法和装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取分布式系统的基于粒子群优化实现负载均衡的数据分发算法，即获取初始化粒子群参数，依据所述初始化粒子群参数对预设计算式进行优化，初始化粒子群参数包括：最大迭代次数、粒子种群规模、粒子维度、惯性权重、第一加速系数、第二加速系数和粒子速度，得到所述基于粒子群优化实现负载均衡的数据分发算法；

具体为，在一个具有m个数据文件的数据集和n个节点的分布式集群中，设具体的比较算法为C(i,j)，其中i和j是数据集中的两个数据文件，全比较计算能够被形式化地描述为：

M_i,j＝{C(i,j)|ij,i＝1,2,…,m-1,j＝2,3,…,m} (1)

其中M_i,j是比较运算C(i,j)的计算结果，全部的M_i,j组成了全比较计算的最终结果；

假设数据集中有m个数据文件，每个数据文件的大小为s_i，i＝1,2,…,m，那么数据文件的大小相同或近似相同的形式化描述如下：

在进行两两数据文件的比较运算时，两个数据文件的大小之和与比较运算的计算量将成正比，令c_ij表示比较任务C(i,j)的计算量，则c_ij与数据文件i和数据文件j有如下关系：

s_i+s_j∝c_ij ij,i＝1,2,…,m-1,j＝2,3,…,m (3)

根据公式(2)可知所有的c_ij的数值将相同或近似相同，假设为节点p上分配K个比较任务，每个任务的计算量为i和j为分发到节点p上数据文件的编号，节点p上的任务量大小p_c为：

令t_count为全比较计算中的总任务个数，一个比较任务与两个不同的数据文件有关，当数据集中有m个数据文件时，t_count为：

使用x_kp来表示是否将比较任务k分配到节点p上，x_kp的取值使用0和1来表示；

x_kp＝0 or 1 k＝1,2,…,t_count,p＝1,2,…,n (6)

用c_k表示第k个任务的大小，那么公式(4)中节点p上的任务量大小p_c能够被重新定义为：

在具有n个计算节点的分布式系统中，用c_k表示任务k的大小，全比较计算的节点平均计算量c_avg为：

由公式(7)、公式(8)可以得出节点p的计算量相对于c_avg的偏离程度fp；

f_p＝|p_c-c_avg| (9)

其中|·|是求绝对值函数，那么分布式系统的负载均衡能够被描述为：

令w_p表示分发到节点p上的文件的总大小；

假设分发到节点p上的文件数为m'(m'≤m)，w_p中文件i的大小为r_i，则有：

令up(p＝1,2,…,n)为节点p的存储空间上限，分发到节点p上的文件大小总和不能超过up；

w_p≤u_p (12)

以公式(10)作为求解目标，得到全比较计算在分布式系统中的负载均衡求解模型如下；

根据公式(13)进行全比较任务在分布式系统中的调度将使得各个计算节点之间实现负载均衡，并且能够保证每个比较任务所需的数据文件具有数据本地性；

获取所述分布式系统的基于粒子群优化实现最优化存储的数据分发算法；

依据所述基于粒子群优化实现最优化存储的数据分发算法和所述负载均衡的粒子最佳位置，对所述分布式系统中各节点所需的存储空间进行优化，具体是依据所述基于粒子群优化实现负载均衡的数据分发算法，计算所述分布式系统中负载均衡的粒子最佳位置；

依据所述基于粒子群优化实现最优化存储的数据分发算法和所述负载均衡的粒子最佳位置，对所述分布式系统中各节点所需的存储空间进行优化包括：

依据所述负载均衡的粒子最佳位置、节点个数、文件大小列表、任务列表和节点计算量进行初始化，得到初始化后的粒子群参数；

依据所述初始化后的粒子群参数进行迭代寻优，当满足位置更新规则时，对粒子位置进行更新；

将每一次迭代所得到的最优位置所对应的适应度进行记录，通过对迭代记录进行编码，得到所述分布式系统中各节点所需的存储空间的优化方案。