[发明专利]一种对等结构云平台下节点任务的负载均衡方法

摘要

一种对等结构云平台下节点任务的负载均衡方法，将各个主节点以及从节点分别组织成对等结构的Chord网络。在任务处理过程中，将每个主节点负责执行的主任务通过冗余备份方法进行备份，将所有主任务通过对主任务编号取余进行分类，每类主任务数据分别进行备份，每个主任务备份多个完全相同的主任务数据副本均匀存储在Chord网络中相应的节点上；当主节点失效时，进行主任务数据恢复；当有新主节点加入Chord网络时，通过主任务数据的转移恢复。每个主节点中均存储两部分主任务数据，一部分是该主节点正在执行的主任务数据，另一部分是该主节点备份其他主节点上正在执行的主任务数据。

主权项

1.一种对等结构云平台下节点任务的负载均衡方法，其特征是：构建对等结构云平台，将各个主节点以及从节点分别组织成对等结构的Chord网络。在任务处理过程中，有两类任务要执行：第一类是由发出任务处理请求的用户节点提交给主节点的任务，即主任务；另一类是主节点分配给从节点执行的任务，即从任务；在进行主任务以及从任务的分配时，利用Chord网络自身的优点使得各节点所处理的任务量相同，达到负载均衡；任务执行过程中，将每个主节点负责执行的主任务通过冗余备份方法进行备份，将所有主任务通过对主任务编号取余进行分类，每类主任务数据分别进行备份，每个主任务备份多个完全相同的主任务数据副本均匀存储在Chord网络中相应的节点上；当主节点失效时，通过主任务恢复方法进行主任务数据恢复；当有新主节点加入Chord网络时，通过新主节点加入方法进行主任务数据的转移恢复；每个主节点中均存储两部分主任务数据，一部分是该主节点正在执行的主任务数据，另一部分是该主节点备份其他主节点上正在执行的主任务数据。其中：1）任务执行过程包括以下步骤：步骤1，利用一致性哈希函数，提交主任务的用户节点将准备提交执行的主任务，设为job_A，通过哈希其属性信息，赋予该主任务唯一的主任务编号，并通过这一编号将其发送到主节点Chord网络中对应的后继主节点，设为master_A上，由该后继主节点负责执行此主任务；步骤2，主节点master_A将主任务job_A分配成多个从任务，并利用一致性哈希函数，通过哈希从任务的属性信息，赋予每个从任务唯一从任务编号，并通过这一编号将各个从任务发送到从节点Chord网络中对应的后继从节点上，由对应的后继从节点负责执行这些从任务；步骤3，当由主节点master_A分配的所有从任务全部完成之后，主节点master_A负责将最终结果返回给用户节点；2）主节点任务备份方法包括如下步骤：步骤1，为了避免主节点失效所导致的主任务数据的丢失，将所有主任务编号通过求模取余运算，按余数分成类，并将每个主任务备份个完全相同的副本均匀的分布在Chord网络的主节点上进行备份，公式（1）为主任务备份的计算方法：BjobIdi=(jobId+(jobId%2K2)·2M-K1-K2+i·2M-K1)%2M,1≤i≤2K1-1---(1)]]>其中，jobId为需要备份的主任务的编号，BjobId_i为需要备份的主任务的第i个备份任务的编号，M为Chord网络所用到的安全散列函数的哈希值长度，2^M为Chord网络长度，K₁、K₂均为大于等于零的整数；主节点根据BjobId_i将正在该节点上执行的需要备份的主任务数据发送到Chord网络中对应的后继主节点上备份；步骤2，设置一个定时器T，由负责执行某主任务的主节点每隔时间T向所有备份该主任务的备份主节点发送主任务的更新信息，以保证任务数据的一致。3）有主节点失效时，其任务恢复方法包括如下步骤：3.1）失效主节点正在执行的主任务数据的恢复步骤1，失效主节点在Chord网络上的后继主节点利用公式（2）计算出备份编号集BID：BID={id|(X+2M-K1+j·2M-K1-K2)%2M<id≤(Y+2M-K1+j·2M-K1-K2)%2M,]]>0≤j≤2K2-1}---(2)]]>其中，Y为失效主节点的编号，X为失效节点在Chord网络上的前驱主节点的编号；步骤2，在步骤1求出的BID的后继主节点中找出编号jobId∈(X，Y]的主任务备份数据，并将这些数据传输到失效主节点的后继主节点中，继续执行；3.2）失效主节点备份的其他主节点正在执行的主任务数据的恢复步骤1，失效主节点在Chord网络上的后继主节点利用公式（3）计算出应该备份到失效主节点中的主任务的编号集BJID：BJID={id|(X-i·2M-K1-j·2M-K1-K2+2M)%2M<id≤(Y-i·2M-K1-j·2M-K1-K2]]>+2M)%2M,id%2K2=j,1≤i≤2K1-1,0≤j≤2K2-1}---(3)]]>其中，BJID为应该备份到失效主节点中的主任务的编号集，Y为失效主节点的编号，X为失效节点在Chord网络上的前驱主节点的编号；步骤2，由任务备份方法得知，基于存储的对称性，失效主节点存储的备份主任务数据必定也全部存储在与Y节点顺时针间距为以及所对应的主节点序列中，利用公式（4）求出备份编号集：BBID={id|(X+2M-K1)%2M<id≤(Y+2M-K1)%2M}∪]]>{id|(X+2M-K1+1)%2M<id≤(Y+2M-K1+1)%2M}---(4)]]>步骤3，在步骤2所求得的备份编号集BBID的后继主节点中找出包含在步骤1所得BJID的所有主任务，并将这些主任务数据传输到失效主节点的后继主节点中进行存储备份；4）有新的主节点加入Chord网络时，其任务迁移方法包括如下步骤：步骤1，新主节点加入后，新主节点的后继主节点在自己正在执行的主任务中找出应该由新主节点负责执行的所有主任务，这些主任务的编号满足jobId∈(X,Y]，其中，Y为新加入主节点的编号，X为Y的直接前驱主节点的编号，并将这些主任务传送至新加入的主节点继续执行，且在本节点删除这些主任务数据；步骤2，新主节点的后继主节点利用公式（5）计算出备份编号集JBID，并在自身备份的主任务中取出属于JBID的所有主任务，并传送至新加入主节点进行备份，且在本节点删除这些主任务数据：JBID={id|(X-i·2M-K1-j·2M-K1-K2+2M)%2M<id≤(Y-i·2M-K1-j·2M-K1-K2]]>+2M)%2M,id%2K2=j,1≤i≤2K1-1,0≤j≤2K2-1}---(5)]]>其中，JBID为备份编号集，Y为新加入主节点的编号，X为Y的直接前驱主节点的编号。