[发明专利]一种处理数据源更新的MapReduce执行过程优化方法

权利要求书

1.一种处理数据源更新的MapReduce执行过程优化方法，包括Map任务和Reducer任务，其特征在于：在Map任务执行过程中，启动Monitor监测器任务及Rule规则判断任务；

Monitor监测器任务监测数据源切片并记录其快照；

Rule规则判断任务判断数据源切片的变化情况，并决定是否重启Map任务；

所述监测器任务Monitor的执行步骤如下：

S11：记第一次启动Map任务的时刻为T₀，并将T₀时刻各个数据源切片的快照(Snapshot)记为D₀；

S12：在每个Map_i节点上，均启动一个Monitor_i任务，每隔T_μ时间，记录当前Map_i所对应的数据源切片快照，结构如下：

{No.Map_i,D_m,D_n}

其中，No.Map_i为第i个Map任务的编号；D_m为上一次Map_i重启时所处理的数据切片，D_n是Map_i任务处理的数据源切片在时间T_n(n＝1,2,3…)的快照；

所述规则判断任务Rule的执行步骤如下：

S21：计算当前时刻T_n的数据源切片D_n与上一次Map_i启动或重启时所处理的数据切片D_m的数据条数N_n和N_m；

S22：计算当前时刻T_n的数据源切片D_n与上一次Map_i重启时所处理的数据切片D_m的差异F(m,n)：

其中，X_nk和X_mk分别是数据源D_n和D_m的数据项(k＝1,2,3,…,N)；当D_n和D_m的数据条数不相等时，用数据条数的差异计算D_n和D_m的差异；当D_n和D_m的数据条数相等，则比较D_n和D_m的每条数据的差异；

S23：当N_n≠N_m时，判断差异F(m,n)是否超过阈值α，如果F(m,n)α，则重启Map_i，反之，则忽略差异；当N_n＝N_m时，判断差异F(m,n)是否超过阈值β，如果F(m,n)β，则重启Map_i，反之，则忽略差异；

S24：若Map_i重启，则将D_m置为D_n，并记录下Map_i处理的当前最新数据，若Map_i未重启，则D_m保持不变。

2.根据权利要求1所述的一种处理数据源更新的MapReduce执行过程优化方法，其特征在于：所述监测器任务Monitor为定时任务，每隔一定时间间隔T_μ启动。

3.根据权利要求1所述的一种处理数据源更新的MapReduce执行过程优化方法，其特征在于：所述规则判断任务Rule在Monitor监测器任务完成记录数据源切片快照后启动。