[发明专利]一种云计算环境下中间数据的容错性优化方法

权利要求书

1.一种云计算环境下中间数据的容错性优化方法，其特征在于：该方法包括以下步骤：

步骤101. 计算节点动态统计网络负载，任务执行进度、位置信息，以心跳信息的形式报告给主控节点，以确定备份策略； 

步骤102. 计算节点对任务输入数据进行判断和划分，以确定数据是否需要复制，并向主控节点提出复制申请；

步骤103. 根据主控节点的复制命令的反馈，计算机节点利用空闲带宽，考虑比较开销、复制时间等因素，进行数据复制；

步骤104. 向主控节点反馈备份情况，更新数据备份信息；

其中，步骤101所述的网络负载信息主要包括往返延迟和丢包率，即在当前时段网络中以往返延迟增加和丢包率增加衡量网络负载情况，以避免因复制占用网络资源过多而导致整体性能下降；所述的任务执行进度、位置是根据当前正在执行任务，收集任务的TaskID、任务执行节点位置、任务已执行时间、任务进度评分信息，以预测任务完整执行所需的最长时间和备份存储位置； 

其中，步骤102所述的是任务输入数据，产生于本地节点或远程节点；在任务等待输入数据期间，本地节点以心跳信息的方法发送给主控节点查询该任务输入数据的产生位置或本地节点通过执行线程查询输入数据的产生位置，进而判断输入数据产生于本地节点或远程节点，如输入数据是本地节点产生则需要进行备份，反之则不需要；

其中，步骤103所述的数据复制主要涉及利用空闲带宽复制，考虑开销比较和复制时间比较因素；根据步骤101收集到的网络负载信息，分析其历史网络负载规律，考虑节点位置、资源使用状况，进一步计算出未来1800秒内网络空闲情况，并在此段时间进行数据复制； 

其中，步骤104所述备份情况是指通过网络负载预测及备份策略成功备份后的信息：计算节点在中间数据复制成功后，以心跳信息的形式发送给主控节点，通知主控节点该数据备份成功和存储位置，以供节点失效后使用和判断输入数据位置节点的情况；主控节点接收到计算节点的备份信息后，更新数据位置信息。

2.根据权利要求1所述的一种云计算环境下中间数据的容错性优化方法，其特征在于：所述步骤101中任务进度评分分为0至1分，每个阶段为1/3。

3.根据权利要求1所述的一种云计算环境下中间数据的容错性优化方法，其特征在于：所述步骤101 计算节点动态统计网络负载，任务执行进度、位置信息，其统计周期以0.5秒～1.0秒之间为最佳。

4.根据权利要求1所述的一种云计算环境下中间数据的容错性优化方法，其特征在于：所述步骤103中，复制时间比较是指数据备份复制时间需比任务执行时间短，即主控节点收到本地节点的反馈信息来控制数据复制速率和计算节点监控任务执行进度两方面保证数据复制时间，如果复制时间超过任务完成时间，则放弃复制；开销比较主要通过主控节点记录任务实际执行的历史时间作为任务执行开销和以Map、Reduce数量相同的参数的中间数据的复制时间作为复制开销进行比较，如执行开销大于复制开销，则放弃复制。