[发明专利]一种云计算环境下中间数据的容错性优化方法

摘要

本发明一种云计算环境下中间数据的容错性优化方法，该方法有四大步骤：步骤一：收集网络负载、任务执行进度及位置信息；步骤二：判断、分析任务输入数据，主要判断数据产生位置；步骤三：根据当前环境对工作模式进行分类，根据控制参数对资源分配进行调整；步骤四：反馈备份情况，更新数据备份信息。本发明首先考虑云计算环境下节点失效的频率，根据任务完成时间要求及资源使用情况对中间数据进行复制，对网络负载及任务执行进度进行实时监控及弹性管理，以保证系统在性能不受影响的情况下实现中间数据的复制。它在云计算数据管理领域具有广泛地实用价值和应用前景。

主权项

一种云计算环境下中间数据的容错性优化方法，其特征在于：该方法包括以下步骤：步骤101. 计算节点动态统计网络负载，任务执行进度、位置信息，以心跳信息的形式报告给主控节点，以确定备份策略； 步骤102. 计算节点对任务输入数据进行判断和划分，以确定数据是否需要复制，并向主控节点提出复制申请；步骤103. 根据主控节点的复制命令的反馈，计算机节点利用空闲带宽，考虑比较开销、复制时间等因素，进行数据复制；步骤104. 向主控节点反馈备份情况，更新数据备份信息；其中，步骤101所述的网络负载信息主要包括往返延迟和丢包率，即在当前时段网络中以往返延迟增加和丢包率增加衡量网络负载情况，以避免因复制占用网络资源过多而导致整体性能下降；所述的任务执行进度、位置是根据当前正在执行任务，收集任务的TaskID、任务执行节点位置、任务已执行时间、任务进度评分信息，以预测任务完整执行所需的最长时间和备份存储位置； 其中，步骤102所述的是任务输入数据，产生于本地节点或远程节点；在任务等待输入数据期间，本地节点以心跳信息的方法发送给主控节点查询该任务输入数据的产生位置或本地节点通过执行线程查询输入数据的产生位置，进而判断输入数据产生于本地节点或远程节点，如输入数据是本地节点产生则需要进行备份，反之则不需要；其中，步骤103所述的数据复制主要涉及利用空闲带宽复制，考虑开销比较和复制时间比较因素；根据步骤101收集到的网络负载信息，分析其历史网络负载规律，考虑节点位置、资源使用状况，进一步计算出未来1800秒内网络空闲情况，并在此段时间进行数据复制； 其中，步骤104所述备份情况是指通过网络负载预测及备份策略成功备份后的信息：计算节点在中间数据复制成功后，以心跳信息的形式发送给主控节点，通知主控节点该数据备份成功和存储位置，以供节点失效后使用和判断输入数据位置节点的情况；主控节点接收到计算节点的备份信息后，更新数据位置信息。