[发明专利]一种带安全约束的成批作业-资源匹配方法及系统

摘要

本发明公开了一种带安全约束的成批作业‑资源匹配方法及系统，采用了基于安全约束和负载平衡的成批作业与资源匹配方法，该成批作业‑资源匹配方法的具体步骤包括：步骤A，预处理阶段对安全性进行配置；步骤B，将成批作业集映射到满足安全和负载平衡约束的合适资源上，将各节点上的作业进行排序并依次执行；步骤C，动态地反复检测宕机故障，对故障机器上的作业按照安全和负载平衡约束进行重分配。本发明方法尤其适用于数据安全性较高的成批作业调度应用，例如基于MapReduce的警务数据作业调度、交通监控作业调度等。本发明在获得较短的批处理作业完工时间的基础上，可保证数据的安全访问。

主权项

1.一种带安全约束的成批作业‑资源匹配方法，其特征在于，包括以下步骤：步骤A、服务器端控制节点对数据节点、数据源的安全等级进行配置，根据作业请求者权限，设置作业权限等级；步骤B、服务器端控制节点采用基于安全约束和负载平衡的作业与数据节点映射方法，将Map作业映射到满足安全约束和负载平衡且方案代价最低的数据节点上，将各节点上的作业按优先级进行排序并依次执行；方案代价=设置的每次数据源复制代价*数据源复制次数+设置的每次加密代价*加密次数；步骤C、服务器端宕机监测节点周期性检测数据节点当前状态，实时将故障数据节点ID反馈给服务器端控制节点；步骤D、服务器端控制节点收到故障数据节点ID，对当前映射到该节点上未完成的作业按照安全约束和负载平衡的作业与数据节点映射方法，将作业重新映射至未宕机数据节点；服务器端控制节点对安全性进行配置包括：根据数据节点的当前安全设置情况，为数据节点设置安全等级；根据数据源对安全性的要求，为数据源设置安全要求等级；根据作业请求者权限，设置作业权限等级；所述安全约束包含2点：（1）作业只能在其有权限执行的数据节点上执行；（2）安全要求高的数据源必须以加密状态存储在安全等级低的数据节点上。