[发明专利]用于数据调度的方法和智能伺服集群

说明书

本发明公开了一种用于数据调度的方法和智能伺服集群，涉及数据存储技术领域，其中，方法包括：智能伺服集群在普通集群的高并发输入输出IO时间段来临之前，从候选集群中选取一个集群作为初始高性能集群；智能伺服集群判断初始高性能集群的负载能力是否能够满足普通集群在高并发IO时间段内的负载需求；若初始高性能集群的负载能力不能够满足普通集群在高并发IO时间段内的负载需求，则智能伺服集群根据初始高性能集群需要增加的负载能力从自身的伺服池剥离存储设备加入初始高性能集群，以形成高性能集群；智能伺服集群将普通集群中的热点数据提升到高性能集群中，以便高性能集群处理用户在高并发IO时间段内对热点数据的访问。

技术领域

本发明涉及数据存储技术领域，尤其是一种用于数据调度的方法和智能伺服集群。

背景技术

分布式系统是建立在网络上的虚拟化软件系统，由网络中的多个节点组成，其作为整体向用户提供资源。数据文件存放在不同的节点上，管理者可以任意添加或者删除节点，也即，分布式系统可以支持大规模的节点扩展以及PB级的数量存储。当前比较流行的分布式系统有GFS、Hadoop、FastDFS、Lustre、MooseFS、ceph等等。

目前，在需要与磁盘频繁进行交互的复杂的输入输出(IO)场景下，尤其是在时段性的高并发IO场景下，主要是通过建立一个高性能集群来处理用户对数据的访问。但这样的方式具有以下缺点：一方面会带来昂贵的设备费用；另一方面，高并发IO不是一个集群的常态，高性能集群在更多的时段处于低负载状态，也即集群性能的利用率很低，这又造成了集群性能的浪费。

发明内容

本发明的一个目的是：提供一种用于数据调度的方法和智能伺服集群，能够在普通集群的高并发IO时间段来临之前形成高性能集群来处理用户对热点数据的访问。

根据本发明的一方面，提供一种用于数据调度的方法，包括：智能伺服集群在普通集群的高并发输入输出IO时间段来临之前，从候选集群中选取一个集群作为初始高性能集群；所述智能伺服集群判断所述初始高性能集群的负载能力是否能够满足所述普通集群在高并发IO时间段内的负载需求；若所述初始高性能集群的负载能力不能够满足所述普通集群在高并发IO时间段内的负载需求，则所述智能伺服集群根据所述初始高性能集群需要增加的负载能力从自身的伺服池剥离存储设备加入所述初始高性能集群，以形成高性能集群；所述智能伺服集群将所述普通集群中的热点数据提升到所述高性能集群中，以便所述高性能集群处理用户在所述高并发IO时间段内对所述热点数据的访问。

在一个实施例中，所述方法还包括：响应于用户在所述高并发IO时间段内对所述高性能集群中的非热点数据的访问，所述智能伺服集群将所述高性能集群中的非热点数据分发给一个或多个普通集群进行处理。

在一个实施例中，所述方法还包括：若分发给所述一个或多个普通集群的非热点数据变为热点数据，则所述智能伺服集群将该热点数据提升到所述高性能集群中。

在一个实施例中，所述方法还包括：若所述初始高性能集群的负载能力能够满足所述普通集群在高并发IO时间段内的负载需求，则所述智能伺服集群直接将所述初始高性能集群作为所述高性能集群。

在一个实施例中，所述方法还包括：若所述高性能集群的负载在所述高并发IO时间段内超过其负载能力，则所述智能伺服集群根据所述高性能集群的负载缺口从自身的伺服池中剥离新的存储设备加入到所述高性能集群中。

在一个实施例中，所述方法还包括：在所述高并发IO时间段之后，所述智能伺服集群将所述热点数据重新刷回到所述普通集群中。

在一个实施例中，所述方法还包括：在将所述高性能集群中某个存储设备中的数据重新刷回到所述普通集群中后，所述智能伺服集群将该存储设备从所述高性能集群剥离并回收到所述伺服池中。