[发明专利]一种基于Hadoop的分布式云存储自动分级数据管理系统

权利要求书

1.一种基于Hadoop的分布式云存储自动分级数据管理系统，其特征在于：所述系统包括节点服务器和中心服务器，所述节点服务器采集服务器状态消息和数据温度分布消息，并将所采集的消息发送到所述中心服务器的数据分级管理模块。

2.根据权利要求1所述的基于Hadoop的分布式云存储自动分级数据管理系统，其特征在于：所述节点服务器包括服务器信息采集模块、数据温度采集模块和数据分级代理模块；所述服务器信息采集模块和数据温度采集模块分别采集服务器状态消息和数据温度分布消息，并分别将采集的消息发送到所述数据分级管理模块。

3.根据权利要求2所述的基于Hadoop的分布式云存储自动分级数据管理系统，其特征在于：所述服务器信息采集模块部署在HDFS集群的数据节点上，所述数据温度采集模块和数据分级代理模块部署在所述HDFS集群的名字节点上，所述数据分级管理模块部署在所述中心服务器上。

4.根据权利要求2所述的基于Hadoop的分布式云存储自动分级数据管理系统，其特征在于：所述服务器状态消息包含数据节点的硬件配置和运行状态信息，所述数据温度分布消息包含数据温度消息和数据分布消息。

5.根据权利要求1所述的基于Hadoop的分布式云存储自动分级数据管理系统，其特征在于：所述消息均包括消息头和消息体，所述消息头包括中心服务器名称、IP地址、节点ID、加密方法、校验和时间戳；所述消息体包括经消息头指定加密方法加密后的节点硬件配置、节点运行状态、数据温度和数据分布。

6.根据权利要求1所述的基于Hadoop的分布式云存储自动分级数据管理系统，其特征在于：所述数据分级代理模块接收带外数据分级命令，解析所述带外数据分级命令获取需要移动数据块信息，并将所获取信息告知名字节点，所述名字节点接收信息的同时复制目标数据块到目标节点，并删除源数据节点上的数据块，需要移动数据块消息全部获取结束后，名字节点向数据分级代理模块发送成功消息，所述数据分级代理模块向数据分级管理模块发送确认消息。

7.根据权利要求6所述的基于Hadoop的分布式云存储自动分级数据管理系统，其特征在于：所述需要移动数据块信息包括需要移动的目标数据块ID、源数据节点ID和目的节点ID。

8.根据权利要求1-3任一所述的基于Hadoop的分布式云存储自动分级数据管理系统，其特征在于：所述中心服务器包括消息接收模块、信息持久化模块、信息缓存模块、数据分级管理模块、指令加工模块、指令发送模块、分析引擎模块节点和注册模块。

9.根据权利要求8任一所述的基于Hadoop的分布式云存储自动分级数据管理系统，其特征在于：所述消息接收模块接收来自数据节点和名字节点分别发送的服务器状态消息和数据温度分布消息，对消息进行解析并送往所述数据分级管理模块；

所述数据分级管理模块生成带外数据分级命令，并周期性发送给名字节点；

所述信息缓存模块接收来自消息接收模块的消息，经过处理形成有效信息存入信息缓存区，同时管理和维护信息缓存区内容，并将信息分类后发送给数据分级管理模块，所述信息缓存区内容包括信息的创建、更新和删除；

当信息缓存区超出容量或时间计数器结束或服务停止时，所述信息持久化模块对经过信息缓存模块处理后的消息写入到磁盘，数据分级管理模块从磁盘读取信息，送入信息缓存区；

所述分析引擎模块信息缓存模块发送的服务器状态消息和数据温度分布消息，形成数据温度分布式矢量图，并维护数据温度分布矢量图的状态更新；根据数据温度分布式矢量图形成带外数据分级指令，发送给指令加工模块；

所述指令加工模块根据分析引擎模块输出的内容，加工形成可以由指令发送模块发送给特定节点的指令编码；

所述指令发送模块接收来自所述数据分级管理模块生成的带外数据分级命令，并根据所接收指令向目标节点发送指令；

所述节点注册模块接收来自信息缓存区的注册信息，并注册或更新指定节点的信息。