[发明专利]一种分布式文件系统及文件存储方法

权利要求书

1.一种分布式文件系统，包括多个存储节点设备和分布式内存对象缓存系统Memcached数据库，其特征在于，所述系统还包括协同服务器、存储引擎和日志服务器，所述多个存储节点设备分别与协同服务器及Memcached数据库连接，存储引擎分别与日志服务器、协同服务器及Memcached数据库连接，

所述协同服务器，用于负责各存储节点设备的注册，并定期向已注册的各存储节点设备发送心跳报文进行保活检测，并将各存储节点设备回应的心跳报文中所携带的当前状态日志信息，发送给日志服务器；

所述日志服务器，用于接收协同服务器发送的各存储节点设备的当前状态日志信息，计算各存储节点设备的实时存储能力，并同步给存储引擎；

所述存储引擎，用于响应协同服务器下发的文件写操作请求，在采用滑动块算法对文件进行分块后，依据通过日志服务器动态获取的各存储节点设备的实时存储能力，为每一个文件块计算出最优存储节点位置，将文件与文件块存储节点位置映射关系写入Memcached数据库后，将各个文件块存入所述最优存储节点位置所在的存储节点设备；

所述Memcached数据库，用于保存文件及文件分块存储节点位置的映射关系；

所述存储节点，用于向协同服务器进行注册，并在向协同服务器回应的心跳报文中携带其状态日志信息，并将存储引擎写入的相应的文件分块进行存储。

2.如权利要求1所述的分布式文件系统，其特征在于，所述各存储节点设备的当前状态日志信息包括该存储节点的存储空间、I/O能力及网络访问速率。

3.如权利要求1所述的分布式文件系统，其特征在于，所述实时存储能力是指存储节点设备当前读或写一个字节所花费的时间。

4.如权利要求1任一项所述的分布式文件系统，其特征在于，

所述存储节点设备，还用于在完成文件的写操作后生成状态日志信息，主动上报协同服务器；

所述协同服务器，还用于将各存储节点主动上报的状态日志信息，同步到日志服务器。

5.如权利要求1-4任一项所述的分布式文件系统，其特征在于，

所述存储引擎，还用于在空闲时，根据各存储节点设备的实时存储能力，对文件存储进行优化以将文件块被均衡的分配到各个存储节点设备。

6.如权利要求5所述的分布式文件系统，其特征在于，所述存储引擎还用于统计各个文件的访问频率，且将使用频率高的文件分块保存在Memcached数据库的缓存中。

7.分布式文件系统文件存储方法，应用于如权利要求1-6任一项所述的分布式文件系统，其特征在于，包括以下步骤：

A、客户端发起文件写操作请求，协同服务器生成写事务ID，并将其与文件写操作请求一起下发给存储引擎；

B、存储引擎响应协同服务器下发的文件写操作请求，在采用滑动块算法对文件进行分块后，依据通过日志服务器动态获取的各存储节点设备的实时存储能力，为每一个文件块计算出最优存储节点位置；

C、存储引擎将文件与文件块存储节点位置映射关系写入Memcached数据库后，将各个文件块存入所述最优存储节点位置所在的存储节点设备，各个存储节点设备分别写入相应的文件分块。

8.如权利要求7所述的分布式文件系统文件存储方法，其特征在于，在步骤B中，所述为每一个文件块计算出最优存储节点位置的方法包括，为每个文件块选取备份因子个存储能力最优的存储节点位置；所述备份因子是指整个文件在系统中备份的数量。

9.如权利要求8所述的分布式文件系统文件存储方法，其特征在于，在步骤C之后还包括如下步骤：所述各个存储节点设备在完成文件的写操作后生成状态日志信息，主动上报协同服务器。

10.如权利要求8所述的分布式文件系统文件存储方法，其特征在于，在步骤A之前还包括如下步骤：协同服务器接受各存储节点设备的注册，并定期向已注册的各存储节点设备发送心跳报文进行保活检测，并将各存储节点设备回应的心跳报文中所携带的当前状态日志信息，发送给日志服务器。