[发明专利]一种分布式文件系统及文件存储方法

摘要

本发明涉及大数据技术。本发明解决了现有HDFS无法满足低时间延迟的数据访问要求的问题，提供了一种分布式文件系统及存储、读取文件方法，其技术方案可概括为：一种分布式文件系统，包括多个存储节点设备和分布式内存对象缓存系统Memcached数据库，所述系统还包括协同服务器、存储引擎和日志服务器，所述多个存储节点设备分别与协同服务器及Memcached数据库连接，存储引擎分别与日志服务器、协同服务器及Memcached数据库连接。本发明的有益效果是：提升用户体验，保证信息的及时性，适用于分布式文件系统。

主权项

1.一种分布式文件系统，包括多个存储节点设备和分布式内存对象缓存系统Memcached数据库，其特征在于，所述系统还包括协同服务器、存储引擎和日志服务器，所述多个存储节点设备分别与协同服务器及Memcached数据库连接，存储引擎分别与日志服务器、协同服务器及Memcached数据库连接，所述协同服务器，用于负责各存储节点设备的注册，并定期向已注册的各存储节点设备发送心跳报文进行保活检测，并将各存储节点设备回应的心跳报文中所携带的当前状态日志信息，发送给日志服务器；所述日志服务器，用于接收协同服务器发送的各存储节点设备的当前状态日志信息，计算各存储节点设备的实时存储能力，并同步给存储引擎；所述存储引擎，用于响应协同服务器下发的文件写操作请求，在采用滑动块算法对文件进行分块后，依据通过日志服务器动态获取的各存储节点设备的实时存储能力，为每一个文件块计算出最优存储节点位置，将文件与文件块存储节点位置映射关系写入Memcached数据库后，将各个文件块存入所述最优存储节点位置所在的存储节点设备；所述Memcached数据库，用于保存文件及文件分块存储节点位置的映射关系；所述存储节点，用于向协同服务器进行注册，并在向协同服务器回应的心跳报文中携带其状态日志信息，并将存储引擎写入的相应的文件分块进行存储。