[发明专利]LXPFS集群分布式文件存储系统

摘要

LXPFS集群分布式文件存储系统，采用LXPFS集群给应用提供访问方法，通过封装好的JS API访问LXPFS中的文件；访问LXPFS文件的方式分为三种：读、写和删除；在前端实现访问LXPFS文件的组件，在Web应用开发中只需生成一个组件，调用相应的接口就能实现访问；系统采用主从模式架构，由一个Dispatchnode和一个及以上的Tasknode组成；Dispatchnode是一个controller服务器，负责调配所有文件的存储以及处理并转发客户端的请求，负责管理它所在节点上的存储和响应客户端的请求；上传文件是将数据写入Tasknode中，下载文件则是读取Tasknode文件数据。本系统采用对大文件分割的方式进行上传，对上传的文件没有大小限制，解决了大容量存储、分布存储、负载均衡等问题，它以服务的方式提供Web服务器一个文件管理组件的功能。

主权项

1.LXPFS集群分布式文件存储系统，其特征在于，采用LXPFS集群给应用提供访问方法，通过封装好的JSAPI访问LXPFS中的文件；访问LXPFS文件的方式分为三种：读、写和删除；在前端实现了访问LXPFS文件的组件，在Web应用开发中，只需要生成一个组件，调用相应的接口就能实现访问；该系统采用主从模式的架构，由一个Dispatchnode和一个及以上的Tasknode组成；Dispatchnode是一个controller服务器，负责调配所有文件的存储以及处理并转发客户端的请求，Tasknode是在每节点设一个，负责管理它所在节点上的存储和响应客户端的请求；上传文件是将数据写入LXPFS集群的Tasknode中，下载文件则是读取Tasknode文件数据；Dispatchnode的工作内容分为以下几个部分：a.验证访问请求的IP是否已经注册；b.解析访问请求数据包，获取访问操作方式、操作对象以及其他相关信息；c.利用心跳机制，获取集群中目标节点服务器的负载参数，计算分析这些参数，获取最适合委派任务的目标节点位置；d.使用操作对象文件的MD5值索引文件，找到文件所在目标节点服务器实现秒传，否则将任务派发给最适合的目标节点；每个文件块在写入前，系统都会记录这个文件块的MD5值，作为它的有效性检查的依据；如果保存在系统上的某个文件块计算得到的MD5值与记录的MD5值无法对应，那么说明此文件块内容被修改，其将被视为无效；在系统运行开始时，Dispatchnode记录每个Tasknode的警戒线和临界点，即使后来某个Tasknode的这些参数值改变，Dispatchnode也可以通过心跳机制获取得到；上传模块服务被封装成一个实体类QFileUpload，每个QFileUpload实体类中维护着一个上传队列，上传之前需要先选择本地文件，选择的一个本地文件将被封装成一个上传任务对象，并被自动添加到上传任务队列里；上传任务对象随机产生一个唯一的ID值作为文件ID，还会计算生成文件的MD5值，并保存了上传文件的相关信息和上传信息；添加上传任务队列完成后即可进行上传，由于添加文件的MD5计算是异步的，所以在上传时有些比较大的文件有可能还没有获得MD5值，这时上传服务组件会自动获取已经数据准备完成得上传任务，然后依次执行；下载、删除模块服务和上传模块服务的实现思路一致，根据文件的大小和分片的设定值，一个文件可能被分割成一个或者多个文件块，大文件被分割成一组文件块；这时上传一个大文件，需要把它所有的文件切片都进行上传，分割后的文件块被分散保存在LXPFS集群的Tasknode上；Tasknode的任务进程实例在接收下载请求时，会根据文件共享池里的映射关系表索引文件块，并把这些文件块拼接形成一个完整的文件以支持组件下载；当用户或应用程序删除某个文件时，LXPFS集群会先检测这个文件在共享池里是否还存在其他的映射；如果存在即被判断为软删除，那么只是删除用户所属的那条记录和映射；要是文件不存在其他的映射，就是硬删除，硬删除在删除映射的同时还会删除文件对应的文件块数据。