[发明专利]一种面向高性能计算的分布式数据组织方法

摘要

一种面向高性能计算的分布式数据组织方法，在接口层将数据访问和数据管理分离开来；在计算节点端，客户端仅向应用程序提供精简的数据访问接口，支持对应用完全透明的POSIX形式的文件访问操作。本发明针对高性能计算应用的数据存储需求，对POSIX文件系统访问语义进行了精简，解耦数据访问和数据管理，为应用程序提供高效、轻量级的编程接口；采用分布式对象存储技术进行数据组织，突破传统文件系统数据组织限制，实现更为高效的数据访问协议，进一步提升系统可扩展能力；提出基于内存的元数据管理方式，首次将高性能非关系键值数据库引入高性能计算机系统，利用其优良特性对外提供高效可扩展的元数据服务。

主权项

1.一种面向高性能计算的分布式数据组织方法，其特征在于包括：构建原型系统，其中将客户端部署在超大规模的计算节点，将服务器端部署在I/O节点，将基于键值的元数据服务部署在元数据节点，将数据管理工具和数据管理接口部署在数据管理服务节点；由部署在计算节点的客户端将来自应用程序的I/O请求转发给相应的服务器端；服务器端接收并解析来自计算节点的I/O请求，最终将I/O请求交给I/O节点的本地文件系统或者远程I/O节点来处理；其中，在接口层将数据访问和数据管理分离开来；其中，在计算节点端，客户端仅向应用程序提供精简的数据访问接口，支持对应用完全透明的POSIX形式的文件访问操作；数据管理服务运行在服务节点，对外提供数据管理工具，由此将POSIX文件访问语义划分为数据访问和数据管理两个平面，并且将数据访问和数据管理两个平面解耦；其中，将系统的数据对象分散在各个I/O节点上，每个I/O节点上的数据存储均采用对象存储中的扁平化数据组织方式，使用对象模型对传统文件系统层次式的目录树结构进行弱化；其中，客户端向应用程序提供虚拟挂载点，应用程序通过虚拟挂载点访问该系统的服务，将应用数据最终全部布置在I/O节点上的存储服务输出目录下，在I/O节点上的存储服务输出目录下设置用于放置数据对象的数据桶；其中，根据对象标识，通过哈希取模的方式，将数据对象均匀分布在各个数据桶中，文件的路径作为对象的标识进行一次HASH处理；其中，通过统一存储模块实现了多个I/O节点存储空间的聚合，并提供本地I/O和远程I/O两种模式以实现对象的全局访问；其中，采用本地优先的数据布局策略，其中计算节点创建对象时优先选择本地存储；其中，对象的元数据既包括传统POSIX类型的元数据，又支持用户自定义元数据；而且其中，使用Redis内存数据库集中存储对象元数据信息，一条对象元数据信息对应Redis内存数据库中的一个哈希键，其中键名是对象标识，键值为对象元数据。/n