[发明专利]一种面向大数据环境的元数据组织方法和系统

摘要

本发明公开了一种面向大数据环境的元数据组织方法，包括：客户端接收来自用户的文件创建请求，将该文件创建请求发送到索引服务器，索引服务器根据创建文件请求中待创建文件的绝对路径获取对应文件的父目录的全局ID和分布编码列表，根据父目录的全局ID和待创建文件的文件名得到键值对的键，根据该键保存待创建文件的文件索引信息，并获得用来存储元数据信息的分布编码，其中如果分布编码为新增的或者父目录分布编码列表中存在超过一个分布编码，则使用布隆过滤器和文件的全局ID更新分布编码的位图。本发明能够解决现有方法中为保证元数据的访问局部性造成的大目录元数据集中存储的负载不均衡的技术问题。

主权项

一种面向大数据环境的元数据组织方法，其特征在于，包括以下步骤：(1)客户端接收来自用户的元数据请求，并判断该元数据请求的类型，是文件创建请求，文件查询请求，目录创建请求，目录查询请求，还是文件和目录重命名请求，如果是文件创建请求，则客户端将该文件创建请求发送到索引服务器，并进入步骤(2)，如果是文件查询请求，则客户端将该文件查询请求发送到索引服务器，进入步骤(5)，如果是目录创建请求，则转入步骤(9)，如果是列表目录元数据请求，则转入步骤(12)，如果是文件和目录重命名请求，则转入步骤(15)；(2)索引服务器根据创建文件请求中待创建文件的绝对路径获取对应文件的父目录的全局ID和分布编码列表，根据父目录的全局ID和待创建文件的文件名得到键值对的键，根据该键保存待创建文件的文件索引信息，并获得用来存储元数据信息的分布编码，其中如果分布编码为新增的或者父目录分布编码列表中存在超过一个分布编码，则使用布隆过滤器和文件的全局ID更新分布编码的位图，将分布编码和分布编码对应的后端存储节点的IP地址和端口号，以及待创建文件的全局ID发送给客户端；(3)客户端将待创建文件的全局ID、分布编码、以及待创建文件的元数据信息发送到该IP地址和端口号对应的后端存储节点；(4)后端存储节点根据待创建文件的全局ID以键值对形式保存待创建文件的元数据信息，再将此键值对加入到桶号为分布编码的哈希桶中，并向客户端返回文件元数据创建成功的通知；(5)索引服务器根据查询文件请求中待查询文件的绝对路径获取对应文件的全局ID，以及对应文件的父目录的分布编码列表，获取存储文件元数据时可能使用的分布编码，再根据可能使用的分布编码和后端存储节点名空间表计算得到对应的后端存储节点IP地址和端口号，并将所有后端存储节点IP地址和端口号信息列表、以及待查询文件的全局ID发送到客户端；(6)客户端根据返回的IP地址和端口号列表依次将待查询文件的全局ID发送给后端存储节点；(7)后端存储节点根据待查询文件的全局ID为键查找是否存在元数据信息，如果存在，则返回元数据信息给客户端，然后转入步骤(8)，否则返回未找到元数据的提示信息给客户端；(8)客户端判断返回的元数据信息是否是元数据，如果是，则过程结束，否则根据剩下的IP地址和端口号将待查询文件的全局ID发送给后端存储节点，并重复执行步骤(7)，直至找到元数据为止。(9)索引服务器根据创建目录请求中待创建目录的绝对路径获取对应目录的父目录的全局ID和分布编码列表，根据父目录的全局ID和待创建目录的目录名得到键值对的键，根据该键保存待创建目录的目录索引信息，并获得用来存储目录元数据信息的分布编码，其中如果分布编码为新增的或者父目录分布编码列表中存在超过一个分布编码，则使用布隆过滤器和目录全局ID更新分布编码的位图，将分布编码和分布编码对应的后端存储节点的IP地址和端口号，以及待创建目录的全局ID发送给客户端；(10)客户端将待创建目录的全局ID、分布编码、以及待创建目录的元数据信息发送到该IP地址和端口号对应的后端存储节点；(11)后端存储节点根据待创建目录的全局ID以键值对形式保存待创建目录的元数据信息，再将此键值对加入到桶号为分布编码的哈希桶中，并向客户端返回目录元数据创建成功的通知。(12)索引服务器根据待列表目录请求中目录的绝对路径获取待列表目录的分布编码列表，根据分布编码列表和后端存储名空间表计算出所有分布编码对应的后端存储节点IP地址和端口号，并将分布编码列表及分布编码对应的后端存储节点IP地址和端口号信息发送到客户端；(13)客户端根据返回的IP地址和端口号列表依次将对应的分布编码发送给后端存储节点；(14)后端存储节点通过分布编码找到对应桶号的哈希桶，并将哈希桶内的所有元数据信息返回给客户端；(15)索引服务器根据重命名文件或目录的请求中的待重命名的文件或目录的绝对路径和新名称得到待重命名文件或目录的全局ID和对应的父目录的分布编码列表，并用新名称重新保存文件或目录索引节点信息，获得存储文件或目录的分布编码，将分布编码对应的后端节点IP地址和端口号，新文件或目录名，以及新文件或目录的全局ID返回给客户端；(16)客户端根据返回的IP地址和端口号列表依次将待重命名目录的全局ID和新目录名发送给后端存储节点；(17)后端存储节点以目录的全局ID为键找到目录的元数据信息，如果找到，则使用新名称更新目录元数据中的旧名称，并向客户端返回重命名目录成功的通知，然后转入步骤(18)，否则返回未找到元数据的提示信息给客户端，并转入步骤(18)；(18)客户端判断重命名是否成功，如果成功，则重命名过程结束，否则根据剩下的IP地址和端口号将待重命名目录的全局ID和新目录名发送给后端存储节点，并重复执行步骤(17)，直至重命名元数据成功为止。