[发明专利]一种面向HDFS访问模式的保护方法和系统有效
申请号: | 201910380830.4 | 申请日: | 2019-05-08 |
公开(公告)号: | CN110245515B | 公开(公告)日: | 2021-06-01 |
发明(设计)人: | 沈晴霓;秦嘉;吴鹏飞;康雨城;刘忠开 | 申请(专利权)人: | 北京大学 |
主分类号: | G06F21/62 | 分类号: | G06F21/62 |
代理公司: | 北京君尚知识产权代理有限公司 11200 | 代理人: | 邱晓锋 |
地址: | 100871*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 面向 hdfs 访问 模式 保护 方法 系统 | ||
1.一种面向HDFS访问模式的保护方法,其特征在于,包括以下步骤:
1)将对HDFS集群的数据节点的读操作和写操作分别分解为先读后写的两次原子操作,以隐藏文件的操作类型;
2)在向数据节点写文件之前,为文件增加混淆数据块以隐藏文件的分块数量,文件读取回客户端时,客户端先识别文件中的混淆数据块并将其删除以保证数据的正确性;
3)在每次读取文件之后从数据节点中删除此文件,并随机选择客户端的文件缓冲区的一个文件写回到数据节点,以隐藏文件存储的数据节点位置;
所述数据节点采用Tree ORAM结构,并在管理节点中设置数据块位置映射表,用于存储数据块在数据节点的Tree ORAM结构中的叶节点位置;所述客户端向所述管理节点发送写数据块请求时,所述管理节点为数据块分配存储位置,即存储该数据块的数据节点以及数据节点中的叶节点位置,并在所述数据块位置映射表中记录数据块的叶节点位置;读取数据块时,所述管理节点将数据块的存储位置返回给所述客户端,所述客户端根据位置信息到相应的数据节点中查找数据块;
在HDFS集群启动之后进行初始化操作:存储若干无效文件到数据节点中,以便通过读取无效文件来进行混淆,并将无效文件写入到客户端的文件缓冲区;
读文件操作流程包括:
1)客户端首先查找文件缓冲区,如果文件在文件缓冲区中则直接读取文件,如果不在文件缓冲区中则向管理节点发送读文件请求;
2)管理节点在元数据中查找文件信息,如果文件不存在则返回错误信息,如果文件存在,则在数据块位置映射表中查找文件数据块存放的数据节点以及叶节点信息,并返回给客户端;
3)客户端与数据节点建立信息流来读取第一个数据块,数据节点根据客户端发送的叶节点信息,从根节点开始向叶节点的路径搜索桶,如果找到了数据块,则记录数据块,并继续访问叶节点路径以混淆该数据块的位置,直到整个路径都被访问完毕;在数据节点将数据块传输给客户端后,删除该数据节点上的目标数据块,接着读取其他的数据块;文件的所有数据块都被传输到客户端之后,客户端对数据块进行扫描,识别并删除掉混淆数据块;
4)随机选择客户端的文件缓冲区中的一个无效文件或者真实文件写回,客户端向管理节点发送写文件请求,管理节点对文件是否存在以及是否有相应权限等进行检查,检查无误之后创建新文件;
5)客户端对文件进行分块,并给文件添加混淆数据块;客户端向管理节点询问第一个数据块的存储位置,管理节点为数据块分配所要存储的数据节点以及随机分配此数据节点上的叶节点位置,更新数据块位置映射表,之后将这些位置信息返回给客户端;
6)客户端与管理节点分配的数据节点中距离最近的数据节点建立联系,数据节点接收数据块和叶节点信息,将数据块插入根节点,从当前数据节点传输数据块到其他备份存储的数据节点;
7)数据节点二叉树结构中的每层随机选择若干个桶,每个桶中选择一个真实或者无效数据块进行向下一层的混洗,将数据块根据其叶节点位置,向左孩子或者右孩子逐层移动数据块;
8)客户端继续传输文件其他数据块,所有数据块都传输完毕后,客户端关闭数据传输流,将上传完毕的文件从文件缓冲区中删除,并将读取的文件写入文件缓冲区。
2.根据权利要求1所述的方法,其特征在于,通过文件的存储位置的不断变化,隐藏文件的访问频率和访问顺序。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大学,未经北京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910380830.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于区块链的分布式计算方法及系统
- 下一篇:一种消息处理方法和装置