[发明专利]集群文件系统、数据处理方法、计算机设备及存储介质在审
申请号: | 202010343972.6 | 申请日: | 2020-04-27 |
公开(公告)号: | CN111522514A | 公开(公告)日: | 2020-08-11 |
发明(设计)人: | 张和泉 | 申请(专利权)人: | 上海商汤智能科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F11/14 |
代理公司: | 北京中知法苑知识产权代理有限公司 11226 | 代理人: | 李明;赵吉阳 |
地址: | 200233 上海市徐*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 集群 文件系统 数据处理 方法 计算机 设备 存储 介质 | ||
1.一种集群文件系统,其特征在于,包括:对象存储服务器、多个对象存储设备、以及多个第一虚拟块设备;
其中,所述对象存储服务器与多个所述对象存储设备连接;每个所述对象存储设备连接至少一个所述第一虚拟块设备;
所述对象存储服务器,用于接收客户端发送的第一输入输出IO指令,并基于所述第一IO指令,通过所述对象存储设备访问所述第一虚拟块设备;
所述第一虚拟块设备中存储有目标数据;
其中,所述目标数据在所述第一虚拟块设备中存储为至少三个数据副本。
2.根据权利要求1所述的集群文件系统,其特征在于,还包括:元数据服务器、多个元数据存储设备、以及多个第二虚拟块设备;
其中,所述元数据服务器与多个所述元数据存储设备连接;每个所述元数据存储设备连接至少一个所述第二虚拟块设备;
所述元数据服务器,用于接收所述客户端发送的第二IO指令,并基于所述第二IO指令,通过所述元数据存储设备访问所述第二虚拟块设备;
所述第二虚拟块设备中存储有与所述目标数据对应的元数据;
其中,所述元数据在所述第二虚拟块设备中存储为至少三个元数据副本。
3.根据权利要求2所述的集群文件系统,其特征在于,所述目标数据包括:由多个文件聚合成的数据块;
与所述数据块对应的元数据包括各个所述文件在所述数据块中的位置信息。
4.根据权利要求1-3任一项所述的集群文件系统,其特征在于,所述第一虚拟块设备,还用于按照预设的第一读取顺序,从与所述第一IO指令对应的至少三个数据副本中确定并向所述对象存储设备返回目标数据副本。
5.一种数据处理方法,其特征在于,包括:
接收客户端发送的输入输出IO指令;
基于所述IO指令,控制存储设备将与所述IO指令对应的数据写入所述虚拟块设备中,或者从所述虚拟块设备中读取与所述IO指令对应的数据;
其中,所述数据在所述虚拟块设备中存储为至少三个数据副本。
6.根据权利要求5所述的数据处理方法,其特征在于,所述存储设备包括:对象存储设备;所述虚拟块设备包括:第一虚拟块设备;所述IO指令包括:第一IO指令;所述数据包括目标数据;
所述基于所述IO指令,控制存储设备将与所述IO指令对应的数据写入所述虚拟块设备中,或者从所述虚拟块设备中读取与所述IO指令对应的数据,包括:
基于第一IO指令,控制所述对象存储设备将与所述第一IO指令对应的目标数据写入所述第一虚拟块设备中,或者从所述第一虚拟块设备中读取与所述第一IO指令对应的目标数据。
7.根据权利要求5或6所述的数据处理方法,其特征在于,所述存储设备包括:元数据存储设备;所述虚拟块设备包括:第二虚拟块设备;所述IO指令包括:第二IO指令;所述数据包括元数据;
所述基于所述IO指令,控制存储设备将与所述IO指令对应的数据写入所述虚拟块设备中,或者从所述虚拟块设备中读取与所述IO指令对应的数据,包括:
基于第二IO指令,控制所述元数据存储设备将与所述第二IO指令对应的元数据数据写入所述第二虚拟块设备中,或者从所述第二虚拟块设备中读取与所述第二IO指令对应的元数据。
8.根据权利要求5-8任一项所述的数据处理方法,其特征在于,所述从所述虚拟块设备中读取与所述IO指令对应的数据,包括:
将所述IO指令发送至所述虚拟块设备,以使所述虚拟块设备按照预设的读取顺序,从与所述IO指令对应的至少三个数据副本中确定并向所述对象存储设备返回目标数据副本。
9.一种电子设备,其特征在于,包括:相互连接的处理器和存储器,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述机器可读指令被所述处理器执行以实现如权利要求5-8任一所述的数据处理方法。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求5-8任一所述的数据处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海商汤智能科技有限公司,未经上海商汤智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010343972.6/1.html,转载请声明来源钻瓜专利网。