[发明专利]数据处理方法、装置、电子设备及存储介质在审
申请号: | 202010598363.5 | 申请日: | 2020-06-28 |
公开(公告)号: | CN111767169A | 公开(公告)日: | 2020-10-13 |
发明(设计)人: | 张晓琳 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F11/14 | 分类号: | G06F11/14 |
代理公司: | 北京市铸成律师事务所 11313 | 代理人: | 曹远;包莉莉 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 存储 介质 | ||
1.一种数据处理方法,包括:
获取文件处理请求,所述文件处理请求是客户端基于文件处理操作而生成的,用于指示处理与所述文件处理请求相对应的文件数据块;
基于所述文件处理请求获取到所述文件数据块的数据特征;
确定待对所述文件数据块进行数据处理的磁带存储设备的存储资源特征;
基于所述数据特征以及所述存储资源特征,并利用所述磁带存储设备对所述文件处理请求进行处理。
2.根据权利要求1所述的方法,其中,所述利用所述磁带存储设备对所述文件处理请求进行处理,包括:
获取所述文件处理请求所对应的文件数据块,并利用所述磁带存储设备对所述文件数据块进行备份处理,以在所述磁带存储设备中存储所述文件数据块。
3.根据权利要求2所述的方法,还包括:
至少基于所述文件数据块在所述磁带存储设备中的使用存储资源以及所述文件数据块的数据特征,生成表征数据特征与存储资源特征之间关系的映射表。
4.根据权利要求1-3任一项所述的方法,其中,所述利用所述磁带存储设备对所述文件处理请求进行处理,包括:
从所述磁带存储设备中读取所述文件处理请求所对应文件数据块的副本数据,并发送所述副本数据。
5.根据权利要求1-3任一项所述的方法,其中,所述方法应用于分布式文件系统中的数据节点侧。
6.根据权利要求5所述的方法,其中,所述获取文件处理请求,包括:
所述数据节点获取到所述分布式文件系统的中心节点所转发的文件处理请求,其中,所述数据节点是所述中心节点基于所述文件处理请求所对应的文件数据块的数据特征而确定调用的。
7.一种数据处理装置,包括:
文件处理请求获取模块,用于获取文件处理请求,所述文件处理请求是客户端基于文件处理操作而生成的,用于指示处理与所述文件处理请求相对应的文件数据块;
数据特征获取模块,用于基于所述文件处理请求获取到所述文件数据块的数据特征;
存储资源特征确定模块,用于确定待对所述文件数据块进行数据处理的磁带存储设备的存储资源特征;
处理模块,用于基于所述数据特征以及所述存储资源特征,并利用所述磁带存储设备对所述文件处理请求进行处理。
8.根据权利要求7所述的装置,其中,所述处理模块还包括:
备份子模块,用于获取所述文件处理请求所对应的文件数据块,并利用所述磁带存储设备对所述文件数据块进行备份处理,以在所述磁带存储设备中存储所述文件数据块。
9.根据权利要求8所述的装置,还包括:
映射表生成子模块,用于至少基于所述文件数据块在所述磁带存储设备中的使用存储资源以及所述文件数据块的数据特征,生成表征数据特征与存储资源特征之间关系的映射表。
10.根据权利要求7-9任一项所述的装置,处理模块还包括:
副本数据传输子模块,用于从所述磁带存储设备中读取所述文件处理请求所对应文件数据块的副本数据,并发送所述副本数据。
11.根据权利要求7-9任一项所述的装置,其中,所述装置为分布式文件系统中的数据节点。
12.根据权利要求11所述的装置,所述文件处理请求获取模块,还用于获取到所述分布式文件系统的中心节点所转发的文件处理请求。
13.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010598363.5/1.html,转载请声明来源钻瓜专利网。