[发明专利]数据写入方法、装置、计算设备及计算机存储介质在审
申请号: | 201810712030.3 | 申请日: | 2018-06-29 |
公开(公告)号: | CN108959549A | 公开(公告)日: | 2018-12-07 |
发明(设计)人: | 任娜;王立新 | 申请(专利权)人: | 北京奇虎科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京市浩天知识产权代理事务所(普通合伙) 11276 | 代理人: | 宋菲;刘云贵 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式集群 写入 数据写入请求 路由信息 分布式存储系统 计算机存储介质 分片信息 计算设备 节点信息 指向 数据存储 写入数据 数据处理 发送 均衡 查询 访问 | ||
1.一种数据写入方法,用于将分布式存储系统的数据写入至分布式集群中,所述方法包括:
当首次访问所述分布式集群时,获取所述分布式集群的路由信息;
接收将分布式存储系统中的数据写入到所述分布式集群中的数据写入请求,查询所述路由信息得到待写入的数据的节点信息和分片信息;
将所述数据写入请求发送给所述节点信息指向的节点,以供所述节点将待写入的数据存储到所述分片信息指向的分片中。
2.根据权利要求1所述的方法,其中,所述方法通过分别与所述分布式存储系统和所述分布式集群连接的插件实现。
3.根据权利要求1或2所述的方法,其中,所述方法还包括:预先设置单次批量写入数据的数据量上限阈值;
在接收到所述数据写入请求之后,所述方法还包括:判断待写入的数据的数据量是否大于所述数据量上限阈值,若是,则对所述待写入的数据进行控制处理。
4.根据权利要求1-3中任一项所述的方法,其中,在所述获取分布式集群的路由信息之后,所述方法还包括:
根据分布式集群的主分片数量,设置插件的分区,所述分区的数量与所述主分片数量相等,所述分区与所述主分片一一对应。
5.根据权利要求4所述的方法,其中,在所述查询路由信息得到待写入的数据的节点信息和分片信息之后,所述方法还包括:
根据待写入的数据的分片信息,得到与待写入的数据的主分片对应的分区;
将所述数据写入请求分配给所述与待写入的数据的主分片对应的分区。
6.一种数据写入装置,用于将分布式存储系统的数据写入至分布式集群中,所述装置包括:
获取模块,适于当首次访问所述分布式集群时,获取所述分布式集群的路由信息;
接收模块,适于接收将分布式存储系统中的数据写入到所述分布式集群中的数据写入请求;
查询模块,适于查询所述路由信息得到待写入的数据的节点信息和分片信息;
发送模块,适于将所述数据写入请求发送给所述节点信息指向的节点,以供所述节点将待写入的数据存储到所述分片信息指向的分片中。
7.根据权利要求6所述的装置,其中,所述装置通过分别与所述分布式存储系统和所述分布式集群连接的插件实现。
8.根据权利要求6或7所述的装置,其中,所述装置还包括:第一设置模块,适于预先设置单次批量写入数据的数据量上限阈值;
判断模块,适于判断待写入的数据的数据量是否大于所述数据量上限阈值;
控制模块,适于若待写入的数据的数据量大于所述数据量上限阈值,则对所述待写入的数据进行控制处理。
9.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-5中任一项所述的数据写入方法对应的操作。
10.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-5中任一项所述的数据写入方法对应的操作。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司,未经北京奇虎科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810712030.3/1.html,转载请声明来源钻瓜专利网。