[发明专利]一种数据传输方法及相关装置在审
申请号: | 201910007688.9 | 申请日: | 2019-01-04 |
公开(公告)号: | CN109547574A | 公开(公告)日: | 2019-03-29 |
发明(设计)人: | 丁磊 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;熊永强 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 存储节点 第一数据 服务器 数据段 服务器接收 数据传输 网络连接 写入请求 发送 服务器建立 发送请求 分发数据 内存资源 系统运行 相关装置 系统CPU 存储卷 客户端 消耗 携带 返回 响应 申请 成功 统一 | ||
1.一种数据传输方法,其特征在于,包括:
服务器接收第一客户端发送的第一数据写入请求,所述第一数据写入请求携带第一数据;
所述服务器向M个存储节点分别发送请求,所述请求用于指示所述M个存储节点分别与所述服务器建立网络连接,其中,M为不小于2的整数;
所述服务器接收所述M个存储节点分别返回的网络连接成功的响应;
所述服务器对所述第一数据进行处理,以得到M个数据段,其中,所述M个数据段与所述M个存储节点一一对应;
所述服务器将所述M个数据段分别发送至对应的存储节点;
当所述M个存储节点分别将对应数据段写入后,所述服务器向所述第一客户端发送所述第一数据完成写入的消息,以响应所述第一客户端发送的第一数据写入请求。
2.根据权利要求1所述的方法,其特征在于,所述服务器接收第一客户端发送的第一数据写入请求的步骤之后,所述服务器向M个存储节点分别发送请求的步骤之前,包括:
所述服务器获取由Z个存储节点中的不同存储节点组合组成的多个存储集群,其中,Z为大于M的整数;
所述服务器分别与所述多个存储集群建立预设时间内的网络连接;
所述服务器分别向所述多个存储集群发送请求,所述请求携带若干个预设数据包,且所述请求用于指示所述多个存储集群在所述预设时间内分别传输完成所述预设数据包;
所述服务器获取所述预设时间内的所述多个存储集群分别传输完成所述预设数据包的数量;
所述服务器将所述传输完成的预设数据包的数量最多的存储集群设为目标存储集群,其中,所述目标存储集群由所述M个存储节点组成。
3.根据权利要求2所述的方法,其特征在于,所述服务器对所述第一数据进行处理,以得到M个数据段,其中,所述M个数据段与所述M个存储节点一一对应,具体包括:
所述服务器将所述第一数据平均分割为M份,以得到M份初始数据段;
所述服务器将所述M份初始数据段按照位置顺序依次进行标号,以得到M个数据段。
4.根据权利要求3所述的方法,其特征在于,所述服务器将所述第一数据平均分割为M份,以得到M份初始数据段之前,包括:
所述服务器确认所述第一数据的内存大小超出预设数据的内存大小;
所述服务器获取所述第一数据中的N组重复字节,其中,N为正整数;
所述服务器将所述N组重复字节中的P组重复字节分别进行压缩,以得到第二数据,其中,所述第一数据中除去所述P组重复字节后的剩余数据与所述P组重复字节压缩得到的数据进行整合得到所述第二数据,所述第二数据的内存大小不超过所述预设数据的内存大小,且所述第一数据中除去P-1组重复字节后的剩余数据与所述P-1组重复字节压缩得到的数据进行整合得到的数据的内存大小超出所述预设数据的内存大小,P为正整数,且2≤P≤N;
所述服务器将所述第二数据更新为第一数据。
5.根据权利要求4所述的方法,其特征在于,还包括:
所述服务器分别获取所述M个存储节点的剩余存储空间;
所述服务器确认所述M个存储节点中的K个存储节点的剩余存储空间小于预设阈值,其中,1≤K≤M;
所述服务器对所述K个存储节点进行扩容,以增加至W个存储节点,其中,W为大于K的整数;
所述服务器向所述K个存储节点分别发送请求,所述请求用于指示所述K个存储节点中的每个存储节点分别将存储在所述每个存储节点上的数据平均分配至所述W个存储节点;
所述服务器接收所述K个存储节点返回的消息,所述消息携带所述W个存储节点分别存储的相应数据信息。
6.根据权利要求5所述的方法,其特征在于,还包括:
所述服务器获取所述M-K+W个存储节点中每个存储节点的访问次数;
所述服务器获取所述访问次数最少的存储节点;
所述服务器发送请求至所述存储节点,所述请求用于指示所述存储节点进行缩容。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910007688.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种支付或购物的方法
- 下一篇:一种数据调度方法、装置和设备