[发明专利]数据分布式处理方法在审
申请号: | 201811549410.6 | 申请日: | 2018-12-18 |
公开(公告)号: | CN109688211A | 公开(公告)日: | 2019-04-26 |
发明(设计)人: | 王泽辉 | 申请(专利权)人: | 杭州茂财网络技术有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;H04L29/06 |
代理公司: | 杭州裕阳联合专利代理有限公司 33289 | 代理人: | 姚宇吉 |
地址: | 310000 浙江省杭州*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 存储 区块 待存储数据 数据存储配置 分布式处理 目标节点 数据标识 分布式存储 可扩展性 配置节点 数据存储 阈值确定 应用 | ||
1.一种数据分布式处理方法,其特征在于,包括:
对区块链中的节点进行数据存储配置,所述数据存储配置包括所述节点的存储阈值、节点ID;
获取待存储数据的数据标识,根据所述数据标识和所述存储阈值确定存储所述待存储数据的第一目标节点;
将所述待存储数据存储至所述第一目标节点。
2.根据权利要求1所述的方法,其特征在于,在对区块链中的节点进行数据存储配置时,所述方法包括:
获取区块链中节点存储数据的可存储范围,根据所述可存储范围确定所述节点的存储阈值;
基于密钥生成算法生成所述节点的节点密钥对,采用所述节点密钥对的字节数组表示形式表示所述节点的节点ID。
3.根据权利要求1所述的方法,其特征在于,在获取待存储数据的数据标识,根据所述数据标识和所述存储阈值确定存储所述待存储数据的第一目标节点时,所述方法包括:
基于哈希值获取算法获取所述待存储数据的数据哈希值,将所述数据哈希值确定为所述待存储数据的数据标识;
计算所述数据标识和所述节点ID的异或距离,根据所述异或距离与所述存储阈值之间的关系确定存储所述待存储数据的第一目标节点。
4.根据权利要求3所述的方法,其特征在于,在根据所述异或距离与所述存储阈值之间的关系确定存储所述待存储数据的第一目标节点时,所述方法包括:
当所述异或距离小于或等于所述存储阈值时,确定所述存储阈值对应的节点为第一目标节点;
当所述异或距离大于所述存储阈值时,确定所述区块链中不存在能存储所述待存储数据的节点,存储失败。
5.一种分布式数据查找方法,其特征在于,包括:
基于客户端节点发送的数据获取请求,从节点信息存储桶中提取目标节点;
当检测到所述目标节点中存在所述数据获取请求对应的目标数据时,将所述目标数据中的部分数据发送至所述客户端节点,以使所述客户端节点获取到所述部分数据后对所述部分数据进行校验,并在校验无误后返回存储费用至所述目标节点;
获取所述客户端节点发送的存储费用,并将所述目标数据中的剩余数据发送至所述客户端节点,所述剩余数据为所述目标数据中除所述部分数据意外的所有数据。
6.根据权利要求5所述的方法,其特征在于,在基于客户端节点发送的数据获取请求,从节点信息存储桶中提取目标节点之前,所述方法还包括:
获取客户端节点发送的数据获取请求;
若在本地节点中未检测到所述数据获取请求对应的目标数据,转入执行基于客户端节点发送的数据获取请求,从节点信息存储桶中提取目标节点的步骤;
若在本地节点中检测到所述数据获取请求对应的目标数据,转入执行将所述目标数据中的部分数据发送至所述客户端节点的步骤。
7.根据权利要求6所述的方法,其特征在于,所述节点信息存储桶中存储了区块链中与所述本地节点异或距离有小到大的节点的节点信息,在从节点信息存储桶中提取目标节点时,所述方法包括:
按照异或距离从小到大的顺序从各节点信息存储桶中获取存储阈值最大的若干节点,所述若干节点包括1、2、3……n个节点,其中n为正整数;
将所述若干节点确定为目标节点。
8.根据权利要求5-7任一项所述的方法,其特征在于,在将所述目标数据中的部分数据发送至所述客户端节点时,所述方法包括:
获取所述客户端节点的节点IP和所述目标节点存储所述目标数据的存储时间;
计算所述节点IP和所述存储时间进行异或运算,根据所述异或运算结果从所述目标数据中选择部分数据。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
所述客户端节点获取所述部分数据后,获取所述部分数据对应的存储数据标识;
所述客户端节点基于标识获取算法计算所述部分数据的当前数据标识;
当所述当前数据标识和所述存储数据标识相匹配时,确定对所述部分数据的校验无误。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述客户端节点返回所述存储费用至所述目标节点的预设时间段内未接收到所述目标节点发送的剩余数据时,确认所述目标节点为恶意存储节点;
对所述恶意存储节点设置恶意节点标签,所述恶意节点标签用于阻止新的数据存储至所述恶意存储节点。
在将所述目标数据中的部分数据发送至所述客户端节点的预设时间段内未接收到所述客户端节点返回的所述存储费用时,确认所述客户端节点为恶意访问节点;
屏蔽所述恶意访问节点继续发送的数据获取请求。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州茂财网络技术有限公司,未经杭州茂财网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811549410.6/1.html,转载请声明来源钻瓜专利网。