[发明专利]一种适用于区块链的海量数据摘要生成系统和方法在审
申请号: | 201810999707.6 | 申请日: | 2018-08-29 |
公开(公告)号: | CN109299038A | 公开(公告)日: | 2019-02-01 |
发明(设计)人: | 王任康;俞亚君;曹晓;彭林伟 | 申请(专利权)人: | 南京数睿数据科技有限公司 |
主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/182 |
代理公司: | 南京苏创专利代理事务所(普通合伙) 32273 | 代理人: | 杨勇 |
地址: | 210000 江苏省南京*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 摘要生成 篡改 单条 区块 存储 海量数据 摘要信息 数据存储系统 原始数据集 记录生成 快速定位 判断数据 全量数据 数据内容 系统执行 原始数据 防篡改 可信度 数据量 记录 合并 发现 | ||
1.一种适用于区块链的海量数据摘要生成系统,所述系统包括数据存储系统、全量数据摘要模块、单条记录摘要模块、摘要合并模块、摘要对比模块,数据存储系统用于存储原始数据集,全量数据摘要模块用于生成全量数据的整体摘要,单条记录摘要模块用于生成单条记录的摘要,摘要合并模块用于将所有单条记录的摘要进行合并,摘要对比模块用于发现数据是否被篡改,其特征在于,所述系统执行以下操作:步骤1)对原始数据集进行全量数据摘要生成,其中在全量数据摘要模块对原始数据集生成一个全量的数据摘要e作为全量数据的整体摘要并存储于数据存储系统;步骤2)对单条记录生成单条记录的摘要,其中在单条记录摘要模块针对每一条记录生成其数字摘要作为单条记录的数字摘要Fi并存储于数据存储系统,其中i为数据集中具体单条记录的编号;步骤3)对所有单条记录的摘要进行合并,其中将每一条记录的数字摘要传递给摘要合并模块,摘要合并模块将单条记录的数字摘要散列到一个或者多个布隆过滤器中,最终生成一个或多个布隆过滤器并存储于数据存储系统;步骤4)判断数据是否被篡改,其中在使用数据的过程中,首先使用全量数据摘要模块计算所使用全量数据的摘要信息获得相应的全量的数据摘要e’,取出前面所生成的全量数据摘要e,在摘要对比模块将计算结果e’与前面所生成的全量数据摘要e进行对比,如果一致则表明数据未经篡改,可以直接使用。
2.如权利要求1所述的适用于区块链的海量数据摘要生成系统,其特征在于,如果在全量数据摘要的对比中发现不一致则表明数据遭到了篡改,则进一步包含步骤5)定位篡改的数据,其中在单条记录摘要模块生成所使用数据对应的单条记录的数字摘要Fi’,从存储系统取出前面所生成的布隆过滤器,使用摘要对比模块将单条记录的数字摘要Fi’到布隆过滤器中进行查找匹配,直到发现不匹配的记录即为被篡改的记录。
3.如权利要求1或2所述的适用于区块链的海量数据摘要生成系统,其特征在于,所述数据存储系统为分布式系统。
4.如权利要求1或2所述的适用于区块链的海量数据摘要生成系统,其特征在于,全量数据摘要生成算法为SHA-256算法或者MD5算法。
5.如权利要求1或2所述的适用于区块链的海量数据摘要生成系统,其特征在于,单条记录摘要生成算法为简单的哈希算法或者与全量数据摘要模块相同的算法,其中每一条记录的数字摘要都传递给摘要合并模块进行摘要的合并。
6.一种适用于区块链的海量数据摘要生成方法,其特征在于,所述方法包括如下步骤:步骤1)对原始数据集进行全量数据摘要生成,其中使用数据摘要算法对原始数据集生成一个全量的数据摘要e作为全量数据的整体摘要并进行存储;步骤2)对单条记录生成单条记录的摘要,其中使用数据摘要算法针对每一条记录生成其数字摘要作为单条记录的数字摘要Fi并进行存储,其中i为数据集中具体单条记录的编号;步骤3)对所有单条记录的摘要进行合并,其中将针对每一条记录所生成的单条记录的数字摘要散列到一个或者多个布隆过滤器中,最终生成一个或多个布隆过滤器并进行存储;步骤4)判断数据是否被篡改,其中在使用数据的过程中,首先使用数据摘要算法计算所使用全量数据的摘要信息获得相应的全量的数据摘要e’,取出前面所生成的全量数据摘要e进行对比,如果一致则表明数据未经篡改,可以直接使用。
7.如权利要求6所述的适用于区块链的海量数据摘要生成方法,其特征在于,如果在全量数据摘要的对比中发现不一致则表明数据遭到了篡改,则进一步包含步骤5)定位篡改的数据,其中使用数据摘要算法生成所使用数据对应的单条记录的数字摘要Fi’,取出存储的前面所生成的布隆过滤器,将单条记录的数字摘要Fi’到布隆过滤器中进行查找匹配,直到发现不匹配的记录即为被篡改的记录。
8.如权利要求6或7所述的适用于区块链的海量数据摘要生成方法,其特征在于,所述存储过程使用分布式系统。
9.如权利要求6或7所述的适用于区块链的海量数据摘要生成方法,其特征在于,全量数据摘要生成所使用的算法为SHA-256算法或者MD5算法。
10.如权利要求6或7所述的适用于区块链的海量数据摘要生成方法,其特征在于,单条记录摘要生成所使用的算法为简单的哈希算法或者与全量数据摘要算法相同的算法,其中所生成的每一条记录的数字摘要都进行摘要的合并。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京数睿数据科技有限公司,未经南京数睿数据科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810999707.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:文件处理方法和装置
- 下一篇:一种文件管理方法、设备及计算机可读存储介质