[发明专利]一种基于智能合约的数据湖融合数据安全分析方法有效
申请号: | 201910379090.2 | 申请日: | 2019-05-08 |
公开(公告)号: | CN110069932B | 公开(公告)日: | 2023-02-21 |
发明(设计)人: | 孙善宝;张桂红;于治楼;姜凯 | 申请(专利权)人: | 山东浪潮科学研究院有限公司 |
主分类号: | G06F21/57 | 分类号: | G06F21/57;G06F21/62;G06F16/215;G06F16/25;G06F16/28 |
代理公司: | 济南信达专利事务所有限公司 37100 | 代理人: | 阚恭勇 |
地址: | 250100 山东省济*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 智能 合约 数据 融合 安全 分析 方法 | ||
1.一种基于智能合约的数据湖融合数据安全分析方法,其特征在于,
利用数据湖提供的服务,形成数据自动清洗、数据脱敏、隐私评估的模型,用于原始数据的二次加工;
数据湖支持多租户,设置专门的安全区域,用于融合数据处理;
随机抽取数据样本用于数据使用者训练算法,对算法评估后,在数据湖中安全区域中运行,并将输出的中间结果及最终结果进行评估,判断数据隐私泄露可能性;
数据湖基础设施之上提供区块链服务,在一个P2P共识网络中建立区块链基础设施,P2P共识网络存在管理节点、背书节点和记账节点,共同合作实现智能合约的执行以及区块链新区块的生成;
参与数据标注任务的各个参与节点共同维护一份账本,账本中记录数据融合分析任务智能合约的执行结果;
另外,通过第三方数字证书认证中心为参与方和租户提供身份证书及通信安全认证服务;
具体步骤包括:
步骤101、利用数据湖平台区块链基础设施资源,形成P2P共识网络;
步骤102、在区块链共识网络中选出管理节点、背书节点和记账节点,并由第三方数字证书认证中心发放数字证书,实现节点间的互信;
步骤103、数据湖平台审核租户,并通过第三方数字证书认证中心颁发数字证书,作为其在数据湖平台的身份;
步骤106、通过数据资产编目服务将数据进行建模,设定元数据描述,形成各种数据模型,并将数据结构标准化;
步骤107、数据拥有者将原始数据汇集到数据湖平台,放入为租户分配的区域,并进行多副本存储;
步骤108、数据拥有者使用数据治理服务,实现多源异构数据清洗、数据抽取、数据转换和整合,并对数据进行结构化及标准化处理,将数据进行关联,将图像、声音、视频转换成带语义的结构化数据,并与原始文件关联;
步骤109、数据拥有者将步骤108处理的结果放入为其分配的数据存储区;
步骤110、数据拥有者选择可以开放的数据,利用数据脱敏服务,结合数据资产的编目形成数据脱敏模型,实现数据标识匿名化、敏感数据模糊化处理,将数据进行脱敏;
步骤111、通过隐私评估服务对脱敏后数据进行评估,如果不满足隐私保护要求,则不开放数据;如果满足隐私保护要求,则将脱敏后数据放入到数据开放区,并提供数据使用规则,用于智能合约的执行规则的制定;
步骤112、数据使用者请求样本数据,进行数据分析算法的开发,通过数据抽样服务,将开放区中的脱敏数据按照数据分布随机抽取部分内容形成样本,提供给开发者进行数据分析,用于原型验证;
步骤113、数据使用者提交其数据分析算法,由算法评估服务将对于数据分析算法进行分析,判断评估其算法执行效率及涉及的隐私泄漏问题;如果评估不通过,则不允许算法在数据湖平台中运行;
步骤114、数据使用者提出数据融合分析请求,并将其算法上传,根据数据开放区中使用数据的规则,生成数据分析智能合约,在区块链基础设施P2P网络中广播;
步骤115、数据湖平台将数据融合分析算法加载到安全区域,在其上的数据分析运行时环境执行算法;
步骤116、数据湖平台根据执行结果,触发智能合约;
步骤117、背书节点执行数据分析智能合约,将数据分析结果使用数据使用者的公钥进行加密,并将原文地址及结果的Hash值写入到区块链中;
步骤118、如果智能合约中要求数据使用者和数据拥有者共享数据分析结果,则将执行结果的数据拥有者的公钥进行加密,存储到数据拥有者指定的存储位置;
步骤119、将执行结果发给记账节点,并由记账节点达成共识,生成新的区块,按照预先设定的规则完成相关操作,完成合约执行;
步骤120、区块链参与节点通过P2P共识网络获取最新区块链数据,更新各自本地账本记录;
步骤121、数据使用者使用其私钥解密,获得数据分析结果,形成知识,存储到知识库中,用于未来的知识推理分析;
步骤122、数据湖平台中的数据脱敏服务、隐私评估服务、数据抽样服务、算法评估服务,持续获取反馈,不断优化其模型。
2.根据权利要求1所述的方法,其特征在于,
所述的数据湖平台聚集海量的多源异构数据,保存未经改变的全量数据,并提供数据处理相关的基础设施和服务。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东浪潮科学研究院有限公司,未经山东浪潮科学研究院有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910379090.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置