[发明专利]一种基于链数立方体的大数据管理应用系统

说明书

本发明涉及区块链信息共享技术领域，具体公开了一种基于链数立方体的大数据管理应用系统。系统包括：多个链数立方体，用户通过链数立方体实现数据加密、数据存储、数据上链和数据访问，所述链数立方体之间通过数据报文进行数据的交互；每一个链数立方体包括数据目录、搜索模块、数据密盒、智能合约、ETL执行引擎、数据透镜、上链引擎和区块链边缘云节点。本发明的技术方案将数据整合ETL过程与区块链相结合，形成链式数据互联网，解决了数据不可知、不可控等问题，让数据的整合、流通等可信可控。

技术领域

本发明涉及区块链信息共享技术领域，具体公开了一种基于链数立方体的大数据管理应用系统。

背景技术

目前，在各领域和各个层面都广泛建立起了数据交换系统，实现数据的互联互通，广泛共享，通常构建一个具有管理节点、核心交换节点、虚拟前置节点、数据库节点的多层级数据交换系统，为异构、同构系统提供接入规范和多种数据共享与交换模式，实现了跨部门、跨地域、跨业务、多层级、多业务应用域的数据交换，为各部门之间、各层级之间、各业务应用系统之间协同和互动提供支撑与服务。

但是现有的数据交换系统的管理仍然面临诸多挑战，例如：1、数据不可知。由于现有的数据交换系统作为子节点的用户，需要等到数据管理中心梳理出数据目录后，才能查看可以访问的数据，无法实时了解系统整体的数据情况。2、数据不可取。数据需求方申请一些数据，需要得到各级部门的审批，申请过程会消耗很长的时间；当审批通过后，由数据拥有方与需求方双方的工程师对接口进行开发联调，开发周期同样也是对时间的消耗，不能保证数据获取的及时性。3、数据不可联。各子节点之间通过数据管理中心进行数据的交互，将数据存储于各子节点的仓库中，因此，A子节点的仓库与B子节点的仓库之间不能建立点对点通信，则数据交互中，若A子节点的仓库与数据管理中心的网络连接断开，则其他节点无法获得A子节点仓库中的数据，数据交换系统的稳定性和访问速度受到影响。4、数据不可控。现有的方式不能防止数据库被篡改的风险，共享出去后的数据，原拥有者不能对调用者之后的行为进行有效的管控，可能出现数据的篡改和泄露。5、数据不可溯。当客户面对数据的时候，并不了解数据在网络中传输的过程和数据的源头，没有做到真正的数据溯源，无法对数据有客观全面的了解。

发明内容

本发明的目的在于，解决上述提出的5个问题，将数据整合ETL过程与区块链相结合，形成链式数据互联网，建立起各数据仓库之间的联系，建立起可共享数据的实时查询机制，并且一方面对原始数据进行加密存储，确保原始数据的安全性。另一方面将数据导入导出的ETL过程信息进行上链存储，使得数据在链式数据互联网中交互过程可追溯，不仅实现了原始数据的不可篡改，还实现了数据传输过程的不可篡改，解决了数据不可知、数据不可取、数据不可联、不可控、数据不可溯的问题，提出了一种基于链数立方体的大数据管理应用系统。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于链数立方体的大数据管理应用系统，包括多个链数立方体，用户通过所述链数立方体实现数据加密、数据存储、数据上链和数据访问，所述链数立方体之间通过数据报文进行数据的交互；

每一个所述链数立方体包括数据目录、搜索模块、数据密盒、智能合约、ETL执行引擎、数据透镜、上链引擎和区块链边缘云节点；

所述数据目录存储了所在链数立方体可以被访问数据的字段，用于提供给其他链数立方体访问；

所述搜索模块用于访问系统中其他链数立方体的数据目录；

所述数据密盒用于对导入链数立方体的数据进行加密，并且用于存储加密后的数据；

所述智能合约用于数据提供方和数据求购方达成协议，实现数据的交易；

所述ETL执行引擎用于通过抽取、转换、加载的方式将外部的数据同步到所述链数立方体中，和/或通过抽取、转换、加载的方式将所述链数立方体中的数据同步到其他链数立方体中；