[发明专利]一种基于区块链的数据湖系统架构

说明书

本发明提出一种基于区块链的数据湖BDL（Blockchain Data Lake）系统架构，使区块链可以应用于更多复杂的业务场景，尤其适用于大数据分析。系统架构包括：（1）可实现的抽象区块链节点，包含数据采集、发送模块；（2）区块链数据管道，提供区块链数据发送与接收、区块链数据转化与处理等功能；（3）区块链的数据湖BDL，包含区块链数据库、数据分析组件、数据安全与接入组件、BDL链。

技术领域

本发明属于区块链技术及数据处理技术领域，特别涉及多条异构或同构区块链之间数据协同的数据湖系统的设计技术。

背景技术

区块链的数据采用增量存储的模式，以区块数据和交易数据为主。目前的区块链块数据或交易数据的查询，主要使用遍历查询、基于哈希的查询和基于块高度的查询等方式。这种设计方式下，应用程序会存储上链数据对应的链上哈希，基于应用数据提供的哈希值进行查询。区块链的数据查询方式较为单一，尤其对大数据分析不友好，无法将区块链应用于更多复杂业务场景，尤其是跨链数据融合的业务场景，比如区块链监管等。随着区块链技术的发展，区块链的应用场景不断丰富，对区块链数据融合、数据协同的要求越来越高。例如：某个用户在银行A有大量资金，与此用户有关联的其他多个用户在银行B、银行C、银行D……等其他银行有大量非正常资金流动，判断此用户是否涉嫌洗钱等非法活动，就需要通过跨行监管将多个银行之间的数据融合和协同，从而解决资金监管难题。

因此本发明提出一种基于区块链的数据湖架构，使原本互相隔离的区块链实现了区块链数据互联互通，并可支持复杂查询、数据挖掘、数据分析功能，大大提升了数据利用效率。

发明内容

本发明提出一种基于区块链的数据湖系统架构，可以打通各种同构或异构区块链，实现区块链数据相互融合和协同，以支持复杂查询、数据挖掘、数据分析功能，大大提升数据利用效率。本发明提出的架构包含以下部分：

（1）可实现的抽象区块链节点：各种区块链系统通过实现此抽象节点采集并与区块链数据湖BDL（Blockchain Data Lake）交换数据，节点包含以下模块：

（1a）区块链新增数据采集模块：定时获取新增块的数据；

（1b）区块链新增数据发送模块：定时将数据发送到区块链数据管道；

（2）区块链数据管道：区块链与BDL之间的连接，包括区块链数据发送与接收、区块链数据转化与处理，数据管道包含以下模块：

（2a）区块链节点与BDL链路连接模块：建立区块链与BDL通信通道；

（2b）区块链数据接收模块：接收抽象区块链节点发来的数据；

（2c）区块链数据转化处理模块：对抽象区块链节点发来的数据进行格式化处理和加密处理；

（2d）区块链数据安全传输模块：将格式化和加密后的数据传输到BDL；

（3）区块链数据湖BDL，包含以下模块或组件：

（3a）区块链数据库：支持海量区块链数据的存储与快速检索；

（3b）数据分析组件：支持多种数据分析工具，包括但不限于SQL，hive，impala，spark等；

（3c）数据安全与接入组件：负责区块链接入授权以及数据湖访问控制；

（3d）BDL链：用于将BDL关键数据上链并提供BDL自身数据校验功能。

进一步地，所述（1）中区块链系统可包含同构区块链，也可包含异构区块链。