[发明专利]一种面向区块链日志存储的高可靠低开销数据存储方法

说明书

本发明公开了一种面向区块链日志存储的高可靠低开销数据存储系统及方法，方法包括以下步骤：将待存储的日志文件分为两个存储阶段，所述两个存储阶段包括：准备阶段和提交阶段；将日志文件分阶段存入区块链日志存储系统。本发明通过日志文件的提交分为准备阶段和提交阶段完成日志文件的存储，在不增加额外机器的条件下，通过复用区块链系统所在的物理节点作为链下存储节点，可以有效地降低存储开销、扩展系统的存储容量，同时结合纠删编码提供的冗余能力避免数据被拜占庭节点删除或篡改。

技术领域

本发明涉及分布式存储技术领域，更具体地，涉及一种面向区块链日志存储的高可靠低开销数据存储系统及方法。

背景技术

区块链是一种结合分布式共识、加密、时间戳等方法,在不依赖任何第三方中心化机构的情况下,实现点对点交易、协调以及协作的技术。但是区块链存在存储开销过大的问题，成为了区块链应用落地的瓶颈。针对区块链中存储开销过大的问题，存在的解决方案可分为链上存储和链下存储。链上存储将数据存储在区块链上，并不需要额外的链下存储系统，每个节点上只需要按照预先的规则存储对应的数据即可，从而降低了存储开销，链上存储可以分为协作式存储模式和轻节点模式。链下存储将区块体中的数据转移到区块链之外的存储系统中，此时区块链仅存储了指向这些数据的指针等非数据信息，非数据信息所占的存储空间小，因此可以解决区块链存储的可扩展性问题。原始的数据保存在非区块链系统中，同时按照一定的规则生成该数据的唯一标识，并返回给区块链系统；当访问完整的数据时，通过数据的唯一标识在非区块链系统中寻找原始数据。

现有技术公开了一种数据存取的方法、系统及装置，在数据存储时，先确定数据存储指令，之后根据该数据存储指令中携带的身份标识，确定与该身份标识对应的区块链以及密钥对，最后根据该密钥对，将待存储数据存储在该区块链中，在数据查询时，先确定数据查询指令，之后根据该数据查询指令对应的身份标识，确定与该身份标识对应的区块链以及私钥，最后根据该私钥，将该区块链中的数据解密后查询。可见，通过本申请实施例提供的方法，使得存取对应该身份标识的数据时，无需访问多个数据库，仅需通过访问该身份标识对应的该区块链，以及通过密钥对进行数据存储，使得保证数据安全的同时，可以简化操作的复杂性，提高数据存取的效率。该方案将数据以全副本的形式保存在区块链中，当有区块链节点出现故障时可有没有出现故障的任意节点继续工作，并可以通过正常节点来修复出现故障的区块链节点。然而全副本形式的链上存储存在存储开销过大的问题，在一个具有n个节点的系统中，每一份数据将被保存n份，以这种方式保存很少被访问的冷数据(如日志记录等)会造成过多的存储空降浪费。

发明内容

本发明为克服上述现有日志存储方案开销大，容易产生对存储资源浪费的缺陷，提供一种面向区块链日志存储的高可靠低开销数据存储系统及方法。

本发明的首要目的是为解决上述技术问题，本发明的技术方案如下：

本发明第一方面提供了一种面向区块链日志存储的高可靠低开销数据存储系统，包括：日志客户端、日志联盟链节点，所述日志客户端与所述日志联盟链节点通过RPC接口通信连接，其中，日志客户端用于对日志文件进行编码得到编码块，所述日志联盟链节点用于存储编码块和日志文件的元数据。

进一步的，所述日志客户端包括有：纠删码引擎、区块链轻客户端，第一RPC接口，其中所述纠删码引擎用于对日志文件进行纠删码编码，所述区块链轻客户端用于验证交易的存在，所述第一RPC接口用于与日志联盟链节点数据交互。

进一步的，所述纠删码引擎对日志文件进行编码的过程为：

将每一份日志文件切分成n-2f个数据块，通过(n-2f,2f)-RS编码后生成2f个校验块；n-2f个数据块和2f个校验块统称为编码块，随后将n-2f个编码块上传到联盟链节点上，n表示总的节点个数，f表示能容忍的恶意节点个数。