[发明专利]基于分布式存储的数据处理方法、装置、设备以及介质

说明书

本申请提供了一种基于分布式存储的数据处理方法、装置、设备以及介质，该方法包括：在将第一块数据写入本地缓存和本地存储时，对存储缓冲池的第一区块处理空间进行空间检测，得到第一空间检测结果；若第一空间检测结果指示待存区块数量未达到缓冲区块处理阈值，则基于N个待存块数据将第一块数据写入存储缓冲池；对存储处理池的第二区块处理空间进行空间检测，得到第二空间检测结果；若第二空间检测结果指示待反馈区块数量未达到反馈区块处理阈值，则基于待反馈区块数量和反馈区块处理阈值，从存储缓冲池中确定出用于与M个待反馈块数据进行重叠检测与待合并块数据，将重叠检测后的数据写入分布式数据库。采用本申请，可以提升数据的存储效率。

本申请为在2021年02月19日提交中国专利局、申请号为202110188344.X、申请名称为“基于分布式存储的数据处理方法、装置、设备以及介质”的中国专利申请的分案申请，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及区块链技术领域，尤其涉及一种基于分布式存储的数据处理方法、装置、设备以及介质。

背景技术

目前，在区块链系统中，参与进行共识的某些共识节点(例如，共识节点A)在进行数据存储时，往往会使用本地存储作为数据存储介质，比如，当该共识节点A通过共识层对某个区块(例如，区块N)进行区块共识的过程中，可以进一步调用执行层执行该区块N中的各个交易，进而可以在达成区块共识时将各个交易的交易执行结果发送给存储层，以使得存储层可以将该区块N的区块信息(例如，区块头、交易列表、交易执行结果等)写入本地存储。需要注意的是，该共识节点A中的本地存储和存储层均为两个彼此相互独立的硬盘空间，以至于使用该共识节点A中的本地存储进行数据存储时，会受限于整个硬盘空间的大小，从而导致本地存储的存储量受到限制。

此外，在其他区块链系统中，还可以允许某些共识节点使用独立的数据库进行数据存储，然而，对于这些区块链系统而言，在采用独立的数据库进行数据存储时，往往也会受限于这些区块链系统所维护的区块链的块链结构，比如，当存储层将某个区块成功存储至相应的数据库时，方可以继续通知共识层执行下一区块，这意味着在进行数据存储的整个过程中，往往需要按照每个区块的区块生成时间戳来串行地进行数据存储，这势必会降低这些区块链系统中的数据的存储效率。

发明内容

本申请实施例提供一种基于分布式存储的数据处理方法、装置、设备以及介质，可以在提升数据存储量的同时，提升数据的存储效率。

本申请实施例一方面提供了一种基于分布式存储的数据处理方法，包括：

在将第一区块的第一块数据写入本地缓存和本地存储时，对与本地缓存相关联的存储缓冲池的第一区块处理空间进行空间检测，得到第一空间检测结果；存储缓冲池中包括N个待存块数据；N为非负整数，且N用于表征第一区块处理空间的待存区块数量；

若第一空间检测结果指示待存区块数量未达到第一区块处理空间的缓冲区块处理阈值，则基于N个待存块数据将第一块数据写入存储缓冲池；

对与存储缓冲池相关联的存储处理池的第二区块处理空间进行空间检测，得到第二空间检测结果；存储处理池用于存储与分布式数据库相关联的M个待反馈块数据；M为非负整数，且M用于表征第二区块处理空间的待反馈区块数量；

若第二空间检测结果指示待反馈区块数量未达到第二区块处理空间的反馈区块处理阈值，则基于待反馈区块数量和反馈区块处理阈值，从存储缓冲池中确定待合并块数据，对待合并块数据和M个待反馈块数据进行重叠检测，将重叠检测后的数据写入分布式数据库。

本申请实施例一方面提供了一种基于分布式存储的数据处理装置，包括：

第一检测模块，用于在将第一区块的第一块数据写入本地缓存和本地存储时，对与本地缓存相关联的存储缓冲池的第一区块处理空间进行空间检测，得到第一空间检测结果；存储缓冲池中包括N个待存块数据；N为非负整数，且N用于表征第一区块处理空间的待存区块数量；