[发明专利]基于可验证隐秘布隆过滤器的真实存储方法和系统

说明书

本申请提出一种基于可验证隐秘布隆过滤器的真实存储方法，包括：将原始数据记录到一个空的布隆过滤器；当原始数据达到预定容量后，构造相同规模的随机二进制矩阵并与其进行不进位相加，获得隐秘布隆过滤器；将隐秘布隆过滤器和随机二进制矩阵分别按行和按列构造默克尔树，并将两个树根和记录数据的哈希方式记录到区块链中存证；接收用户的验证请求，本地查询获取结果，从隐秘布隆过滤器和随机二进制矩阵中获取相应的行和列，并构造默克尔证明发送至用户端；在用户端验证隐藏布隆过滤器中行和随机二进制矩阵中列的完整性，恢复出布隆过滤器相应的位，判断数据是否记录在布隆过滤器中。本申请在增加少量存储开销的情况下显著降低泄露的隐私数据。

技术领域

本申请涉及可验证存储技术领域，尤其涉及一种基于可验证隐秘布隆过滤器的真实存储方法和系统。

背景技术

基于区块链的真实存储技术：

真实存储是将区块链作为一个真实存储平台，确保用户所存储的数据真实存在，不会被恶意篡改，并且面对用户的数据访问请求也能做出真实的回应。在基于区块链所构建的真实存储平台中，用户以交易的形式请求数据的增加、修改、撤销等操作，其它用户则可以按需对数据库的内容进行读取，并基于这些数据完成后续的计算工作。在对数据存取的整个流程中，区块链数据层提供的可审计性确保用户在访问数据时可以对其完整性进行验证；区块链网络层提供的去中心化特性则可以有效避免单点失效问题；区块链共识层提供的一致性和不可篡改性则确保用户访问所获取数据的真实性。因此相比于传统中心化的存储平台，基于区块链构建的分布式真实存储可以稳定运行，并且有效避免中心服务器宕机、恶意篡改、隐瞒数据，或者对不同用户提供不一致的访问结果等问题。

基于区块链的真实存储技术现阶段主要用于存证、协同数据库等领域，用于确保数据的完整性，当用户对数据的完整性提出质疑时，验证者可以在链下提供证明，用户可以结合链上所存储的证据进行完整性验证。实现真实存储的关键技术是构造针对所存储的数据设计可认证数据结构(Authenticated Data Structure,ADS)，例如区块链中比较常见的默克尔树，在该ADS结构下，默克尔根被存在区块链上确保完整性，在对叶子节点(即单一数据)进行验证时，证明着需要将相应的默克尔路径上的哈希值以及默克尔根发送给验证者，验证者先查询区块链确认默克尔根的完整性，然后结合默克尔路径验证叶子节点对应数据的完整性。近几年，随着区块链技术的广泛应用，部分研究已经开始探索用新的数据结构来提升区块链查询效率，或者丰富查询结构，为了确保数据的可验证性，针对这些新的数据结构需要针对化设计相应的ADS结构。

布隆过滤器：

布隆过滤器(Bloom Filter,BF)是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。

布隆过滤器是一个长度为m的位数组，用于记录数据并查询某数据是否存在。数据的插入和查询如图2所示，对于某数据，用k个哈希函数对其计算，得到k个字段，每个字段可以映射到BF(Bloom Filter，布隆过滤器)中的的某个位置(用字段模BF的长度取余)，当插入该数据时，只需将k个字段对应的BF位设置为1；当需要查询某数据是否存在时，用同样的方法哈希计算出其k个字段，并查询BF中对应的k个位置是否同时为1，若是则说明该数据极大概率存在；若存在任意一位为0，则该数据必然不存在。BF存在一定的错误率，但可以通过调节布隆过滤器长度和哈希字段个数将错误率降到极低。

当构造一个记录n条数据的BF时，其大小m和哈希函数个数k的最优选择可以通过下式获得：

k＝ln(2)×(n/m)

不同k和n/m的值对应的布隆过滤器错误率可以在图3中查询，其中，图3中第二列为k的最优设计值，由于在实际应用过程中，k必须为整数，所以k通常取比最优值小的最大整数值。