[发明专利]大数据分散上链方法及系统

说明书

本发明提供了一种大数据分散上链方法及系统，所述方法涉及大数据领域，可应用于区块链技术领域和金融领域，具体包含：获取用户的上链请求和待上传的数据文件，根据所述上链请求通过哈希算法计算所述数据文件获得第一哈希值；将所述第一哈希值与所述上链请求中携带的哈希值比较，当比较一致时，按预设规则将所述数据文件分割为多个连续的数据块，并通过散列算法计算各数据块的第二哈希值；通过各数据块的第二哈希值将所述数据块组成链式结构，将所述链式结构中各数据块上传至区块链网络中不同节点进行共识存储。

技术领域

本发明涉及大数据领域，可应用于区块链技术领域和金融领域，尤指一种大数据分散上链方法和系统。

背景技术

在区块链的处理系统上，数据上链通常是把数据都保存到所有的区块链节点上，所有的区块链节点都拥有相同的数据。这种状况会带来的冗余存储问题，造成了存储空间不必要的浪费，特别是对于大数据上链，存储空间的浪费更为严重，且带来上链的效率问题，急需一种新型的数据上链方法解决这个问题。

发明内容

本发明目的在于提供一种大数据分散上链方法和系统，把大数据切割为小块数据，把小块数据逐个上链，每个小块只存储在区块链网络某个节点上，不同节点存储的数据不一样不重复，予以解决区块链数据冗余存储问题，同时提高了数据上链的效率。

为达上述目的，本发明所提供的大数据分散上链方法，具体包含：获取用户的上链请求和待上传的数据文件，根据所述上链请求通过哈希算法计算所述数据文件获得第一哈希值；将所述第一哈希值与所述上链请求中携带的哈希值比较，当比较一致时，按预设规则将所述数据文件分割为多个连续的数据块，并通过散列算法计算各数据块的第二哈希值；通过各数据块的第二哈希值将所述数据块组成链式结构，将所述链式结构中各数据块上传至区块链网络中不同节点进行共识存储。

在上述大数据分散上链方法中，优选的，通过各数据块的第二哈希值将所述数据块组成链式结构包含：将数据块的第二哈希值存放于相邻的后续数据块的块头，将所述数据块组成连续的链式结构。

在上述大数据分散上链方法中，优选的，将所述链式结构中各数据块上传至区块链网络中不同节点进行共识存储还包含：将待上传的数据文件的文件名和所有数据块的哈希清单上链至区块链网络；将待上传的数据文件的文件名、第一哈希值、各数据块的第二哈希值、块号、各数据块在数据文件中的偏移位置、数据块总数打包为交易数据；将所述交易数据上传至区块链网络中不同节点进行共识存储。

在上述大数据分散上链方法中，优选的，将所述链式结构中各数据块上传至区块链网络中不同节点进行共识存储还包含：获取区块链网络中各节点的负载情况，根据所述负载情况将所述链式结构中各数据块上传至区块链网络中不同节点进行共识存储。

在上述大数据分散上链方法中，优选的，所述方法还包含：接收数据查询请求，根据所述数据查询请求于所述区块链网络中获得所述查询请求对应的数据文件的哈希信息、查据文件拆分后的数据块的哈希信息和数据块信息；根据所述数据块信息于所述区块链网络中对应节点获得对应的数据块；根据获取的数据块拼接成查询数据文件，并通过散列算法计算拼接的数据文件的第三哈希值；将第一哈希值和第三哈希值比较，根据比较结果获得数据查询请求对应的数据文件。

在上述大数据分散上链方法中，优选的，根据获取的数据块拼接成查询数据文件还包含：获取所述数据块在数据文件中的偏移位置和对应的第二哈希值，根据所述第二哈希值验证所述数据块；当验证通过后，根据所述偏移位置将所述数据块写入文件中对应位置，生成查询数据文件。