[发明专利]数据处理方法、装置、电子设备及计算机存储介质

说明书

本发明公开了一种数据处理方法、装置、电子设备及计算机存储介质。其中，数据存储结构之间用哈希指针连接，每一次的存储数据都会递归反映到前缀树结构的根节点，利用该方法存储数据，为后续的数据读取与数据校验提供的方便，能够快速查找到存储数据的数据值，还能够避免数据变动后，数据校验过程必须重新计算整个数据库数据的梅克尔树而带来的巨大计算量，在校验时只需要比较最终的前缀树结构中根节点的哈希值即可。

技术领域

本发明涉及互联网技术领域，具体涉及一种数据处理方法、装置、电子设备及计算机存储介质。

背景技术

在过去的十年中，计算世界已经改变。各种规模的组织开始有了处理大数据的需求，而目前关系型数据库在可缩放方面几乎已经达到极限。一个解决方案是使用键值(Key-Value)存储，它是NoSQL存储的一种形式，其数据按照数据键值对的形式进行组织、索引和存储。Key-Value存储系统具有良好的拓展性、可靠性及高效性。KV存储支持读操作和写操作，还可以通过更新数据和历史数据的合并定期处理过期数据。

数据库是信息系统中最重要的资源，数据库的安全将直接影响信息系统的安全，一旦数据库中的数据被非法篡改，将会对整个系统构成不可弥补的破坏。数据校验可以防止非法数据进入程序、过滤误操作，从而保证程序的有效运行和数据完整。无论是单机存储还是分布式系统存储数据都需要进行数据一致性校验。单机情况如数据迁移、数据库升级等，而分布式存储则需要校验多个子系统和主系统中数据是否一致。目前为了校验KV数据库的完整性，一般要将数据生成梅克尔树，再保存梅克尔根来作为校验的凭证。但是当数据有变动的时候，重新构建梅克尔树的代价非常大，往往会消耗大量运算资源。

现有技术中，主要采用以下两种KV存储系统：

基于哈希表结构的KV存储系统：哈希表可以高效的访问关联数据。每个条目都有一对对应的数据键和数据值，并且能仅通过数据键来快速的取回和赋值。使用哈希存储引擎的数据库一般只支持追加操作，即所有的写操作只追加而不修改老的数据。内存中存储了主键和Value的索引信息，磁盘文件中存储了主键和Value的实际内容，采用基于哈希表的索引数据结构，通过主键快速地定位到Value的位置。由于只能追加，系统中的记录删除或者更新后，原来的记录成为垃圾数据。如果这些数据一直保存下去，文件会无限膨胀下去，因此需要定期执行合并(Compaction)操作以实现垃圾回收。所谓合并操作，即将所有老数据文件中的数据扫描一遍并生成新的数据文件，这里的合并其实就是对同一个Key的多个操作以只保留最新一个的原则进行删除，每次合并后，新生成的数据文件就不再有冗余数据了。但其不能利用部分索引键查询；以及不支持数据一致性校验。

基于LSM结构的KV存储系统：在LSM Tree中，写入操作是相当快速的，通过将大量的随机写转换为顺序写，从而极大地提升了数据写入的性能，虽然与此同时牺牲了部分读的性能。系统同样会周期的执行合并操作(Compaction)。合并操作选择一些文件，并把他们合并到一起，移除重复的更新或者删除纪录，同时也会删除冗余。更重要的是，通过减少文件个数的增长，保证读操作的性能。基于LSM结构的KV存储系统只适合存储Key值有序且写入大于读取的数据，或者读取操作通常是Key值连续的数据。但由于大量的文件被创建，在最坏的情况下，执行读操作时，所有的文件都要搜索；以及不支持数据一致性校验。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法、数据处理装置、电子设备和计算机存储介质。

根据本发明的一个方面，提供了一种数据处理方法，数据以数据键值对方式进行存储，方法包括：

根据待存储数据的数据键得到该数据键对应的节点列表坐标，其中，节点列表坐标的长度为n；

根据节点列表坐标的长度构建前缀树结构，其中，前缀树结构的深度为n+1，前缀树结构中的节点是长度为预设位数的列表，列表中的最后一位为数据值位，列表中的其他位为数据键的坐标位；