[发明专利]一种数据的处理方法、装置、计算机设备和存储介质

说明书

本发明实施例提供了一种数据的处理方法、装置、计算机设备和存储介质，一文件划分至少两个逻辑分区，所述至少两个逻辑分区独立映射至内存，所述至少两个逻辑分区具有索引文件，所述方法包括：接收待存储的数据；遍历所述至少两个逻辑分区，以查找可存储所述数据的空闲块，所述空闲块为所述逻辑分区中未存储记录、且偏移量范围连续的区域；将所述数据存储至所述空闲块中，以生成新的记录；在所述索引文件中记录所述记录与所述记录在所述空闲块中所占用的偏移量范围之间的索引信息；将所述空闲块映射的偏移量范围更新为未被所述记录占用的偏移量范围。逻辑分区之间的操作互不影响，可灵活处理大文件的局部记录。

本发明专利申请是申请日为2019年3月26日、申请号为201910230878.7，名称为“一种数据的处理方法、装置、计算机设备和存储介质”的中国发明专利申请的分案申请。

技术领域

本发明涉及数据库技术领域，尤其涉及一种数据的处理方法、装置、计算机设备和存储介质。

背景技术

在当今互联网行业中，各种各样的数据越来越多，无论是使用MySQL(一个关系型数据库管理系统)、Oracle(一款关系数据库管理系统)等数据库存储数据，还是使用HDFS(Hadoop分布式文件系统)、Elasticsearch(一个基于Lucene的搜索服务器)等大数据产品存储数据，随着时间推移，某一类数据的存储量会越来越大，往往会出现单个文件体积非常大，达到几十GB(Gigabyte，吉咖字节)、上百GB甚至几TB(Terabyte，太字节)的情况。

对于文件的读写，目前通常是把整份文件加载到内存中再操作，但是对于几十GB、上百GB甚至TB级的超大文件，受限于内存大小的限制，不仅难以将整份文件加载到内存，即便将整份文件加载到内存中，占用资源过多，造成操作效率低。

发明内容

本发明实施例公开了一种数据的处理方法、装置、计算机设备和存储介质，以解决文件的体积大导致操作效率低的问题。

第一方面，本发明实施例提供了一种数据的处理方法，一文件划分至少两个逻辑分区，所述至少两个逻辑分区独立映射至内存，所述至少两个逻辑分区具有索引文件，所述方法包括：

接收待存储的数据；

遍历所述至少两个逻辑分区，以查找可存储所述数据的空闲块，所述空闲块为所述逻辑分区中未存储记录、且偏移量范围连续的区域；

将所述数据存储至所述空闲块中，以生成新的记录；

在所述索引文件中记录所述记录与所述记录在所述空闲块中所占用的偏移量范围之间的索引信息；

将所述空闲块映射的偏移量范围更新为未被所述记录占用的偏移量范围。

可选地，所述遍历所述至少两个逻辑分区，以查找可存储所述数据的空闲块，包括：

确定所述逻辑分区中最大的空闲块，作为基准块；

若所述数据的长度小于或等于所述基准块的大小，则确定所述逻辑分区中具有可存储所述数据的空闲块；

在所述逻辑分区中确定符合预设的存储条件的空闲块，其中，所述存储条件为所述空闲块的大小大于所述数据的长度，并且，所述空闲块的大小与所述数据的长度之间的差值最小；

若所述数据的长度大于所述基准块的大小，则确定所述逻辑分区中不具有可存储所述数据的空闲块。

可选地，所述索引文件为B+树数据结构，所述B+树数据结构包括叶子节点与非叶子节点，所述非叶子节点用于存储叶子节点的引用信息，所述叶子节点用于存储所述记录的索引信息。

可选地，还包括：

接收作用于一记录的更新操作；