[发明专利]一种数据读写方法、装置及电子设备和存储介质

说明书

本申请公开了一种数据读写方法、装置及一种电子设备和计算机可读存储介质，该方法包括：获取数据写入请求，得到所述数据写入请求对应的待写入数据；对所述待写入数据进行压缩，生成压缩后数据；将所述压缩后数据写入硬盘的数据块中，并确定表征所述压缩后数据写入位置的元数据信息；将所述元数据信息写入存储级内存中，所述元数据信息采用覆盖写的方式进行更新。由上可知，本申请将元数据和用户数据分离存储，将待写入的用户数据压缩后写入硬盘，将元数据信息写入存储级内存，且不再对元数据进行压缩，在对元数据更新时将采用覆盖写的方式，提高了元数据的访问性能，同时缓解了高频率垃圾回收导致的性能下降，有效提高了实时压缩存储系统的性能。

技术领域

本申请涉及计算机技术领域，更具体地说，涉及一种数据读写方法、装置及一种电子设备和一种计算机可读存储介质。

背景技术

当前，大数据的出现和广泛应用对存储容量的增长带来了很大的挑战。应对存储容量的增长有两个途径，一种是扩展存储容量，但会带来成本的增加；另一种是对数据进行压缩，减少存储容量的消耗，节省成本。实时压缩存储系统在数据写入存储设备之前对数据进行压缩，不仅减少了存储空间的占用，更能进一步减少对存储设备(磁盘或固态盘)的访问，从而提高存储系统的性能。

传统的实时压缩存储系统，将数据压缩后以顺序写的方式写入存储设备，当数据更新时，更新数据经压缩后仍旧顺序写入存储设备，这样存储设备中的原数据就被标记为无效数据，需要在存储空间不足时执行对无效数据的垃圾回收以重新利用存储空间。存储设备中的压缩数据分为元数据和用户数据两种，两者在分别进行压缩后混合存放在存储设备中。由于元数据的访问频度远高于用户数据的访问频度，其频繁更新将产生大量的无效数据，增加了垃圾回收的频率，往往成为存储系统的性能瓶颈。

因此，如何解决上述问题是本领域技术人员需要重点关注的。

发明内容

本申请的目的在于提供一种数据读写方法、装置及一种电子设备和一种计算机可读存储介质，提高了实时压缩存储系统的性能。

为实现上述目的，本申请提供了一种数据读写方法，包括：

获取数据写入请求，得到所述数据写入请求对应的待写入数据；

对所述待写入数据进行压缩，生成压缩后数据；

将所述压缩后数据写入硬盘的数据块中，并确定表征所述压缩后数据写入位置的元数据信息；

将所述元数据信息写入存储级内存中，所述元数据信息采用覆盖写的方式进行更新。

可选的，所述将所述压缩后数据写入硬盘的数据块中，包括：

判断当前硬盘是否存在为所述压缩后数据分配的数据块；

若存在为所述压缩后数据分配的数据块，则判断当前数据块的剩余空间是否满足所述压缩后数据的长度；

若当前数据块的剩余空间满足所述压缩后数据的长度，则直接将所述压缩后数据写入已分配的数据块中；

若不存在为所述压缩后数据分配的数据块，或当前数据块的剩余空间不满足所述压缩后数据的长度，则在当前硬盘中为所述压缩后数据分配新的数据块，并在分配后执行数据写入操作。

可选的，还包括：

接收数据更新请求，对所述数据更新请求对应的目标数据进行压缩，得到目标数据；

将所述目标数据写入对应的数据块中，并将所述目标数据对应的原始数据标记为无效数据。

可选的，在所述将所述压缩后数据写入硬盘的数据块中之后，还包括：

记录所述数据块的状态信息，所述状态信息包括垃圾数据数量和/或剩余空间大小；