[发明专利]处理脏数据的方法及装置

说明书

技术领域

本发明涉及存储技术领域，尤其涉及一种处理脏数据的方法及装置。

背景技术

数据库(Database)是按照数据结构来组织、存储和管理数据的仓库。在日常工作中，常常需要把某些相关的数据放进这样“仓库”，并根据管理的需要进行相应的处理。传统的数据库系统等与存储相关的引擎工作原理是当数据在内存中被修改后，需要马上(或者在很短时间内)将修改后的数据写入磁盘，以保证事务的完整或数据库中数据的可靠性。在向磁盘写入所述修改后的数据的过程中，无法向内存写入数据，导致内存不得不暂停对外的业务，从而导致内存的吞吐量及系统的读写性能都受到较大限制。

由于磁盘的读写速度远低于内存，很大程度上降低了系统性能。目前，主要通过增加类似于固态硬盘(Solid State Disk，SSD)的闪存设备作为高速缓冲存储器(cache)提升系统的读写性能：内存以SSD中的存储块为单位将修改后的数据写入SSD；在业务空闲期将cache的数据写入磁盘，从而提高系统吞吐量及读写性能。其中，所述cache中已经修改过的、还未写入磁盘的数据就是脏数据。

当内存中短时间内有大量数据被修改、且修改的数据分散于不同存储块时，SSD完成一次数据块读写时仅能够对少量脏数据进行处理，导致数据库系统的数据吞吐量及读写性能较低，造成系统响应延迟甚至导致数据库崩溃。

发明内容

本发明的实施例提供了一种处理脏数据的方法及装置，能够提升数据库系统的数据吞吐量以及读写性能。

本发明的实施例采用如下技术方案：

一方面，本发明实施例提供了一种处理脏数据的方法，包括：

在内存中确定第一存储块，所述第一存储块的大小与高速缓冲存储器cache的写规格相匹配；

将内存中标记为脏数据的元组合并写入所述第一存储块；

将所述第一存储块中的脏数据写入所述cache，通过所述cache将所述脏数据写入磁盘。

另一方面，本发明实施例提供了一种处理脏数据的装置，包括：

确定单元，用于在内存中确定第一存储块，所述第一存储块的大小与cache高速缓冲存储器的写规格相匹配；

第一写单元，用于将内存中标记为脏数据的元组合并写入所述第一存储块；

第二写单元，用于将所述第一存储块中的脏数据写入所述cache，通过所述cache将所述脏数据写入磁盘。

本发明实施例提供的处理脏数据的方法及装置，能够将内存中标记为脏数据的元组合并在一起写入cache，再通过所述cache将脏数据写入磁盘。本发明实施例提供的方法及装置可以提升数据库系统的数据吞吐量以及读写性能，还能降低cache的读写使用频率，延长cache的使用寿命。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的方法的流程示意图；

图2为本发明另一实施例提供的方法的流程示意图；

图3为本发明又一实施例提供的装置的一个结构示意图；

图4为本发明又一实施例提供的装置的另一个结构示意图；

图5为本发明又一实施例提供的装置的又一个结构示意图；

图6为本发明又一实施例提供的装置的再一个结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例的脏数据可以是cache中已经修改过的、还未写入磁盘的数据。本发明实施例可以应用在各种类型的数据库和数据仓库系统中，包括DB数据库、Oracle数据库、SQL数据库等。

本发明一实施例提供了一种处理脏数据的方法，如图1所示，包括：

101、在内存中确定第一存储块，所述第一存储块的大小与cache的写规格相匹配。

102、将内存中标记为脏数据的元组合并写入所述第一存储块。

103、将所述第一存储块中的脏数据写入所述cache，通过所述cache将所述脏数据写入磁盘。