[发明专利]数据存储业务控制方法及系统

说明书

技术领域

本发明涉及数据存储领域，具体涉及一种数据存储业务控制方法及系 统。

背景技术

在互联网应用中，用户的文章、评论、相片等都可称为对象。随着互联 网的发展，对海量对象存储的需求日渐迫切。这类对象存储的特点有：大小 通常为几十k到若干兆；随机访问；一次写多次读；并发读写量大；数量巨 大；针对这些特点，鉴于Linux文件系统对于海量文件存储支持不够，目前 普遍采用日志文件结构方式存储对象，有效的减少存储文件规模。在日志文 件中，新加入的对象追加到文件尾。通过修改对象有效标识，将对象标识为 无效，并不立即回收磁盘空间。系统磁盘空间紧张且日志文件空间利用率较 低时，建立新的日志文件，将有效数据写入新日志文件，取代旧文件提供服 务。

针对日志文件的相关操作，需要实时了解文件磁盘配额上限、文件尾指 示和有效空间大小。作用有三：其一，方便追加新对象到文件尾；其二，控 制对象的并发写入；其三，方便计算磁盘空间利用率，进行磁盘空间回收。 现有的解决方案为，将对象的索引按照日志文件的形式写入磁盘。系统启动 时，将对象索引文件全部加载到内存。对于重复的对象，仅保留最新版本。 通过加载过程，计算磁盘空间的利用情况。运行过程中，实时修改相应的变 量，并持久化存储新对象索引。

现有数据存储的技术在对象数量巨大时有如下不足：

(1)由于对象索引文件较多，索引加载速度慢，影响系统启动速度。

(2)磁盘操作较多，影响系统性能。

发明内容

本发明的第一目的是提出一种高效的数据存储业务控制方法。

本发明的第二目的是提出一种高效的数据存储业务控制系统。

为实现上述第一目的，本发明提供了一种数据存储业务控制方法，包括： 在数据存储业务启动时，磁盘将日志索引文件加载至内存，日志索引文件包 括多个用于表征日志文件属性的日志索引；内存在根据日志索引文件判定磁 盘配额未满时，将接收的数据添加至日志文件中，并修改或新增对应于添加 数据的日志文件的日志索引；内存将修改或新增的日志索引同步至磁盘；所 述在数据存储业务启动时，磁盘将日志索引文件加载至内存的步骤包括：

在数据存储业务启动时，所述磁盘将每一日志索引文件中的日志索引分 别加载到所述内存中预设对应的多个缓存页中，其中每一日志索引文件的预 设对应的多个缓存页组成单向链表；

所述单向链表中的缓存页与其预设对应的索引文件头进行信息交互。

进一步地，优选的是，在所述修改或新增对应于添加数据的日志文件的 日志索引的步骤之后包括：

对所述修改或新增的日志索引对应的缓存页进行标识。

进一步地，优选的是，所述内存将所述修改或新增的日志索引同步至所 述磁盘的步骤包括：

所述内存将被标识的缓存页中的日志索引同步至所述磁盘；

删除所述被标识的缓存页中的标识。

进一步地，优选的是，所述内存将被标识的缓存页中的日志索引同步至 所述磁盘的步骤包括：

在任一缓存页被标识时，所述内存将被标识的缓存页中的日志索引同步 至所述磁盘；

在达到预设的触发时间或者被标识的缓存页达到预设数量时，所述内存 将被标识的缓存页中的日志索引同步至所述磁盘。

进一步地，优选的是，还包括：

所述内存在接收到数据删除信息时，修改包含删除数据的日志文件对应 的日志索引，并对所述修改的日志索引对应的缓存页进行标识。

进一步地，优选的是，还包括：

所述内存在根据所述日志索引文件判定所述磁盘空间达到配额上限或/ 和所述磁盘空间利用率低于预设阈值时，建立新的日志文件；

所述内存建立所述新的日志文件的日志索引，并对所述建立的日志索引 对应的缓存页进行标识。