[发明专利]一种高压缩比归档数据的安全存储系统

说明书

本发明涉及服务器技术领域，提供一种高压缩比归档数据的安全存储系统，包括缓存层、工作线程层和压缩存储层，缓存层，对用户提交的归档数据的操作动作请求进行响应修改，并记录redolog脏页日志，所述归档数据的操作动作请求包括归档数据的插入、删除和提取；工作线程层，用于将所述脏页提交到所述压缩存储层，并刷新所述脏页；压缩存储层，用于将所述工作线程层提交的脏页刷入硬盘中，从而实现高性能、高并发、高压缩比、支持删除的事务安全存储，能够降低系统因长时间运行的风险及日常占用，提升系统的性能与稳定性，同时保证了事务的安全性。

技术领域

本发明属于服务器技术领域，尤其涉及一种高压缩比归档数据的安全存储系统。

背景技术

当前服务器系统对于归档数据的存储引擎需求较大，例如系统的安全日志、操作日志、审计日志等各种日志，系统接收的各种事件信息等类似数据，均为不可修改的数据类型，但是数据量随着时间或者对接系统的不同，富有不确定性。这些不可修改的数据过大的占用磁盘分区空间，极大的可能影响系统的稳定性。另外，大量不可修改的数据，其检索查询也是个问题。

当前，在MySQL的存储引擎列表范围中，存在一个名字为Archive的存储引擎。但是Archive存储引擎只支持插入INSERT和删除SELECT操作，从MySQL5.1开始支持索引。Archive存储引擎本身并不是事务安全的存储引擎，其设计目标主要是提供高速的插入和压缩功能。所以，Archive存储引擎存在两个缺点使他变得不太能满足大部分的系统需求，具体为：

(1)Archive不支持数据的删除操作

大多数应用系统均存在对于历史数据的删除需求，比如历史日志仅保存三个月，系统对接事件提供用户手动删除策略等。而Archive不提供删除操作，很大程度上使用户拒绝使用了它。

(2)Archive不支持事务安全

对于归档类数据来说，一般上都是比较重要的数据凭证。但是Archive不提供事务安全的保障。也就是说，通过Archive，我们无法保证数据的一致性与持久化。

发明内容

针对现有技术中的缺陷，本发明提供了一种高压缩比归档数据的安全存储系统，旨在解决现有技术中的存储引擎不支持数据的删除操作、也不支持事务安全的问题。

本发明所提供的技术方案是：一种高压缩比归档数据的安全存储系统，包括缓存层、工作线程层和压缩存储层，其中：

所述缓存层，对用户提交的归档数据的操作动作请求进行响应修改，并记录redolog脏页日志，所述归档数据的操作动作请求包括归档数据的插入、删除和提取；

所述工作线程层，用于将所述脏页提交到所述压缩存储层，并刷新所述脏页；

所述压缩存储层，用于将所述工作线程层提交的脏页刷入硬盘中。

作为一种改进的方案，所述缓存层具体包括用于实现MySQL的存储引擎插件接口和缓存层接口，其中：

所述存储引擎插件接口，用于与MySQL数据库对接，加速用户的操作动作请求；

所述缓存层接口，用于对归档数据进行加速存储，并基于行锁机制对高并发的归档数据的操作动作。

作为一种改进的方案，所述缓存层接口包括加速缓存层、脏页缓存层和并发层，其中：

所述加速缓存层，用于直接对接用户的所有对归档数据的操作动作，并加速相应；

所述脏页缓存层，用于在事务结束前，将归档数据输入redilog脏页日志；

所述并发层，用于对多用户多线程的并发访问进行对应处理。

作为一种改进的方案，所述缓存层接口还包括查询缓存层；