[发明专利]一种在线数据生命周期管理方法和装置

说明书

技术领域

本发明涉及数据库技术领域，尤其涉及一种在线数据生命周期管理方法和装置。

背景技术

在目前的业务系统中，随着融合，割接，集中等等项目的实施，业务系统的数据库变得日益庞大。尤其是营帐系统，计费系统，经分系统等，随着时间的推移以及业务量的增长，数据量日渐臃肿；同时，数据的时效性问题越来越被关注，需要针对不同系统，制定合适的数据生命周期管理机制，否则如果任由其发展，数据库将最终不堪重负。因此，如何对过期历史数据进行有效处理，成为一个尤为重要问题。

绝大部分现有的系统中，在对过期历史数据的处理方式上，主要有以下几种方式：

第一种，以时间维度为衡量标准，按照一定的时间间隔(日，周，月等)，制定数据生命周期规则，对符合条件的过期历史数据进行删除(DELETE)操作，从而保证数据库总体数据量的基本稳定。

第二种，使用分区表模式，按照一定的时间维度进行分区(日，周，月等)，制定数据生命周期规则，对符合条件的过期数据分区进行截短(TRUNCATE)操作。

第三者，使用历史表，对当前表中过期数据，通过插入(INSERT)操作迁移到历史表中，然后在当前表中使用DELETE或TRUNCATE等手段清理过期数据。

上述方式中的DELETE、INSERT和TRUNCATE都是结构化查询语言(SQL)中的基本语句，其中，DELETE语句执行删除的过程是每次从表中删除一行，并且同时将该行的的删除操作作为事务记录在日志中保存以便进行进行回滚操作，其执行速度较慢；TRUNCATE语句则一次性地从表中删除所有的数据页而并不把单独的删除操作记录记入日志保存，删除行是不能恢复的，其执行速度快；INSERT语句用来在数据表或视图中插入一行数据。

当前数据库系统，需要处理的数据量，信息量越来越庞大，应用系统的结构设计越来越复杂，数据库规模也随之与日俱增，现有技术方案逐渐显露出多种欠缺和不足。

第一种技术，使用DELETE方式，适用于所有业务类型的数据对象，包括分区表，非分区表等等。但是，该作业方式对数据库的资源消耗很大，当需要处理的数据量较大时，数据库因为过期数据处理需要承担的负载量将无法承受。

第二种技术，基于分区表技术，使用TRUNCATE技术，该技术手段比DELETE方式简单高效。但是，首先在实际生产中，数据的区隔度往往不止时间维度，例如账单数据，存在动态的已结清和未结清数据，不能仅仅依靠时间维度，对其进行TRUNCATE，其次，在高并发访问的系统中，对频繁访问的表表进行TRUNCATE操作，容易产生闭锁，造成业务中止，影响业务系统的连贯性。

第三种技术，从本质上说没有脱离第一与第二种技术的范畴，存在与第一、二种技术手段相同的问题。

可见，现有的管理数据生命周期的技术手段均没有真正解决在线数据生命周期管理问题，在实际生产环境中使用均存在着大量的不适应性，同时对生产系统的影响也处于较高的风险水平。

发明内容

本发明提供了一种在线数据生命周期管理方法，能够高效低耗地管理数据生命周期，从而保证数据库的资源高效性。

本发明还提供了一种在线数据生命周期管理装置，能够高效低耗地管理数据生命周期，从而保证数据库的资源高效性。

本发明的技术方案是这样实现的：

一种在线数据生命周期管理方法，包括：预先设置多个主表分区，并为每个主表分区分别设置一个对应的历史动态数据分区和一个对应的历史子表；

将数据按照时间维度进行划分，将划分后的数据分别保存在各个主表分区中；

当一个主表分区中的数据到达生命周期末端时，将所述数据进行静动态数据分离，将分离出的动态数据复制并保存入所述主表分区对应的历史动态数据分区，并将所述主表分区中的数据转移至所述主表分区对应的历史子表中，对所述历史子表中的数据进行删除操作。

一种在线数据生命周期管理装置，包括：

分区模块，用于预先设置多个主表分区，并为每个主表分区分别设置一个对应的历史动态数据分区和一个对应的历史子表；

划分模块，用于将数据按照时间维度进行划分，将划分后的数据分别保存在各个主表分区中；

静动态分离模块，用于当一个主表分区中的数据到达生命周期末端时，将所述数据进行静动态数据分离，将分离出的动态数据复制并保存入所述主表分区对应的历史动态数据分区；