[发明专利]银行系统历史数据清理方法及装置

说明书

本发明提出了一种银行系统历史数据清理方法及装置，用于清理数据库的数据表的历史数据，包括：根据数据库的数据表的生命周期和关联关系，制定数据清理规则；根据数据清理规则筛选待清理的数据表的数据与键值，确定待清理的数据表的数据清理索引；根据数据清理索引，清理数据库的数据表的数据，并将被清理数据的键值写入备份索引文件；根据备份索引文件，生成清理统计报表，并将被清理数据记录在文件中保存设定时间，支持需要时从文件恢复文件。通过本发明的银行系统历史数据清理方法及装置，可实现清理历史数据且保证生产环境系统的高效安全运行，最大程序避免了历史数据清理过程对正常业务应用的影响，降低了数据清理后影响正常生产环境的正常应用的概率。

技术领域

本发明涉及银行数据库存储领域，具体涉及一种银行系统历史数据清理方法及装置。

背景技术

核心银行系统每日都有大量的业务和交易进行，随着时间推移后台数据库业务和交易数据不断增多，在银行系统中各类数据实体生命周期结束后，与之相关的数据不再被处理，但仍保留在系统数据库中，经过长时间的积累占据了大量的存储空间，增加了系统数据处理的压力，影响系统的执行效率，对系统安全运行有隐患。目前常用的历史数据处理方式，包括：不处理，保留在数据库中；直接清理，直接在生产环境上运行批量程序，通过清理条件定位数据表并直接清理；对各表单独建立清理索引文件，分为筛选-清理两阶段清理，但是对于有关联关系的表也单独清理。但是，上述方案都存在以下问题或一部分：不清理历史数据，对于交易量大，数据库数据量增加快的系统，增加数据库的压力，影响系统的运行效率；直接清理方案清理效率低，与联机交易争抢资源(CPU、数据库)较为严重，影响系统的正常应用；各表单独清理，由于不同数据表尤其是关联数据表的清理速度、进度存在差异，会对系统带来数据不一致现象。

发明内容

针对现有技术方案中存在的问题，本发明提出了一种银行系统历史数据清理方法及装置。目的在于，实现对银行系统的历史数据清理，在保证不影响系统的任何正常应用的前提下，减轻系统压力，保障银行系统执行效率和安全运行。

为了达到上述目的，本发明提出的银行系统历史数据清理方法，用于清理数据库的数据表的历史数据，包括：根据数据库的数据表的生命周期和关联关系，制定数据清理规则；根据数据清理规则筛选待清理的数据表的数据与键值，确定待清理的数据表的数据清理索引；根据数据清理索引，清理数据库的数据表的数据，并将被清理数据的键值写入备份索引文件；根据备份索引文件，生成清理统计报表，并将被清理数据记录在文件中保存设定时间。

进一步的，包括：根据数据库的数据表类型、生命周期和关联关系，分级筛选不同数据表类型的待清理数据，数据表类型包括：主表、关系表、子表、单表；根据不同数据表类型的待清理数据，分别制定数据清理规则。

进一步的，包括：根据数据清理规则、关系表，筛选关系表的全部组内关联表中符合数据清理规则的数据与键值；根据数据清理规则、主表、子表、单表，筛选主表、子表、单表的符合数据清理规则的数据与键值；对筛选出的数据与键值合并、去重、打包，确定为待清理的数据表的数据清理索引。

进一步的，包括：将当前的数据清理索引与之前的数据清理索引去重并合并，形成更新的数据清理索引；根据更新的数据清理索引记录的键值，清理数据库的数据表的数据，并将被清理数据的键值写入备份索引文件。

进一步的，还包括：当需要恢复已清理数据时，根据备份索引文件、记录在文件中的被清理数据，筛选出待恢复数据并将其恢复至正常生产环境的数据表中。

为了达到上述目的，本发明提出的银行系统历史数据清理装置，包括：清理规则制定模块，用于根据数据库的数据表的生命周期和关联关系，制定数据清理规则；数据筛选模块，用于根据数据清理规则筛选待清理的数据表的数据与键值，确定待清理的数据表的数据清理索引；数据清理模块，用于根据数据清理索引，清理数据库的数据表的数据，并将被清理数据的键值写入备份索引文件；数据备份模块，用于根据备份索引文件，生成清理统计报表，并将被清理数据记录在文件中保存设定时间。