[发明专利]一种历史数据归档的系统与实现方法

说明书

技术领域

本发明涉及数据库中历史数据归档领域，尤其涉及一种历史数据归档的系统与实现方法。

背景技术

述网管系统中需要对大量的历史数据进行处理，例如性能数据，由于需要对不同设备的不同工作端点的不同性能项进行周期采集，例如5分钟/24小时。所述网管系统每天都会产生非常多的性能数据，比如大于1千万条，需要对这些数据进行归档也即备份，以供以后查询、统计、报表处理等使用，当前常用的归档办法是利用所述网管系统的数据库系统本身提供的备份恢复工具进行，但是此方法可能由于归档数据过多，尤其是冗余数据比较多的时候会影响到后续使用的效率。所述历史数据归档后还需要恢复后才可以使用这些数据，造成操作很不方便，并且这些操作要求对数据库比较熟悉，一般人员不容易完成。

现有技术的第二种归档方法是自己开发工具进行历史数据的归档。当前进行报表处理等业务操作时，需要先将归档数据加载到所述数据库系统的临时数据库中，再对所述临时数据库中的数据进行查询。虽然归档与加载都是工具自动完成，操作相对简单了，并且所述临时数据库使用效率也比用户数据库高，但是当归档数据量非常大的时候，数据的加载与对所述临时数据库的查询容易成为系统的性能瓶颈。

但是现有所述网管系统除性能不能较好的满足用户需求以外，还有一个明显的缺点，就是归档后的数据都是所述网管系统生成的数据，是一种原始数据，是开发人员面对的数据，当一般用户需要使用这些数据时还需要查阅相关资料才能明白数据的具体意义，这就使得归档文件不能以一种确切的方式输送出来。可见，现有技术有待于更进一步的发展。

发明内容

本发明为解决上述现有技术中的缺陷提供一种历史数据归档系统与方法，在现有技术基础上设置归档参数配置模块、归档数据加载模块与归档操作模块，以增加操作的简便性与灵活性，提高网管系统处理数据的效率。

为解决上述技术问题，本发明方案包括：

一种历史数据归档的系统，其中，所述系统包括一归档参数配置模块、一归档数据加载模块与一归档操作模块，所述归档参数配置模块与所述归档数据加载模块通信连接，所述归档数据加载模块与所述归档操作模块通信连接，所述归档参数配置模块用于为历史数据配置归档参数；所述归档数据加载模块用于加载所述归档参数配置模块配置的所有所述归档参数；所述归档操作模块用于对所述历史数据进行归档操作。

所述的系统，其中，所述归档操作模块还包括一主线程，所述主线程用于创建一归档线程、检测是否存在满足归档条件的所述历史数据与唤醒所述归档线程进行归档操作，所述归档线程处于休眠状态并等待所述主线程唤醒进行归档操作。

所述历史数据归档系统的方法，包括以下步骤：

A、所述归档参数配置模块为所述历史数据配置所述归档表名，并将归档参数配置到所述归档表名下；

B、所述归档数据加载模块加载所有所述归档参数作为所述历史数据归档的输入；

C、所述归档操作模块根据所有所述归档参数检测是否存在满足归档条件的所述历史数据，对满足所述归档条件的所述历史数据进行归档操作。

所述的实现方法，其中，所述归档参数包括：归档模式、归档输出目录、归档开始时间、归档动作、过滤条件以及归档字段。

所述的实现方法，其中，所述归档模式包括周期归档与门限归档，所述周期归档还配置有归档周期；所述门限归档还配置有门限值与检测所述历史数据门限的门限周期。

所述的实现方法，其中，所述归档动作包括判断所述归档模式与所述归档表名是否匹配、是否删除原所述历史数据以及当所述历史数据为空时是否删除所述归档表名。

所述的实现方法，其中，所述归档字段包括字段名称以及所述字段名称转化后的值、字段值以及所述字段值转化后的值。

所述的实现方法，其中，所述步骤C还包括：当没有满足所述归档条件的所述历史数据时，则所述归档线程处于休眠状态。

所述的实现方法，其中，所述步骤C还包括以下步骤：

C1、所述主线程为每个所述归档表名创建一所述归档线程，所述归档线程处于休眠状态；

C2、所述主线程根据所述过滤条件以及所述归档周期或所述门限周期定期检测是否存在满足所述归档条件的所述历史数据，若存在，则所述主线程唤醒所述归档线程进行归档操作。

所述的实现方法，其中，所述步骤C2还包括以下步骤：

C21、所述归档线程查找所有需要归档的所述归档表名，并获取所述归档表名下的所有所述归档参数；

C22、所述归档线程根据所述过滤条件查找满足归档条件的所述历史数据；