[发明专利]动态可扩展数据库归档方法和系统

说明书

本发明提供了一种动态可扩展数据库归档方法，用于将归档数据从原数据库归档到目标数据库，该方法包括：根据归档任务启动归档线程，归档任务指定归档数据的原数据库和目标数据库，原数据库是作为归档数据来源的数据库，目标数据库是数据要被归档到的数据库；查询原数据库中的归档数据，将每一页归档数据封装成一个拷贝任务放入拷贝任务线程池；执行拷贝任务线程池中的拷贝任务，将归档数据拷贝到目标数据库；在每个拷贝任务执行完成后，将该页数据封装成一个删除任务放入删除任务线程池；以及执行删除线程池中的删除任务。本发明还提供了一种动态可扩展数据库归档系统。

技术领域

本发明总体上涉及数据处理，更具体地，涉及一种动态可扩展数据库归档方法和系统。

背景技术

数据库归档系统是互联网企业解决日益增长的海量数据的关键。数据库归档系统做得不好，可能会导致企业网站性能日益下降、用户流失，甚至会导致数据丢失，给企业带来不可挽回的名誉和经济损失。现在的互联网企业网站访问量巨大且快速增长，各种各样的数据也急剧增长，给企业数据库归档带来了巨大挑战。

对于数据的归档，现有的技术方案主要有以下几种：

(1)数据库管理员归档：数据库管理员根据需要归档数据及业务逻辑等人为执行归档。包括归档数据的选择，归档的执行时间及归档方案等。但是，数据管理员虽然熟悉数据库的基本操作，但他对需要归档的数据业务不熟悉。人为编写归档脚本并执行归档，有可能导致数据的错误归档及丢失。

(2)业务应用归档：业务应用根据业务要求判断那些数据需要归档，然后针对需要归档的数据自行实现归档。该方案包括开发实现归档功能的程序、归档时间的选择等。这种方案可以一定程度解决对需要归档的数据业务不熟悉的问题，但每个业务系统都需要自己实现对数据的归档，每个业务系统的实现都可能不同，无法保证归档的统一性。

(3)按时间归档：业务系统按照不同的时间如年、月等，将数据存放不同的数据库。这种方案可以解决数据归档的不统一，也可以由应用系统决定归档的时间粒度及数据的相关性。但是，每个系统都需要有多个数据库，每个一段时间都需要切换数据库。当系统多，涉及数据库多时，这样的操作就很难实现。

发明内容

本发明的一个方面提供了一种动态可扩展数据库归档方法，用于将归档数据从原数据库归档到目标数据库，该方法包括：根据归档任务启动归档线程，归档任务指定归档数据的原数据库和目标数据库，原数据库是作为归档数据来源的数据库，目标数据库是数据要被归档到的数据库；查询原数据库中的归档数据，将每一页归档数据封装成一个拷贝任务放入拷贝任务线程池；执行拷贝任务线程池中的拷贝任务，将归档数据拷贝到目标数据库；在每个拷贝任务执行完成后，将该页数据封装成一个删除任务放入删除任务线程池；以及执行删除线程池中的删除任务。

可选地，该方法还包括：在要对新的数据库进行归档时，将该数据库的数据源信息添加到归档系统；以及/或者如果不需要再对某个数据库进行归档，从归档系统删除该数据库的数据源信息。

可选地，数据库的数据源信息包括该数据库的IP、用户名、密码、表名、和数据库类型。

可选地，该方法还包括：管理归档任务，归档任务还包括以下中的至少一项：原表、目标表、归档执行时间、归档执行频率、归档条件、以及每次归档数目，其中：原表是存放归档数据的来源的数据库表；目标表是存放归档拷贝数据的数据库表；归档条件指定符合什么条件的数据需要归档；以及每次归档数目指定每次查询原始数据的分页大小。

可选地，管理归档任务包括以下中的至少一项：归档任务的维护、归档任务测试、归档任务的定时调度和归档任务的状态控制。

可选地，该方法还包括：在该归档任务的所有拷贝线程池和删除线程池执行完后，生成报表数据，然后将报表数据存入归档系统数据库中，该报表数据包括以下中的至少一项：该归档任务的执行耗时、归档数量、和每秒归档数量信息。