[发明专利]数据增量抽取转换与分发系统及方法

说明书

本发明公开了数据增量抽取转换与分发系统及方法，包括：抽取转换设计器，对源数据库的数据源进行定义，设计转换规则然后定义数据目标，将设计完成的转换规则包装成KTR文件；抽取转换执行器，实时捕获源数据库的增量数据，并且分析增量数据的来源，将增量数据交给服务器，服务器分析得到的信息并选择调用对应的转换规则进行转换处理；批量的执行KTR文件；抽取转换监控单元，能够监测规则的运行情况和控制数据同步的开始和停止。采用日志分析技术和ETL相结合的技术，实现了实时捕获源数据库的增量数据，对增量数据进行转换处理，最后以准实时的方式装载到目标数据库中的功能。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据增量抽取转换与分发系统及方法。

背景技术

随着大数据在人力资源和社会保障业务的深入应用，业务系统无论是在数据流量、数据处理量或是数据存储量上都变得越来越大。业务系统的稳定与否，系统的保护和数据的保护是否健全，已成为影响人力资源和社会保障业务系统正常开展的关键问题。现有的系统数据的安全性不能保证，抽取速度低，不能满足大数据分析业务的需求。

在实际业务中，作为源数据库的生产库和作为目标数据库的同步库在数据库类型、数据库结构、数据表的字段结构等方面存在着较大的差异，单一的同步复制不能满足这类复杂的同步需求。

发明内容

本发明的目的就是为了解决上述问题，提供一种数据增量抽取转换与分发系统及方法，采用日志分析技术和ETL相结合的技术，实现了实时捕获源数据库的增量数据，对增量数据进行转换处理，最后以准实时的方式装载到目标同步库中。

为了实现上述目的，本发明采用如下技术方案：

数据增量抽取转换与分发系统，包括：

抽取转换设计器，首先对源数据库的数据源进行定义，设计转换规则然后定义数据目标，将设计完成的转换规则包装成KTR文件，通过节点连接形成的流，将数据信息或字段在模块之间进行传送；

抽取转换执行器，实时捕获源数据库的增量数据，并且分析增量数据的来源，将增量数据交给服务器，服务器分析得到的信息并选择调用对应的转换规则进行转换处理；批量的执行KTR文件；

抽取转换监控单元，能够监测规则的运行情况和控制数据同步的开始和停止，监测每一条转换规则当前是否正在进行数据同步，最近一次同步的数据量；另外，能够控制服务器的运行或停止，从而达到控制数据同步的运行或停止的效果。

所述抽取转换设计器提供了图形化的编辑界面，能够以图形化的方式定义源数据库和目标数据库，并设计转换规则；包括：

定义数据源模块，对数据源进行定义，定义源数据库或中间库的连接信息；

转换规则设计模块，能够重命名字段，将源数据表中需要的字段重新命名后映射到目标表中；筛选字段，包括选择字段和删除字段；改变数据类型；改变字段精度；拆分字段；新增字段，在源数据表的基础上增加新的字段；字符串替换；

定义数据目标模块，编辑数据目标的连接信息，定义需要转换的字段，选择数据库的类型。

所述抽取转换执行器，利用Oracle stream技术捕获增量数据并调用Kettle API执行设计好的KTR文件来实现对源数据库增量数据的实时抽取和清洗转换，并实时地装载到目标数据库中。

所述抽取转换执行器包括：

捕获增量数据模块，实时捕获源数据库的增量数据，并且分析增量数据的来源；给应用进程配置一个处理函数；捕获进程会挖掘对源数据库产生变化的归档日志，捕获到增量数据，并且将增量数据暂存到消息队列中；