[发明专利]一种ETL作业关系图的转化方法及其实现系统

说明书

技术领域

本发明涉及计算机软件领域，具体来说是一种ETL作业关系图的转化方法及其实现系统。

背景技术

目前软件行业中的ETL(Extract-Transform-Load，数据抽取、转换、装载)工具，对作业关系之间的描述是通过流程配置或者关系界面进行配置的，作业之间的关系多为树形关系，或者是触发、依赖关系。对于触发、依赖关系的任务，因为依赖关系和触发关系，不是基于标准的树性结构或者层次结构的，所以在ETL任务的依赖，触发关系的图形展示上没有较好的解决方案。它主要存在以下两个缺陷：

1.一般的ETL数据抽取、转换、装载软件的展示都是通过使用者自己定义和绘制依赖，触发关系图，这样的固然可以解决一些问题，但是对于大量的任务作业进行配置的时候，特别是电信，金融行业的逻辑关系，一般情况下会很多，很复杂。对使用者提出了较高的要求，并且造成了很多额外的工作量，需要进行不必要的任务关系绘制；

2.提供快捷的多个逻辑关系的配置，但是在图形展示上面，往往只实现了任务关系树，或者表格数据的展示方式，对于开发者来说，在复杂的作业关系中提供的全部表格数据，如同大海捞针，参考意义基本不大，以至于使用者往往无法正确的观察逻辑关系，而导致逻辑关系配置形成闭环。

发明内容

本发明所要解决的技术问题是提供一种ETL作业关系图的转化方法及其实现系统。

本发明解决上述技术问题的技术方案如下：一种ETL作业关系图的转化方法,包括以下步骤：

步骤一，以一个当前任务节点为中心，向后台J2EE应用开发技术架构请求与此当前任务节点相关的任务关系数据；

步骤二，后台接受请求后，采用前后深度递归的方式，逐层查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系保存成相应的任务关系数据；

步骤三，将所述任务关系数据返回给前台Flex词法识别器，所述Flex是一款生成扫描器的工具，它能够识别文本中的词法模式；

步骤四，所述前台接收所述任务关系数据，并将所述任务关系数据绘制成相应的关系图；

步骤五，选择任一任务节点为下一个当前任务节点，重复上述步骤一到步骤四，直至所有任务节点都进行了步骤一到步骤四的操作。

本发明的有益效果是：随着互联网和计算机的快速发展和大量的普及，导致各个行业的数据量都出现了几何数的增长，同时也导致了在大量的冗余数据和数据的不一致，而且这些数据越来越难访问、管理和用于用户决策支持。需要解决这些分散、孤岛数据，势必要建立数据仓库，在数据仓库建设的过程中ETL数据抽取、转换、装载工作是必不可少的一部分，而ETL数据抽取、转换、装载过程中最大、最繁琐、最耗时，耗力的一部分工作就是建立不同的ETL数据抽取、转换、装载任务之间的关系。在关系的建立和以后的管理过程中，对逻辑关系的图形化就有了很多变的要求，只有这样使用者才可以根据自己的意愿观察不同层级和不同角度的逻辑关系图，从而提高工作效率，减少配置中的失误，加快ETL数据抽取、转换、装载和数据仓库的建设。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步，所述逻辑关系以可扩展标记语言的形式保存成任务关系数据并返回给所述前台，所述前台接收所述任务关系数据后对其进行解析并绘制相应的关系图。

进一步，确定当前任务节点后设定所述关系图的样式参数，所述关系图的样式根据所述参数的变化而变化。

进一步，所述参数包括图形布局的选择、所述任务节点的样式、所述任务节点之间的连接线样式。

进一步，所述关系图的绘制包括任务节点的绘制，连接线的绘制，连接线样式的绘制以及布局调整。

采用上述进一步方案的有益效果是，用户可以快速大量的配置逻辑关系，基于一个任务为中心，自动生成不同层次结构，不同区间的逻辑关系图，使用者可以根据不同的观察模式以及参数的设定对生成的逻辑关系图进行重绘，并展示具有层次结构的树形关系图。

一种实现ETL作业关系图转化的系统，它包括数据输入模块，用于输入关系图的样式参数和当前任务节点的选择，并向数据处理模块请求与此当前任务节点相关的任务关系数据；

数据处理模块，用于接收上述的请求，查找与所述当前任务节点相关的逻辑关系，并将所述的逻辑关系封装成相应的任务关系数据返回给数据显示模块；

数据显示模块，用于接收和解析所述的任务关系数据，并将所述任务关系数据绘制成相应的关系图。