[发明专利]一种抽取IMS数据库中数据的方法、装置和系统

说明书

技术领域

本发明涉及数据处理领域，特别是涉及一种抽取IMS数据库中数据的方法、装置和系统。

背景技术

IBM主机系统Z/OS是一种CPU利用率高、多任务处理水平高、具有密集I/O处理的计算机系统，能很好地处理不同类型的工作负载，并且提供非常高的可靠性。由于IBM主机系统的这些优点，其被大量应用于大中型企业(如银行)的商业计算任务。IMS数据库系统是一种基于IBM主机系统的大型层次型数据库系统，具有存储容量大、并发存取性能突出，安全可靠等一系列优点，是一种在全世界范围内被众多大中型企业广泛采用的数据库管理系统。

在开发过程中，必然会将生产环境IMS数据库中的数据倒入测试环境以供测试开发用，然而实际生产环境中的数据量都是海量的，利用所述实际生产环境中的海量数据进行测试，对主机系统的CPU资源、存储资源等计算机系统资源是一个极大的浪费，并且测试效率低下，因此，需要对实际生产环境中的海量数据进行抽取，抽取符合条件的少量数据进行测试，减少测试环境的数据量。

由于IMS数据库系统是层次型数据库，自身不具有关系型数据库通过SQL语言实现数据抽取的功能，用户必须通过编写程序并执行作业调用这些程序来实现对IMS数据库数据的抽取。所述数据抽取过程工作量大，效率低。并且由于是对IMS数据库中的数据直接进行抽取，直接遍历IMS数据库系统各数据库中的数据，抽取符合条件的数据，主机系统与IMS数据库系统在数据抽取过程中必须一直建立连接，浪费大量的网络资源，并且由于网络带宽资源的有限，所述在线抽取IMS数据库中数据的效率非常低。因此，迫切需要一种抽取IMS数据库中数据的方法，所述方法能够提高数据抽取的效率，并且节省网络资源。

进一步，由于IMS数据库是层次型数据库，对于有联系的数据库一般都会有相同含义的栏位，在对多数据库中的数据进行抽取时，往往无法保证数据抽取的完整性。

发明内容

本发明所要解决的技术问题是提供一种抽取IMS数据库中数据的方法，能够提高数据抽取的效率，节省网络资源。

相应的，本发明还提供了一种抽取IMS数据库中数据的装置和系统。

为了解决上述问题，本发明公开了一种抽取IMS数据库中数据的方法，包括：

将IMS数据库中的数据下载至主机文件中；

预置数据抽取条件；

根据所述抽取条件遍历所述下载文件中的记录，抽取符合条件的数据。

进一步，在下载IMS数据库中的数据之前还包括步骤：

确定IMS数据库中下载的数据范围。

进一步，当主机文件中的数据库为多个时，在数据抽取步骤之前还包括：

预置基准栏位，且所述数据抽取过程为：

根据所述抽取条件和基准栏位遍历下载文件中不同数据库中的记录，抽取符合条件的数据。

进一步，还包括：

在抽取的数据中确定需要进行清洗的数据；

预置清洗规则；

根据清洗规则对所述需要进行清洗的数据进行转换，完成数据清洗。

其中，当清洗的数据是多个不同数据库中的数据时，所述预置的清洗规则需满足条件：

不同数据库中属性相同且值相同的栏位的清洗规则相同。

进一步，还包括：

将所述抽取清洗后的数据RELOAD回测试环境的数据库，完成基础测试环境的数据装入工作，建立基础测试环境。

进一步，还包括：

将所述基础测试环境中的数据倒入其他测试环境，进行测试。

本发明还公开了一种抽取IMS数据库中数据的装置，包括：

下载单元，用于将IMS数据库中的数据下载至主机文件中；

第一预置单元，用于预置数据抽取条件；

抽取单元，用于根据所述抽取条件遍历所述下载文件中的记录，抽取符合条件的数据。

进一步，还包括：

第一确定单元，用于确定IMS数据库中下载的数据范围。

进一步，当主机文件中的数据库为多个时，还包括：

第二预置单元，用于预置基准栏位，且所述抽取单元用于：

根据所述抽取条件和基准栏位遍历下载文件中不同数据库中的记录，抽取符合条件的数据。

进一步，还包括：

第二确定单元，用于在抽取的数据中确定需要进行清洗的数据；

第三预置单元，用于预置清洗规则；

清洗单元，用于根据清洗规则对所述需要进行清洗的数据进行转换，完成数据清洗。