[发明专利]一种基于主数据映射实现跨安全域数据集中的方法

说明书

本发明公开了一种基于主数据映射实现跨安全域数据集中的方法，属于数据集成ETL领域。该方法通过主数据一致性检查及映射，并通过中间件进行数据整合，实现跨安全域的主数据和业务数据的统一：通过定义主数据配置，配置主数据表、字段、被引用字段信息，实现主数据一致性检查的配置；通过对主数据检查结果，进行主数据的映射定义并定义数据抽取规则，在数据集中时依据主数据映射进行数据的抽取、转换和加载；通过备份数据库的方式实现低安全域向高安全域的数据集中。与现有技术相比，本发明的方法可以对不同安全域的数据进行集中，实现物理隔离情况下的数据共享，具有安全性高，对生产环境影响小等特点。

技术领域

本发明涉及数据集成ETL（数据提取、转换和加载）领域，具体地说是一种基于主数据映射实现跨安全域数据集中的方法。

背景技术

跨不同安全域的数据交换的问题是由于网络安全的发展而产生的问题，为确保网络信息系统的安全，对拥有不同网络安全需求的系统进行网络安全域的划分，针对不同的网络采取网络隔离技术，用于防止外部的非法攻击和内部数据的泄漏。但是在信息系统实际应用过程中，信息需要在不同安全域信息系统中进行共享和交换，网络隔离和数据交换是天生的一对矛盾，如何在高安全域(内网)数据不泄露的情况下，同时解决好网络安全和实现数据交换是很多安全技术人员一直探索的话题，因此，打破由网络安全隔离造成的众多的信息孤岛已经成为迫切需要解决的问题。

发明内容

本发明的技术任务是针对上述现有技术的不足，提供一种基于主数据映射实现跨安全域数据集中的方法。本发明在详细分析了当前在信息安全要求较高的行业，不同安全域、物理隔离的网络环境下，数据集成面临的各种问题，提出了一种信息集成的技术途径和实现方法。解决了对信息安全要求较高的行业、不同安全域环境下数据共享的方式，实现了物理隔离环境下的数据共享。通过在低安全域备份数据库的方式，统一导入至高安全域中来实现数据的集中和共享；通过物理隔离的不同系统的主数据一致性检查和映射匹配，来实现主数据及业务数据的统一。

本发明的技术任务是按以下方式实现的：一种基于主数据映射实现跨安全域数据集中的方法，其特点是通过主数据一致性检查及映射，并通过中间件进行数据整合，实现跨安全域的主数据和业务数据的统一：

通过定义主数据配置，配置主数据表、字段、被引用字段信息，实现主数据一致性检查的配置；

通过对主数据检查结果，进行主数据的映射定义并定义数据抽取规则，在数据集中时依据主数据映射进行数据的抽取、转换和加载；

通过备份数据库的方式实现低安全域向高安全域（内网）的数据集中。

具体来说，上述方法包括低安全域业务数据库的镜像备份与还原、高安全域（内网）与低安全域的主数据的一致性检查及匹配：

低安全域业务数据库的镜像备份与还原：以高安全域（内网）的应用系统为主数据中心，在各个跨域的数据库进行数据共享或数据集中时，将低安全域的数据库备份、刻盘并还原至高安全域（内网）中；

高安全域（内网）与低安全域的主数据的一致性检查及匹配：在每次数据集成时，对所有的主数据进行一致性检查，如有不符合的主数据，根据各个应用系统业务数据的使用进行自动或手动匹配，确保在集中数据库内各业务系统的数据的可用和有效。

主数据进行一致性检查时，对于检查通过的主数据进行自动映射；对于检查不同的主数据进行手工映射，将主数据的对应关系和转换逻辑存储于映射表中。

进行数据集中时，将各个部署节点的数据集中至集中数据库，根据映射关系和转换逻辑进行数据转换，将业务数据和主数据进行统一。

上述低安全域包括外网、独立网路及内网单位独立网路。

另外，可以将每次数据集成的操作记录都记录在系统中，例如：操作人、操作时间、操作的数据、是否有异常信息等。如果出现数据问题，能够及时跟踪处理，可以作为防抵赖的重要依据。