[发明专利]一种基于虚拟表的异构数据集成系统设计方法

说明书

本发明公开了一种基于虚拟表的异构数据集成系统设计方法，具体方法如下：首先需要通过数据库类型、IP地址、端口、用户名和密码连接数据源；然后通过配置虚拟表、虚拟字段到真实表、真实字段的映射关系以及真正表、真实字段到虚拟表、虚拟字段的反映射关系；然后对于一个全局SQL语句，需要通过SQL语句分解，按照虚拟字段将一个全局SQL语句分解成多个子SQL语句；然后再利用映射关系将子SQL涉及的虚拟表、虚拟字段转化为真实表、真实字段的子SQL；然后将对同一表的子SQL进行合并以减少对数据库的访问次数；最后再执行SQL语句得到结果集并将结果集合并后利用反映射关系将真实表、真实字段转化为虚拟表、虚拟字段。

技术领域

本发明涉及一种基于虚拟表的异构数据集成系统设计方法，属于多源异构数据集成技术领域。

背景技术

随着计算机网络的普及、数据资源的共享已经成为一个热门话题。很多企业需要将DBMS、MIS、OA数据集成起来，构成企业的管理决策的网络信息平台。

“新基建”成为近期热议的关注焦点，大数据、人工智能、工业互联网等新兴技术或概念进入加速发展及应用阶段。新基建为企业面向高质量发展提供了数字转型、智能升级、融合创新等服务。企业如何利用新一代技术实现企业自身的数字化、智能化转型至关重要。

企业通常由不同部门组成，各部门通常负责不同的业务，每个部门产生的数据信息通常存储在每个部门自身数据库中。然而，对于大多数业务部门，其往往没有数据处理或分析的功能，历史产生的大量数据不能够有效利用。此外，企业决策者往往需要及时掌握各个部门的信息才能够清晰地了解企业自身发展状况，从而制定出最佳的决定，而各部门之间的信息交互在传递时往往出现滞后或差错，这不利于决策者及时掌握企业的第一手资料。

因此，企业方在数字经济时代，希望能够利用新兴技术打破部门之间信息壁垒；实现数据互联互通、快速集成各部门数据，实现数据的统一管理；利用集成平台上的数据，结合大数据、人工智能等技术挖掘价值信息。

发明内容

本发明提供了一种基于虚拟表的异构数据集成系统设计方法，能够解决背景技术中披露的问题。

为了解决上诉技术问题，本发明所采用的技术方案一共包含数据源接入、映射关系配置、反映射关系配置、全局SQL语句分解、同表子SQL语句合并、子SQL查询、子结果集合并、真实字段到虚拟字段替换。

数据源接入：数据源是本系统所要集成的异构数据源，可以为MySQL、SQLserver等关系型数据库。

映射关系配置：在本系统中，用于面向用户的字段称为虚拟字段，用于面向用户的表称为虚拟表；数据源中真实存在的字段称为真实字段，数据源中真实存在的表称为真实表。映射关系配置，就是对于一个虚拟字段，需要配置好该虚拟字段到多个数据库实体中某个字段的映射关系。

反映射关系配置：反映射关系配置就是需要以键值对的形式记录每个虚拟字段到真实字段的映射关系。

全局SQL语句分解：对于一个含有虚拟字段、虚拟表的SQL语句，需要使用SQL解析器将其查询的虚拟字段、虚拟表和查询条件提取出来。然后根据预先配置好的映射关系将其转化为对数据库中真实字段的多个子SQL查询。

同表子SQL语句合并：考虑到多个子SQL可能是对同一个数据库进行查询处理，而为了减少对同一个数据库的多次访问，需要将对同一个数据库的访问合并成一个SQL进行访问，从而能够降低数据库的访问压力。

子SQL查询：获取数据库连接，然后执行SQL语句得到查询结果集。

子结果集合并：由于一个全局SQL在查询的时候被分解成多个子SQL，所以在子SQL查询后，需要将多个子SQL查询结果集合并。