[发明专利]一种基于编目规则的数据资源自动归集方法与系统

说明书

本发明提供了一种基于编目规则的数据资源自动归集方法与系统，通过本发明的方法和系统可将异构数据库中的数据资源自动采集到中心数据库，使得业务人员可基于业务需求进行数据采集，无需专业的开发人员参与数据实施过程，降低了数据采集实施过程中的沟通成本，提高了数据归集实施的灵活度，屏蔽了异构数据源的细节特性，为数据管理者提供了统一的数据资源视图。

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于编目规则的数据资源自动归集方法与系统。

背景技术

随着信息化建设的不断完善，相关部门在面向公众的信息服务方面取得了长足进步，综合治理、民生服务、产业经济、生态资源和信用监管等领域的信息服务已可覆盖公众日常生活的诸多办事项目。但随之而来的信息孤岛问题也在逐步产生，业务数据只能在省、市、县三级条线系统内部循环，其他业务关联方无法有效及时地进行数据信息交换和共享，使得条线系统的数据壁垒越来越高，无法有效提升政府层面综合创新的信息服务能力。在此背景下，基于异构数据采集技术的数据共享方法应用而生。异构数据采集技术通过适配不同业务系统的数据库，将数据以统一的方式有序、稳定地抽取到中心仓库中，在中心仓库中进行数据融合共享。

异构数据不仅包含不同部门所使用的不同数据库系统之间的异构，如Oracle、MySql等不同数据库产品间存在的差异，还包含不同数据结构之间的结构差异。异构数据集成技术就是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业或组织提供全面的数据共享的方法。异构数据采集一般采用三种方法，分别为联邦数据库，中间件集成和数据仓库集成。

联邦数据库是人们早期采用的一种模式集成方案。一个联邦数据库系统是由一组互相协作的但各自保持自治性的成员数据库系统组成，这些成员数据库系统以不同的程度共享自己的一部分数据模式，有一个对这些成员数据库的操作进行控制和协调的软件，称为联邦数据库管理系统。联邦数据库管理系统是一个管理中心，能把各成员数据库模式映射到一个公共的全局数据模式上，负责各种模式之间的转换工作，自动解决网络传输问题和异构数据库操纵问题，接受联邦用户的数据请求，并把这个请求翻译后送到各个目的数据库引擎，然后将获得的结果集成后返回给用户。

中间件集成在现在应用广泛，在异构数据集成领域的数据集成中间件最早由Wiederhold在1992年提出，之后数据集成领域的许多专家学者对数据集成中间件进行了深人的研究。典型的数据集成中间件使用XML数据模型构造全局数据模式，通过包装器和各个数据源交互，用户在全局数据模式的基础上向中间件发出查询请求，中间件处理用户请求，将其转换成各数据源能够处理的子查询请求，从各站点取出数据，然后再将各数据源的数据进行合并处理，最终生成用户全局查询的结果返回给用户。此类数据集成中间件不仅能够集成结构化的数据源信息，还可以集成半结构化或非结构化的数据源信息，并能保证数据一致性。

数据仓库集成是最常见的数据复制集成方法，该方法通过建立一个存储数据的仓库，将来自多个数据源的数据副本存储在数据仓库中，通过ETL（存储、转换、加载）工具定期从数据源抽取数据，装载到数据仓库，供用户查询使用。建成的数据仓库主要应用于决策支持和面向分析型的数据处理方向，在政务数据集成共享的场景中比较适用。

目前的异构数据采集技术一般都是面向数据库元数据进行处理的，在摸清源数据库元数据的情况下，通过JDBC或ODBC，屏蔽掉数据库实现细节，在专用的数据管道进程中，完成异构数据的交换。执行数据采集任务的人员，需要提前了解数据库方面的基础知识，需要对数据库表结构信息，字段信息，字段类型等技术类元数据知识有一定了解。因此在面向异构数据采集项目中，工作人员需要外请专业的数据实施队伍执行此类操作。而相关部门的业务知识与数据实施的专业知识之间的鸿沟，导致部门工作人员的数据采集需求无法准确转化为数据实施人员的技术操作，从而造成采集到的数据质量较低，或者无法完全满足业务使用需求，这已成为了亟需解决的技术问题。

发明内容