[发明专利]一种基于编目规则的数据资源自动归集方法与系统

权利要求书

1.一种基于编目规则的数据资源自动归集方法，该方法应用于数据资源自动归集系统，其特征在于，该方法包括：

步骤1、根据待归集资源的特征进行资源目录编制；

步骤2、根据待归集的需求为所述资源目录建立若干个信息项以进行信息项编制；

步骤3、自动适配数据源；

步骤4、根据字段名称自动匹配信息项；

步骤5、执行自动目录物化操作；

步骤6、数据资源自动归集；

步骤7、进行任务状态监控，以获取当前数据归集任务的数据流量、输入数据条数、异常数据条数、以及输出数据条数这些指标，并输出到监控界面。

2.根据权利要求1所述的方法，其特征在于，资源目录的编制需要填写的信息包括基本信息、归集信息的特征、资源标签、共享属性和开放属性信息。

3.根据权利要求2所述的方法，其特征在于，基本信息包括资源提供方、目录名称、摘要信息，由数据资源自动归集系统根据基本信息的填写以及统一的编码规则，为该资源目录自动生成目录编码，作为资源目录的唯一标识；所述统一的编码规则包括：用于表示类的1位数字、用于表示项的2位数字、用于表示目的3位数字、用于表示细目的8位数字、以及顺序号组成；

归集信息的特征包括信息资源格式、归集方式和归集周期；其中，所述资源格式用于描述数据源格式，所述归集周期的用于实现对资源自动归集设定定时任务；

资源标签包括来源系统和数据领域。

4.根据权利要求1所述的方法，其特征在于，所述信息项编制，具体包括：

步骤201、填写资源目录的属性信息；

步骤202、填写信息项的属性信息；

步骤203、判断是否继续添加信息项，若是，则返回步骤202，若否，则结束。

5.根据权利要求1所述的方法，其特征在于，所述自动适配数据源，具体包括：在目录编制中的归集方式选择对应的数据库类型选项，当前预置MySql、Oracle、Sql Server和Postgre四类数据库类型，自动适配对应数据源，从数据源中采集指定数据。

6.根据权利要求1所述的方法，其特征在于，所述根据字段名称自动匹配信息项，具体包括：

步骤301、获取待归集数据源信息项，根据步骤2中的资源目录信息项来判断所述待归集数据源信息项与所述资源目录信息项中的字段名称是否一致；

步骤302、若一致，则将所述待归集数据源信息项中的字段映射至所述资源目录信息项中字段名称相一致的字段；若不一致，则进行人工映射操作；

步骤303、完成信息项匹配工作。

7.根据权利要求1所述的方法，其特征在于，执行自动目录物化操作，具体包括：

进行数据库类型判断，通过读取数据仓库的驱动信息，动态识别数仓选型；根据数据资源目录的信息项类型，自动判断数据库字段类型；所述数据资源目录的信息项中，共指定了五类数据类型，自动将这五类数据类型转化为对应数据库中的字段类型；

确定数据库类型及字段类型后，动态生成数据库表的创建语句，并调用数据库驱动创建对应的数据库表；当数据仓库中的物理表创建完成后，将物理表名回写入数据资源目录的关联字段中，完成数据资源目录的信息与物理数据表的关联操作。

8.根据权利要求1所述的方法，其特征在于，数据资源自动归集，具体包括：用户通过编目规则指定了数据源以及数据将在数据仓库中存储的位置，系统自动生成任务参数，并将任务参数通过消息队列发送给调度单元；调度单元定期触发数据资源的归集任务，完成数据资源的自动归集。

9.根据权利要求3所述的方法，其特征在于，类、项、目和细目的前4位在系统参数中设定，细目的后4位根据资源提供方的代码生成，资源提供方的代码由数据资源自动归集系统统一进行维护和管理。

10.一种基于编目规则的数据资源自动归集系统，其特征在于，该系统包括存储单元和处理单元，所述存储单元中存储可在所述处理单元上运行的计算机程序；所述处理单元执行所述计算机程序时实现如权利要求1-9任一项所述的数据资源自动归集方法。