[发明专利]一种数据集成管理、开发方法及平台

说明书

本发明提供了一种数据集成管理、开发的方法及平台，解决了现有的数据集成任务由于缺少统一化、标准化和规范化，导致数据集成任务在开发和维护时具有工作量大、成本高的问题。具体地，该数据集成管理方法包括：获取数据集成任务；对所述数据集成任务的任务属性打标签；在功能库中查找与所述数据集成任务匹配的功能模块；对所述数据集成任务的功能属性打标签；将所述数据集成任务的任务属性和功能属性存储在数据库中。

技术领域

本发明涉及数据集成技术领域，具体涉及一种数据集成管理、开发方法及平台。

背景技术

随着科技的发展，信息化、数字化以及智能化都离不开数据平台的搭建，而数据平台的搭建离不开数据集成这一重要环节，数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供更为全面的数据共享，如何做好数据集成任务的管理和开发工作变得越来越重要。但是现有的数据集成任务缺少统一化、标准化和规范化，且在后续数据集成开发时由于会用到不同的ETL(数据抽取、转换、加载)工具，导致数据集成任务在开发和维护时具有工作量大、成本高的问题。

发明内容

有鉴于此，本发明实施例提供了一种数据集成管理、开发方法及平台，解决了现有的数据集成任务由于缺少统一化、标准化和规范化，导致数据集成任务在开发和维护时具有工作量大、成本高的问题。

本发明一实施例提供的一种数据集成管理、开发方法及平台包括：获取数据集成任务；对所述数据集成任务的任务属性打标签；在功能库中查找与所述数据集成任务匹配的功能模块；对所述数据集成任务的功能属性打标签；将所述数据集成任务的任务属性和功能属性存储在数据库中。

在一种实施方式中，在功能库中查找与所述数据集成任务匹配的功能模块，包括：基于所述数据集成任务需要实现的功能和开发数据集成任务使用的工具类型，在功能库中查找是否有与所述数据集成任务匹配的功能模块；若所述功能库中没有与所述数据集成任务匹配的功能模块，对所述功能库中的功能模块进行添加或调整。

在一种实施方式中，所述任务属性包括：任务ID、任务类型、任务描述和拥有者中的至少一种。

在一种实施方式中，所述功能属性包括源数据库和目标数据库链接、邮件提醒功能和日志收集功能中的至少一种。

在一种实施方式中，对所述数据集成任务的任务属性打标签，包括：将所述数据集成任务的任务属性对应到数据库的表中。

在一种实施方式中，对所述数据集成任务的功能属性打标签，包括：将所述数据集成任务的功能属性对应到数据库的表中。

在一种实施方式中，在将所述数据集成任务的任务属性和功能属性存储在数据库中之后，还包括：调用存储在数据库中的数据集成任务的任务属性和功能属性；基于所述任务属性和功能属性进行数据集成开发。

在一种实施方式中，包括：调用存储在数据库中的数据集成任务的任务属性和功能属性，包括：通过调用数据库底层存储过程、函数、界面以及接口中的至少一种获取所述数据集成任务的任务属性和功能属性。

一种数据集成管理及开发平台，包括：获取模块，配置为获取数据集成任务；管理模块，配置为对所述数据集成任务的任务属性打标签；查询模块，配置为在功能库中查找与所述数据集成任务匹配的功能模块，其中所述管理模块进一步配置为：对所述数据集成任务的功能属性打标签；存储模块，将所述数据集成任务的任务属性和功能属性存储在数据库中。

在一种实施方式中，所述管理模块进一步配置为：将所述数据集成任务的任务属性对应到数据库的表中；和/或将所述数据集成任务的功能属性对应到数据库的表中。

一种数据集成管理平台，包括：调用模块，配置为：调用数据集成任务的任务属性标签和功能属性标签；开发模块，配置为：基于所述任务属性标签和功能属性标签进行数据集成开发。