[发明专利]多源异构数据的自动化治理方法及装置

权利要求书

1.一种多源异构数据的自动化治理方法，适用于数据治理平台，其特征在于，包括：

根据用户输入的引接指令，配置数据引接任务；

根据所述数据引接任务进行数据连接认证，并在认证通过后将所述数据引接任务所引入的多源异构数据传入消息队列中；

根据用户输入的任务配置指令，配置数据治理任务；

启动所述数据治理任务，从所述消息队列中读取与所述数据治理任务对应的数据进行数据治理；

监控所述数据引接任务、所述数据治理任务以及数据治理结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述数据引接任务进行数据连接认证，并在认证通过后将所述数据引接任务所引入的多源异构数据传入消息队列中，包括：

根据所述数据引接任务访问对应的数据源；

若访问成功，则通过数据连接认证，将所述数据引接任务所引入的多源异构数据传入Kafka消息队列中的一个或多个子队列。

3.根据权利要求1所述的方法，其特征在于，所述配置数据治理任务，包括：

配置需要进行治理的数据的输入源信息、输出库信息、数据治理算子、算子应用顺序以及治理逻辑文件；其中，所述数据治理平台部署在若干服务器虚拟化出的多个容器上；所述启动所述数据治理任务，从所述消息队列中读取与所述数据治理任务对应的数据进行数据治理，包括：

在容器中启动数据治理微服务；

在所述数据治理微服务中启动多个计算实例；所述容器具有可根据数据治理任务需求进行横向动态扩容的容器编排能力；

通过所述多个计算实例并行读取与所述数据治理任务对应的数据，然后利用所述多个计算实例并行进行数据治理。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当接收到配置修改指令时，阻塞对应的计算实例；将修改后的配置信息通过消息总线传入对应的计算实例，并使所述计算实例恢复执行数据治理。

5.根据权利要求1所述的方法，其特征在于，所述监控所述数据引接任务、所述数据治理任务以及数据治理结果，包括：

监控所述数据引接任务对应的数据源或数据上传端的数据上传情况；

监控所述数据治理任务的静态配置信息、执行所述数据治理任务的计算实例的信息、所述数据治理任务针对所述消息队列的数据读取进度以及所述数据治理任务的实时运行状态；

监控所述数据治理结果的存储集群状况以及数据应用状况。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

若监控到任一执行所述数据治理任务的计算实例的运行状态异常，则启动待命计算实例或者开启新的计算实例，并使所述待命计算实例或者新的计算实例通过读取所述运行状态异常的计算实例所执行的数据治理任务的静态配置信息、针对所述消息队列的数据读取进度以及所述实时运行状态来接替运行状态异常的计算实例继续执行所述数据治理任务；

销毁所述运行状态异常的计算实例。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：

根据接收到的数据标准化指令，进行数据标准化配置，以对所述多源异构数据进行标准化处理；

根据预设数据质量复检规则，对所述数据治理结果进行定期质量复检。

8.一种多源异构数据的自动化治理装置，适用于数据治理平台，其特征在于，包括：

第一配置模块，用于根据用户输入的引接指令，配置数据引接任务；

处理模块，用于根据所述数据引接任务进行数据连接认证，并在认证通过后将所述数据引接任务所引入的多源异构数据传入消息队列中；

第二配置模块，用于根据用户输入的任务配置指令，配置数据治理任务；

处理模块，用于启动所述数据治理任务，从所述消息队列中读取与所述数据治理任务对应的数据进行数据治理；

监控模块，用于监控所述数据引接任务、所述数据治理任务以及数据治理结果。

9.一种电子设备，包括：

至少一个处理器；与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。