[发明专利]多源异构数据的自动化治理方法及装置

说明书

本公开涉及数据处理技术领域，具体地，本公开的实施例提供了一种多源异构数据的自动化治理方法及装置。所述方法：包括根据用户输入的引接指令，配置数据引接任务；根据所述数据引接任务进行数据连接认证，并在认证通过后将所述数据引接任务所引入的多源异构数据传入消息队列中；根据用户输入的任务配置指令，配置数据治理任务；启动所述数据治理任务，从所述消息队列中读取与所述数据治理任务对应的数据进行数据治理；监控所述数据引接任务、所述数据治理任务以及数据治理结果。以此方式，可以实现集数据引接、任务配置、自动化治理以及监控于一体数据自动化治理方案，且能够提高数据自动化治理的效率与稳健性。

技术领域

本公开涉及数据处理领域，尤其涉及数据治理技术领域。

背景技术

目前的数据治理技术因为使用技术难度、稳定性、多源异构数据的兼容性等问题基本需要大量人工干预，无法快速实现数据的自动化治理，且只能通过一些简单的治理规则进行治理，同时，并无法实现对数据治理的全程监控，因而，就不能进行自动化异常处理和容灾恢复。

发明内容

本公开提供了一种多源异构数据的自动化治理方法、装置以及设备。

根据本公开的第一方面，提供了一种多源异构数据的自动化治理方法。该方法包括：

根据用户输入的引接指令，配置数据引接任务；

根据所述数据引接任务进行数据连接认证，并在认证通过后将所述数据引接任务所引入的多源异构数据传入消息队列中；

根据用户输入的任务配置指令，配置数据治理任务；

启动所述数据治理任务，从所述消息队列中读取与所述数据治理任务对应的数据进行数据治理；

监控所述数据引接任务、所述数据治理任务以及数据治理结果。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述数据引接任务进行数据连接认证，并在认证通过后将所述数据引接任务所引入的多源异构数据传入消息队列中，包括：

根据所述数据引接任务访问对应的数据源；

若访问成功，则通过数据连接认证，将所述数据引接任务所引入的多源异构数据传入Kafka消息队列中的一个或多个子队列。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述配置数据治理任务，包括：

配置需要进行治理的数据的输入源信息、输出库信息、数据治理算子、算子应用顺序以及治理逻辑文件；其中，所述数据治理平台部署在若干服务器虚拟化出的多个容器上；所述启动所述数据治理任务，从所述消息队列中读取与所述数据治理任务对应的数据进行数据治理，包括：

在容器中启动数据治理微服务；

在所述数据治理微服务中启动多个计算实例；所述容器具有可根据数据治理任务需求进行横向动态扩容的容器编排能力；

通过所述多个计算实例并行读取与所述数据治理任务对应的数据，然后利用所述多个计算实例并行进行数据治理。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：

当接收到配置修改指令时，阻塞对应的计算实例；将修改后的配置信息通过消息总线传入对应的计算实例，并使所述计算实例恢复执行数据治理。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述监控所述数据引接任务、所述数据治理任务以及数据治理结果，包括：

监控所述数据引接任务对应的数据源或数据上传端的数据上传情况；

监控所述数据治理任务的静态配置信息、执行所述数据治理任务的计算实例的信息、所述数据治理任务针对所述消息队列的数据读取进度以及所述数据治理任务的实时运行状态；

监控所述数据治理结果的存储集群状况以及数据应用状况。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：