[发明专利]一种大数据平台的数据处理方法、设备以及存储介质

说明书

本发明公开了一种大数据平台的数据处理方法，包括步骤：响应于接收到数据迁移指令，建立与目标数据库之间的数据联邦；利用数据联邦的数据通道对目标数据库中的数据的类型进行匹配检测；响应于数据的类型不匹配，对不匹配的数据进行类型转换以完成所述目标数据库中的数据的更新；通过数据迁移配置文件获取数据处理参数并根据数据处理参数对目标数据库中更新后的数据进行处理；将处理后的数据迁移到大数据平台。本发明还公开了一种计算机设备以及可读存储介质。本发明公开的方法通过数据联邦实现大数据平台与目标数据库之间的链接，并且可以在目标数据库直接对数据进行处理。这样可以减轻大数据平台的压力，更能够直接获取到所需的数据。

技术领域

本发明涉及数据处理领域，具体涉及一种大数据平台的数据处理方法、设备以及存储介质。

背景技术

现在很多企业运行不同的数据库来进行数据隔离和管理，如财务数据库、人才引进库、销售物质库等等。传统企业单单是通过数据联邦的方式进行数据集成，以进行业务分析和价值挖掘。但是随着企业数据量的增大，数据质量管控和性能问题成为数据集成的瓶颈。而且仅通过数据联邦进行数据集成，未能真正自动迁移数据的问题，另外忽略了表结构、数据类型转换、数据有效性等问题，导致移性能低下、数据的一致性不可保证。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本发明实施例的提出一种大数据平台的数据处理方法，包括步骤：

响应于接收到数据迁移指令，建立与目标数据库之间的数据联邦；

利用所述数据联邦的数据通道对所述目标数据库中的数据的类型进行匹配检测；

响应于所述数据的类型不匹配，对所述不匹配的数据进行类型转换以完成所述目标数据库中的数据的更新；

通过数据迁移配置文件获取数据处理参数并根据所述数据处理参数对所述目标数据库中更新后的数据进行处理；

将所述处理后的数据迁移到所述大数据平台。

在一些实施例中，还包括：

将所述目标数据库中所述更新后的数据的类型还原。

在一些实施例中，还包括：

解除与目标数据库之间的数据联邦。

在一些实施例中，还包括：

响应于接收到数据分析指令，对所述大数据平台中的数据进行分析。

在一些实施例中，建立与目标数据库之间的数据联邦，进一步包括：

获取所述目标数据库的URL地址以及登录信息；

根据所述URL地址以及所述登录信息在所述大数据平台的Hive中创建与所述目标数据库的链接。

在一些实施例中，对所述数据进行类型转换和更新，进一步包括：

利用所述大数据平台的HPLSQL中的游标和循环对所述数据进行类型转换和更新。

在一些实施例中，通过数据迁移配置文件获取数据处理参数进一步包括：

通过数据迁移配置文件获取过滤条件、筛选条件以及数据库表的运算条件。

在一些实施例中，根据所述数据处理参数对所述目标数据库中更新后的数据进行处理，进一步包括：

响应于根据所述过滤条件、所述筛选条件和/或所述运算条件对其中一个数据库表中更新后的数据处理失败，则停止所述大数据平台的数据处理过程。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机设备，包括：

至少一个处理器；以及