[发明专利]异构源数据处理方法、装置、存储介质和电子设备

说明书

本公开实施例是关于一种异构源数据处理方法、装置、计算机可读存储介质和电子设备。该方法包括：获取各异构系统的原始数据文件；根据预设的业务逻辑关联规则对原始数据文件分析处理，以将原始数据文件中的原始数据按照预设存储格式关联存储形成标准数据文件；响应第一查询操作而从所述标准数据文件中获取相应查询的数据并统计分析查询的数据。本公开实施例可以对异构源数据进行了统一处理，使其能够更方便地进行整合，实现异构源数据资源的统一管理，节省了时间和人力成本。可从多维度对异构源数据进行查询分析，可以直接用于统计、分析挖掘，运用起来更加灵活。

技术领域

本公开实施例涉及数据处理技术领域，尤其涉及一种异构源数据处理方法、异构源数据处理装置、实现异构源数据处理方法的计算机可读存储介质和电子设备。

背景技术

随着大数据相关技术的发展，越来越多的人注意到大数据下潜藏着巨大的经济价值。各种异构的数据源急需整合起来，提供给从事大数据分析工作的人，对数据进行分析和挖掘，创造数据的更大价值。

但是目前对各个异构的数据源的数据的处理标准并不统一，这就给异构数据源的整合工作带来的巨大的困难和挑战。

因此，有必要改善上述相关技术方案中存在的一个或者多个问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开实施例的目的在于提供一种异构源数据处理方法、装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

根据本公开实施例的第一方面，提供一种异构源数据处理方法，该方法包括：

获取各异构系统的原始数据文件；

根据预设的业务逻辑关联规则对原始数据文件分析处理，以将原始数据文件中的原始数据按照预设存储格式关联存储形成标准数据文件；

响应第一查询操作而从所述标准数据文件中获取相应查询的数据并统计分析查询的数据。

本公开的一种示例性实施例中，该方法还包括：

在根据预设的业务逻辑关联规则对原始数据文件分析处理时，根据预设的数据描述模板确定存储至标准数据文件中的原始数据的业务含义。

本公开的一种示例性实施例中，所述获取各异构系统的原始数据文件的步骤，包括：

响应一预设操作而展示一查询页面，该查询页面用以指示查询原始数据；

接收在所述查询页面输入的第二查询操作，响应于该第二查询操作而展示获取的原始数据文件；其中，所述原始数据文件包括文件名、文件类型、上传时间、文件来源和上传者信息中的一个或多个。

本公开的一种示例性实施例中，该方法还包括：

在将原始数据文件中的原始数据按照预设存储格式关联存储形成标准数据文件时，至少通过新增、删除、拖放或保存操作来完成数据存储过程。

本公开的一种示例性实施例中，所述预设的业务逻辑关联规则包括与不同的原始数据文件的文件类型对应关联的子业务逻辑关联规则；相应的，所述根据预设的业务逻辑关联规则对原始数据文件分析处理的步骤，包括：

确定所述原始数据文件的文件类型；

当确定文件类型为第一类型时，通过第一子业务逻辑关联规则对所述原始数据文件的数据进行处理；该第一子业务逻辑关联规则包含原始数据文件中的数据列中的变量和元数据系统中变量的业务逻辑关联规则；