[发明专利]一种数据处理的方法和设备

说明书

本申请实施例提供了一种数据处理的方法和设备，应用于第一设备，该方法包括获取用户输入的待输出数据模型的输出配置信息，输出配置信息包含多个来源数据模型、多个来源数据模型之间的运算操作，以及待输出数据模型中的属性与多个来源数据模型中的属性的对应关系；根据输出配置信息生成逻辑执行文件，逻辑执行文件包含伪代码，伪代码表示对所述多个来源数据模型执行所述运算操作，并根据对应关系输出待输出数据模型的数据实体；将逻辑执行文件提供给第二设备，以使第二设备根据所述逻辑执行文件输出待输出数据模型的数据实体。简化了数据处理的流程，实现了并行开发，进而降低了开发后系统升级的困难程度。

技术领域

本申请涉及数据开发领域，尤其涉及一种数据处理的方法和设备。

背景技术

数据处理(data processing)是对数据进行采集、存储、检索、加工、变换和传输的过程。数据处理的目的就是从大量的、杂乱无章的、难以区分的数据中提取并处理出有价值、有意义的数据。常用的数据处理流程采用抽取-转换-加载(extract-transform-load，ETL)流程，ETL流程是将从来源端获取的数据，经过抽取、转换、加载至目的端的过程，具体如图1所示，由数据源层进行ETL操作，依次得到抽取层、归档层、汇总层，然后针对上层应用所需的不同数据构建不同的数据仓库。

目前，ETL流程的开发工具通常采用图元拖拽的方式来实现，一般分为控制流和数据流两个层次进行开发，控制流负责总体逻辑处理，如图2所示，从来源端抽取数据，然后进行数据转换；数据流负责控制流单一节点的具体实现，如图3所示的数据流示意图，数据流控制一个节点(例如H001:tb_ns_cm_alu_lacat_update_h)，需要经过节点(H003：连接1，H004：连接2，H006：连接3和H007：连接4)才能到H008：转换1，再进行后续(H015：联合1到H016：转换3，再到H017：管理加载1)的操作，实现数据处理的过程。

这些开发工具需要流程开发者很清楚每个数据节点在数据流中的工作步骤，按照工作步骤对数据节点进行开发，开发过程中，只能串行开发，即在完成一个数据节点的开发后才能进行下一数据节点的开发，导致开发效率低。且因为数据节点在数据流中存在依赖关系，无法实现并行开发，进一步降低了开发效率。如果一个数据流中的数据节点比较多时，这种开发效率的降低会更显著。

发明内容

本申请提供了一种数据处理的方法和设备，解决了ETL流程开发效率低的问题。

第一方面，提供了一种数据处理的方法，该方法可以包括：

获取用户输入的待输出数据模型的输出配置信息，输出配置信息包含多个来源数据模型、多个来源数据模型之间的运算操作，以及待输出数据模型中的属性与多个来源数据模型中的属性的对应关系；

根据输出配置信息生成逻辑执行文件，逻辑执行文件包含语法树，语法树包含伪代码，伪代码表示对多个来源数据模型执行运算操作，并根据对应关系输出待输出数据模型的数据实体；

将逻辑执行文件提供给第二设备，以使第二设备根据逻辑执行文件输出待输出数据模型的数据实体。

采用该数据处理方法，根据用户输入的输出数据模型的配置信息可以自动生成逻辑执行文件，即无需开发者人工对数据流的开发，提高了开发效率。

结合第一方面，在第一方面的第一种可能实现的方式中，来源数据模型对应的数据实体为数据库表或者文本文件。

结合第一方面，在第一方面的第二种可能实现的方式中，多个来源数据模型之间的运算操作包含关联运算或者集合运算；关联运算包含内连接运算、左外连接运算、右外连接运算或全连接运算,集合运算包括交集运算、并集运算或差集运算。

结合第一方面，在第一方面的第三种可能实现的方式中，对应关系为：

待输出数据模型中的一个属性对应多个来源数据模型中的一个属性。